Quantisierung
Ein großes Modell hat Milliarden Parameter, und jeder belegt ursprünglich 16 Bit. Die Quantisierung verkleinert sie bei geringem Qualitätsverlust auf 4 bis 8 Bit. Ein Modell mit 7 bis 8 Milliarden Parametern belegt dann rund 5 GB und läuft bequem auch auf einem Notebook.
Was man braucht
- Ein Mac mit M-Chip eignet sich dank des gemeinsamen Speichers überraschend gut für größere Modelle.
- Ein PC mit Grafikkarte mit viel VRAM ist am schnellsten.
- Auch eine integrierte Grafik (zum Beispiel Intel Arc) schafft kleinere Modelle mit geeigneter Software.
- Mehr Speicher bedeutet ein größeres Modell. Bei den heutigen RAM-Preisen ist das teuer.
Warum lokal
Privatsphäre, keine monatlichen Gebühren, und es funktioniert auch ohne Internet. Das eignet sich für die Arbeit mit vertraulichen Dokumenten, für die Hausautomation oder für Experimente. Die stärksten Modelle bleiben allerdings in der Cloud.