Kvantálás
Egy nagy modellnek milliárdnyi paramétere van, és mindegyik eredetileg 16 bitet foglal. A kvantálás ezt 4–8 bitre csökkenti, kis minőségveszteséggel. Egy 7–8 milliárd paraméteres modell így kb. 5 GB helyet foglal, és kényelmesen fut egy laptopon is.
Mi kell hozzá?
- Az M-chipes Mac a megosztott memóriának köszönhetően meglepően jól bírja a nagyobb modelleket.
- A leggyorsabb egy PC grafikus kártyával, amelyen sok a VRAM.
- Megfelelő szoftverrel az integrált grafika (például az Intel Arc) is elbírja a kisebb modelleket.
- Több memória nagyobb modellt jelent. A mai RAM-árak mellett ez drága.
Miért helyben?
Adatvédelem, nincsenek havidíjak, és internet nélkül is működik. Jól jön érzékeny dokumentumokkal végzett munkához, otthoni automatizáláshoz vagy kísérletezéshez. A legerősebb modellek azonban a felhőben maradnak.