Kvantizácia
Veľký model má miliardy parametrov a každý zaberá pôvodne 16 bitov. Kvantizácia ich zmenší na 4 až 8 bitov s malou stratou kvality. Model so 7 až 8 miliardami parametrov potom zaberá okolo 5 GB a pohodlne beží aj na notebooku.
Čo treba
- Mac s čipom M je vďaka zdieľanej pamäti prekvapivo dobrý na väčšie modely.
- PC s grafickou kartou s veľkou VRAM je najrýchlejšie.
- Aj integrovaná grafika (napríklad Intel Arc) zvládne menšie modely s vhodným softvérom.
- Viac pamäte znamená väčší model. Pri dnešných cenách RAM je to drahé.
Prečo lokálne
Súkromie, žiadne mesačné poplatky a funguje aj bez internetu. Hodí sa na prácu s citlivými dokumentmi, na domácu automatizáciu či experimenty. Najsilnejšie modely však zostávajú v cloude.