Kvantizace
Velký model má miliardy parametrů a každý z nich původně zabírá 16 bitů. Kvantizace je zmenší na 4 až 8 bitů s malou ztrátou kvality. Model se 7 až 8 miliardami parametrů pak zabírá kolem 5 GB a pohodlně běží i na notebooku.
Co je potřeba
- Mac s čipem M je díky sdílené paměti překvapivě dobrý na větší modely.
- PC s grafickou kartou s velkou VRAM je nejrychlejší.
- I integrovaná grafika (například Intel Arc) zvládne menší modely s vhodným softwarem.
- Víc paměti znamená větší model. Při dnešních cenách RAM je to drahé.
Proč lokálně
Soukromí, žádné měsíční poplatky a funguje to i bez internetu. Hodí se na práci s citlivými dokumenty, na domácí automatizaci nebo na experimenty. Nejsilnější modely ale zůstávají v cloudu.