Cuantización
Un modelo grande tiene miles de millones de parámetros, y cada uno ocupa en origen 16 bits. La cuantización los reduce a entre 4 y 8 bits con una pequeña pérdida de calidad. Así, un modelo de 7 u 8 mil millones de parámetros ocupa unos 5 GB y funciona con soltura incluso en un portátil.
Qué hace falta
- Un Mac con chip M es sorprendentemente bueno para modelos más grandes gracias a su memoria compartida.
- Un PC con una tarjeta gráfica con mucha VRAM es lo más rápido.
- Incluso una gráfica integrada (por ejemplo, Intel Arc) puede con modelos más pequeños si se usa el software adecuado.
- Más memoria significa un modelo más grande. Con los precios actuales de la RAM, eso sale caro.
Por qué en local
Privacidad, ninguna cuota mensual y funciona incluso sin internet. Resulta útil para trabajar con documentos confidenciales, para la domótica o para experimentar. Sin embargo, los modelos más potentes siguen estando en la nube.