量化
一个大模型拥有数十亿个参数，每个参数原本要占用 16 位。量化技术能把它们压缩到 4 到 8 位，同时只损失少量的质量。这样一来，一个拥有 70 亿到 80 亿参数的模型大约只占 5 GB，在笔记本电脑上也能流畅运行。
需要什么硬件
- 搭载 M 系列芯片的 Mac 得益于统一内存架构，运行较大模型的表现出人意料地好。
- 配备大显存显卡的 PC 速度最快。
- 就连 核显（例如 Intel Arc）搭配合适的软件，也能应付一些较小的模型。
- 内存越大，能跑的模型就越大，但按如今的 内存价格 来看，这并不便宜。
为什么要选本地运行
隐私、没有月费，而且离线也能用。它很适合处理敏感文档、家庭自动化，或者拿来做实验。不过，最强大的模型依然留在云端。