北京
分享至
一台只有1G可用内存的电视盒子，跑起了16B规模的大模型。这不是云端推理，是本地运行。
作者Gorden Sun分享了smolmaxxing项目：在llama.cpp基础上重写底层计算代码，针对老旧芯片做优化。核心动作有两个——删掉不常用的词汇以节省空间，以及把模型数据放在硬盘上，按需快速读取并提前预判加载。
这套硬盘暂存加预读取的策略，解决的是低内存环境下的模型加载问题。内存装不下整个模型，就让硬盘当仓库，计算时再快速取用。
实测数据如下：
- 第三代小米电视盒子S运行2B规模的Qwen3.5，每秒生成7.7个token
- 同一设备运行16B规模的Ling-mini-2.0，每秒5.1个token
- 2013年的iPad Air运行1.7B规模的Bonsai，每秒24-26个token
- 这台旧iPad同样能跑16B大模型
两款设备都只有1G可用内存，都成功跑起了AI对话。7.7和5.1 token每秒不算快，但已经进入可用的对话节奏；iPad Air上24-26 token每秒，接近正常阅读速度。
值得关注的是优化路径的选择。没有换硬件，没有加内存，而是在计算逻辑层面做减法——删冗余词汇降低内存占用，用硬盘补内存的缺口。对手里堆着旧设备的人来说，这条路子说明算力门槛之外，工程优化还有空间可挖。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
