北京
意大利工程师Vincenzo（网名JustVugg）想做一件听起来不可能的事：在普通电脑上跑一个7440亿参数、体积高达1.5TB的GLM-5.2模型。他的机器只有一颗普通CPU、25GB内存和一块1GB/s的虚拟NVMe硬盘，而这类模型通常需要Nvidia NVL72这样的数据中心级机柜才能运行。他动手写了一个叫Colibrì的程序，结果居然跑起来了，代价是速度慢到几乎不能用来聊天。
Colibrì在Vincenzo的配置上，平均生成速度只有每秒0.05到0.1个token。换算成实际体验，一个问题可能要花几个小时才出答案，离实时对话所需的每秒20到30个token相差甚远。即便换成更好的硬件，目前也还够不到实时使用的门槛。不过，Vincenzo认为这只是开始，他在有限的测试中已经看到了一些令人印象深刻的回答质量。
GLM-5.2是一个混合专家模型，能力接近Anthropic、OpenAI等公司的最强模型，至少看得见它们的尾灯。混合专家模型内部包含数百个专家子模型，分别擅长不同主题。关键的是，这些专家不是按整个问题来调用的，而是按token来激活。一个问题被切成许多token碎块后，对每个token，模型都会选出最适合的一批专家来处理。一次查询可能只调动同一批专家，但更多时候会牵涉几十甚至上百个专家。
通常，大型模型的大块甚至整个模型都要加载在成堆的数据中心GPU上。Colibrì的思路则完全不同：它利用混合专家模型的架构特点，按token反复加载和卸载所需的专家，让一台廉价机器也能用上大模型，只是性能惩罚很重。为了速度和简洁，Colibrì的专家选择代码写成了一个只有极少依赖的C文件。此外，GLM-5.2还被量化压缩过，用有损编码的方式先把体积缩小了一部分，为后续操作减轻压力。
这样做的结果，每一次对问题词块的专家加载卸载，都会给存储输入输出和内存带宽带来沉重负担。在这种方案里，NVMe存储速度是第一个主要瓶颈，但瓶颈的位置会因配置不同而移动。存储带宽一旦给够，马上就会撞上内存的限制。解决内存问题后，又会有新的制约点浮现。整个系统就像一条不断变窄的漏斗。
在家自己跑大语言模型和智能体正变得越来越流行，背后是AI订阅成本上升和对数据隐私的担忧。大多数人买不起Nvidia NVL72那样的机柜，爱好者们只能想办法用有限内存跑模型。Vincenzo的做法虽然慢，但它证明了本地运行前沿模型的可能性。Colibrì作为一个概念验证，打开了一种新思路：不必把整个模型塞进昂贵的显存，只要按需调动专家，家用环境也有机会接触顶级的AI能力。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
