辽宁
分享至
Colibrì项目实现了一个近乎疯狂的实验：通过纯C语言编写的轻量引擎，让744B参数的GLM-5.2（MoE架构）在仅有25GB内存、无GPU的普通电脑上跑了起来。其核心逻辑是利用MoE模型“每次仅激活部分专家”的特性，将10GB的核心权重驻留内存，而把近370GB的专家参数留在NVMe SSD上，像“流媒体”一样按需实时读取。
作者声明：该图片由AI生成
这件事的重要性在于它打破了“巨型模型必须堆显存”的死理。虽然在普通硬盘上每秒只能蹦出0.1个Token，慢得像在写信，但它证明了IO带宽可以某种程度上替代昂贵的VRAM。对于开发者来说，这意味着即便没有H100，也能在本地调试最前沿的架构。不过要注意，这种高频的随机读取对固态硬盘寿命是个考验，且比起聊天，它可能更适合那些“睡一觉看结果”的异步任务。
github.com/JustVugg/colibri
#人工智能##AI创造营##开源##LLM#
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
