北京
先给个反常识：同款27B模型，常规4比特压缩后还得占18GB——这对手机来说还是太胖。而Bonsai团队直接把权重量化到1比特甚至三值，体积刀到3.9GB，塞进iPhone 17 Pro，真的能跑了。没开玩笑，这是首个能在手机上完整运行的27B参数级别模型。
之所以这事儿值得较真，是因为以前大家都认为这类尺寸的模型只配待在服务器上。16比特精度一上，54GB显存起步；即使切割成4比特，也有18GB，大部分笔记本都喊吃力。Bonsai 27B就靠两个变体把这条线怼穿了：
三值版：权重用{-1, 0, +1}，搭配FP16组缩放，实际每个权重只占1.71比特，模型大小5.9GB。这就是质量取向的版本，日常笔记本就能带起完整的推理、工具调用和智能体能力。
1比特版：权重用{-1, +1}，同样是FP16组缩放，每个权重1.125比特，模型只有3.9GB。这是压缩取向版，让iPhone 17 Pro的内存预算刚好装下一个27B级模型，手机端本地推理不再是PPT里的梦。
而且Bonsai这次没搞“部分低比特、关键层偷用高精度”的把戏。语言网络、嵌入层、注意力、MLP、预测头，全部端到端低比特跑到底，没有高精度逃生舱。连视觉塔都打包成了4比特紧凑版，意味着设备上不光能读文字，还能直接吃截图、文档、相机画面，多模态能力没阉割。加上262K超长上下文，以及无损的投机解码加速，开箱即用。整套东西挂在Apache 2.0协议下，今天就能拉。
说回性能，这才是让爱算账的工程师在意的点。跑了一遍覆盖知识、推理、数学、编程、指令跟随、工具调用和视觉的15项基准测试（开的是思考模式，模型的完整推理被充分压榨），三值版保留了全精度基线的95%，1比特版也咬住了90%。如果你只看平均数可能还不够犀利，拆开能力看才疼：数学和编程几乎没掉，工具调用也只差全精度几分——这些恰恰是智能体工作流最要命的能力。对比一下，同样基座模型用最狠的常规低比特量化，分数比1比特Bonsai还低，内存占地却是2.5倍。帕累托前沿被再次推进了。
所以Bonsai团队相当于在说：别迷信高精度那点理论优势了，27B级别的模型用1比特照样能打，体积比全精度的2B模型还小。这事情，像极了他们之前在小模型和图像模型上做过的事，现在照样搬到更大尺寸的模型上，数据不会撒谎。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
