把8B模型塞进iPhone，这家公司让AI速度起飞，功耗省掉80%

当整个 AI 行业还在比拼参数规模、堆算力时，有家初创在相反的方向发力：把模型压缩到只剩 1 比特。

当地时间 3 月 31 日，美国 AI 初创公司 PrismML 发布了一款旗舰模型 1-bit Bonsai 8B。该模式使用 Google TPU v4 进行训练，在接近同等性能的前提下，可将模型权重压缩至单个比特（原生 1 比特架构）。

多项智能基准测试结果显示，与传统 FP16 8B 模型相比，该模型在高保真推理和语音理解能力相当的前提下，内存占用从 16GB 降至 1.15GB，推理速度提升 8 倍，能效提升 4-5 倍。在现有硬件平台上，该模型还能将能耗降低 75% 到 80%。也就是说，该技术以更少的资源完成了相同的工作，并有效降低了能耗成本。

值得关注的是，该公司在三种主流平台跑通了这款模型。根据技术报告，Bonsai 8B 可通过 MLX 或 Metal 接口在 Apple 设备（Mac、iPhone、iPad），也可基于 llama.cpp CUDA 在 NVIDIA GPU ，还可以通过 MLXSwift 或 OpenCL 路径在移动端上运行。

该技术有望催生新的 AI 系统：既能在边缘高效运行，又能在云端经济高效扩展。让 AI 直接在手机、笔记本电脑等消费电子设备本地运行，并有望进一步拓展至数据中心。有助于减少对云的依赖，而是基于该模型直接在设备上执行的复杂 AI 应用程序，进而解锁机器人、可穿戴设备和个人计算应用程序等边缘场景。

“人工智能的未来有望不再取决于谁能建造最大的数据中心，而是取决于谁能以单位能源和成本提供最大的智能。”该公司投资人、Khosla Ventures 创始人 Vinod Khosla 表示。

（来源：资料图）

PrismML 是在加州理工学院团队技术支持下衍生而来。目前，该公司已通过种子轮融资和 SAFE 融资筹集 1,625 万美元，投资者包括 Khosla Ventures、Cerberus Capital 和加州理工学院。

该公司联合创始人兼 CEO、加州理工学院教授 Babak Hassibi 称，该技术是一种能够适应各种硬件环境，并“在单位能耗和成本下释放更高智能密度”的数学突破。

图丨1-bit Bonsai 8B 的技术报告（来源：PrismML）

随着 AI 模型规模和计算量的提升，部署高级智能技术越来越需要庞大的数据中心基础设施。但由于延迟、硬件和隐私等方面的限制，实时、本地化的 AI 体验仍面临严峻的挑战。

PrismML 指出了一个容易忽略的事实：在端侧推理场景下，真正“卡脖子”的是内存带宽而非算力。该公司的关键优势在于，通过数年时间研发了压缩神经网络所需的数学理论来应对这一挑战。

与传统的 FP16 架构不同，PrismML 创建了具有原生 1 比特结构的模型。在不牺牲推理、编码和通用知识能力的前提下，同时压缩计算复杂度与内存占用。

（来源：PrismML）

根据 PrismML 发布的技术报告，他们将智能密度定义为模型智能与规模的比值（以比特为单位测量，或等效地以 GB 为单位）。按此标准衡量，1-bit Bonsai 8B 的智能密度得分达 1.06/GB。在参数数量相近的模型中，最接近的 Qwen3 8B 得分仅 0.10/GB。

（来源：PrismML）

在 MMLU-Redux 知识测试、MuSR 多步推理、GSM8K 数学解题、HumanEval+代码生成、IFEval 指令遵循和 BFCLv3 工具调用六个维度的测试中，1-bit Bonsai 8B 的平均得分达 70.5 分，与 Qwen 3 8B 的 79.3 分差距不到 9 分，但其内存占用仅为 1.15 GB，比同类产品小约 12-14 倍。这正是智能密度的核心所在：不仅具有高性能，而且以更易于部署的方式提供性能支持。

研究人员在不同设备上进行了吞吐量数据对比。在 M4 Pro Mac 上，Bonsai 8B 的运行速度可达每秒 136 token；在 RTX 4090 上，可达每秒 440 token；在 iPhone 17 Pro Max 上，其运行速度约每秒 44 token。这些性能表现指向了一个与依赖云端的 AI 截然不同的可能性：其所带来的体验，可能会速度更快、更直接、更易用。

这种优势在处理长周期智能体工作负载时更加明显。在上面视频的演示中，研究团队模拟了 50 个工单汇总和分配任务。结果显示，在相同时间窗口内，Bonsai 8B 能够完成所有 50 个工单，而标准的 FP 16 8B 模型在同一时间段内只能完成 6 个。

对于需要持续进行多步骤推理的智能体而言，更高的吞吐量和更低的内存占用不仅能提升系统速度，还有利于扩展智能体实际完成的工作量。

图丨各种硬件平台的能耗对比（来源：PrismML）

从模型效率来看，Bonsai 8B 的能耗也具有优势，而这一点与经济效益直接相关。数据结果显示，其远低于 FP 16 版本，能效大约提升 4-5 倍。在 M4 Pro 上，其能耗为 0.074 毫瓦时/token，而在 iPhone 17 Pro Max 上，其能耗仅为 0.068 毫瓦时/token。

（来源：PrismML）

为进一步展示技术的扩展性，PrismML 还同步推出了两款更小的型号：Bonsai 4B 和 Bonsai 1.7B，内存占用分别是 0.5GB 和 0.24GB。研究人员选取了从 1.2GB（Qwen3 0.6B）到 16.4GB（Qwen3 8B）的 20 款主流模型。从与同量级竞品对比结果来看，PrismML 的三款模型在“智能密度”指标上具有优势。

该公司承认技术当前仍具有局限性：一方面，这些结果仍是在通用硬件和软件优化的前提下实现；另一方面，移动端的能耗数据来自电池耗电速率的间接估算。

如果适配专门为 1 比特模型设计的硬件，有可能减少对复杂数学乘法的需求。在此前提下 PrismML 预测，未来硬件只需执行简单的加减运算，有望进一步将性能和能效提升 1 个数量级。

总体来说，这种“以小博大”的新范式，正在打破算力和设备之间的物理边界：以往需要权衡取舍的场景，例如企业级本地部署、隐私敏感场景、间歇性连接环境、成本受限的 GPU 服务等，未来有望通过同一套方案覆盖。

参考资料：

https://github.com/PrismML-Eng/Bonsai-demo/blob/main/1-bit-bonsai-8b-whitepaper.pdf

https://prismml.com/news/prismml-launches-worlds-first-1-bit-ai-model

https://prismml.com/news/bonsai-8b

https://www.wsj.com/cio-journal/caltech-researchers-claim-radical-compression-of-high-fidelity-ai-models-e66f31c9?mod=tech_feat1_ai_pos1

运营/排版：何晨龙