谷歌推出开源全栈NPU新架构，旨在实现大模型在终端的低功耗运行

谷歌（Google）正式宣布推出Coral NPU，一个面向边缘人工智能（Edge AI）的开源全栈平台。这一平台旨在解决当前边缘 AI 设备面临的核心挑战，使大型、现代的人工智能模型（LLMs）直接嵌入到智能手表、耳机和各类传感器等对功耗极度敏感的微型设备中，并首次实现在智能手表、耳机或传感器等小型设备上实现全天候运行。

（来源：Github Coralnpu）

近年来，云端大模型的强大创造力、推理和辅助能力已经从根本上重塑了我们对技术的期望。谷歌认为，下一个重大的技术飞跃，不在于让模型更大，而在于让智能更贴近我们。

要让 AI 成为真正的贴身助手，主动帮我们规划日程、实时翻译对话、或理解我们的物理环境，它就必须在我们佩戴和携带的设备上运行。这就导向了当前行业的核心挑战：如何将“环境 AI”（ambient AI）植入电池容量极其有限的边缘设备，使其在实现全天候辅助的同时，确保用户数据的绝对隐私。

Coral NPU 的目标就是实现极致的能源效率，让 AI 模型在仅消耗几毫瓦功率的情况下运行，从而摆脱对云端连接的依赖，并从根本上增强设备的隐私保护能力。

谷歌指出，要将 AI 从云端迁移到个人设备，首先要解决三个根深蒂固的难题：一是性能鸿沟，即现代模型所需的庞大算力与微型设备有限资源之间的矛盾；二是碎片化的成本，即面对硬件与软件工具链的严重碎片化，开发者需要为一个充斥着各种专有处理器的、高度碎片化的市场编译和优化 ML 模型，而这一过程极其困难且成本高昂；三是用户信任，面对数据传输至云端处理带来的隐私泄露风险，个人 AI 必须将个人数据的隐私与安全置于首位。

传统上，低功耗边缘设备的开发者面临一个根本性的权衡：要么选择通用 CPU，它们灵活且软件支持广泛，但缺乏针对 ML 工作负载的专用架构，导致性能低下且能效比差；要么选择专用加速器，它们 ML 效率高，但“不灵活、难以编程，且不适合通用任务”。

其次，这种硬件困境被一个高度碎片化的软件生态系统放大了。CPU 和 ML 模块的编程模型截然不同，开发者常常被迫使用专有编译器和复杂的指令缓冲。这造成了陡峭的学习曲线，使行业长期缺乏一个成熟的、能有效支持多种 ML 开发框架的低功耗架构。

传统的芯片设计思路是围绕通用 CPU 构建，再“外挂”一个 AI 加速器。这种架构在处理“常驻”的、持续性的 AI 任务时效率低下。Coral NPU 的出现则开辟了一条新的思路。它不再以 CPU 为中心，而是将负责运行神经网络核心数学运算的“矩阵引擎”置于芯片设计的核心位置。这一神经处理单元（NPU）架构，结合了一个小型的 RISC-V 控制核心 和一个 RVV 1.0 向量单元，未来还将推出量化外乘矩阵单元。

这种以“AI 优先”（AI-first）为先的架构，Coral NPU 旨在实现极高的能效比。其目标性能是每秒执行约 5,120 亿次操作（512GOPS），而功耗则控制在毫瓦级别。这种性能与功耗的平衡，对于需要 24/7 全天候运行 AI 功能且电池容量极其有限的小型 AI 设备而言，堪称一次飞跃。

（来源：Google for Developers）

同时，Coral NPU 还是一个“全栈”平台。为了解决工具链碎片化的问题，谷歌为其配备了一个统一的编译器堆栈。该堆栈基于 MLIR、IREE 和 TensorFlow Lite Micro 等开源技术。其核心优势在于，开发者只需编写一次模型代码，就能在任何基于 Coral NPU 架构的芯片上运行，真正实现模型的跨硬件无缝迁移。这极大地降低了开发门槛，使开发者无需再为每一个品牌的硬件重写和优化代码。

在解决“信任赤字”方面，Coral NPU 的一个核心原则是通过“硬件强制安全”（hardware-enforced security）来建立用户信任。其架构正在被设计为支持像 CHERI 这样的新兴技术，该技术能提供细粒度的内存级安全和可扩展的软件分区。谷歌希望通过这种方法，将敏感的 AI 模型和个人数据隔离在一个“硬件强制的沙箱”中，以有效抵御基于内存的攻击。

谷歌将 Coral NPU 视为边缘 AI 的新开放标准，而这一愿景已开始落地。据悉，芯片设计公司 Synaptics 已经开始采用这种新设计来构建其下一代芯片，证明了该平台不仅仅停留在理论阶段。Coral NPU 的开源和全栈特性，有望催生下一代真正智能且持久续航的边缘设备，从根本上改变用户与可穿戴设备和传感器的交互方式。

参考资料：

1.https://developers.googleblog.com/en/introducing-coral-npu-a-full-stack-platform-for-edge-ai/

2.https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/

3.https://github.com/google-coral/coralnpu

运营/排版：何晨龙