微软新推出的小语言模型Mu，是端侧AI的最优解吗？

上周，微软宣布推出一款名为“Mu”的新型生成式人工智能（GenAI）系统，它让我们得以一窥未来我们使用各种设备（从个人电脑到烤面包机）的方式。

借助“Mu”，用户能够通过日常语言来操控电脑。例如，你可以键入或说出“打开暗黑模式”或“让我的鼠标指针变大”等指令，电脑便会照做。

目前，“Mu”首次出现在Windows 11设置应用程序中。你只需说出或键入你想要更改的具体设置，这款生成式人工智能工具就能理解你的意图并为你完成更改。

本地而非云端

更重要的是，这并非运行在云端的大型语言模型（LLM）——“Mu”是一款小型语言模型（SLM），拥有相对较少的3.3亿参数，专为在一种名为神经处理单元（NPU）的专用人工智能芯片上运行而设计。

这种NPU芯片搭载于微软、戴尔、惠普、联想、三星和宏碁推出的最新款Copilot+个人电脑中。这些新款电脑自2024年6月开始发货，是唯一能够使用“Mu”以及Windows 11中其他先进人工智能功能的电脑。

总而言之，它并非基于LLM的云端聊天机器人，而是一款完全在个人电脑上运行、甚至在断开互联网连接时也能运行的小型语言模型。

由于Copilot+个人电脑配备了能够每秒处理至少40万亿次运算的NPU，因此能够运行“Mu”。微软与高通、AMD和英特尔展开合作，确保“Mu”能够在这些公司的NPU上顺畅运行，而如今，NPU已成为所有Copilot+个人电脑的标准配置。

“Mu”采用一种名为“变换器编码器-解码器”的设计，这意味着它将工作分为两部分。编码器将你的语言转化为一种压缩形式，而解码器则将这种形式转化为正确的指令或答案。

与旧模型相比，这种设计在执行诸如更改设置等任务时更为高效。“Mu”拥有32层编码器和12层解码器，之所以选择这种配置，是为了契合NPU的内存和速度限制。该模型利用旋转位置嵌入来保持词序，采用双层归一化来保持稳定性，并运用分组查询注意力机制来更高效地利用内存。这些技术选择使得“Mu”能够每秒处理超过100个标记，并且在不到500毫秒的时间内做出响应。

与基于LLM的聊天机器人（如OpenAI的ChatGPT）相比，“Mu”的速度极快。

微软在360万个专注于Windows设置及相关任务的示例上对“Mu”进行了训练。训练在Azure平台上进行，借助了NVIDIA A100图形处理单元（GPU）。训练完成后，微软对“Mu”进行了微调，并运用量化技术缩减其内存需求，以便其能够在三家芯片制造商的NPU上良好运行。因此，“Mu”的体积约为微软Phi-3.5-mini模型的十分之一，但在其设计用于执行的任务上，性能几乎同样出色。

小模型而非大模型

“Mu”真正具有开创性，因为它是首款专为让用户通过自然语言控制系统设置而设计的小型语言模型，且完全在主流出货设备上运行。

苹果公司的iPhone、iPad和Mac都配备了神经引擎NPU，并运行用于Siri和苹果智能功能的设备端人工智能。然而，苹果公司并没有像“Mu”那样深度集成于系统设置的小型语言模型。Siri和苹果智能功能能够更改一些设置，但其范围和灵活性无法与“Mu”相提并论。

三星的Galaxy S25以及其他近期推出的旗舰手机配备了定制的NPU和Galaxy人工智能，能够执行各种设备控制和个人助理任务。然而，它们同样缺乏用于全面系统设置控制的小型语言模型。

谷歌的Chromebook Plus设备配备了NPU，并支持设备端人工智能，但并未像“Mu”那样使用小型语言模型来用于系统设置。

由于“Mu”直接在设备上处理数据，因此能够确保个人信息的隐私性，并且能够即时做出响应。这种转变也使得遵守欧洲和美国等地的隐私法规变得更加容易，因为数据不会离开你的电脑。

整个行业正朝着这一方向发展，原因显而易见。如今的小型语言模型已经足够强大，能够像大型云端模型一样出色地处理特定任务。它们的运行成本更低，能耗更少，并且可以根据特定的工作或语言进行定制。

值得注意的是，NPU并不罕见。目前，它们已经出现在新款手机、平板电脑甚至家用电器中。这些芯片旨在高效且低功耗地运行神经网络，使得在没有可靠互联网连接的情况下，也能在任何地方提供智能功能。

最重要的是，运行在NPU上的小型语言模型对于个人电脑、手机和平板电脑而言意义重大，甚至对于一切设备都是如此。随着其性能和能力的提升以及成本的降低，我们可以预见，汽车仪表盘、恒温器、洗衣机、拖拉机乃至一切设备（包括烤面包机）都将摒弃嵌套菜单式的用户控制方式，转而采用语音控制设置。

你将走进厨房，告诉烤面包机在大约20分钟后将你的贝果烤得稍微焦一点，然后告诉咖啡机为你制作一杯拿铁。早餐过后，你将走进家庭办公室，通过与专门用于每种设备的小型语言模型交谈，远程控制各种物联网设备和其他物品。

不过请注意，这些用于设备控制的小型语言模型还将直接与大型语言模型配合使用，以获取信息并执行其他操作，比如编写代码、构建网站和应用程序以及促进你所有的商务沟通。