本地AI遥遥无期，NPU两年未能取代GPU的真相

html

“AI PC”这个词在过去几年里基本上指的是“配备了神经处理单元（NPU）的轻便笔记本电脑”。今天，距离英特尔的Meteor Lake硬件华丽发布NPU已经过去两年，这些AI PC依然像是被美化的技术演示。

但本地AI来了！而且它非常令人印象深刻，跟NPU没有任何关系。事实上，如果你只有一个NPU，可能会觉得本地AI已经失败了。实际上，本地AI工具比以往任何时候都更强大，但你可能不知道，因为它们是运行在GPU上，而不是NPU。

NPU本来应该开启笔记本电脑和PC上本地AI的新纪元。结果，NPU的重大推动已经彻底失败。

NPU迄今未能提供本地AI

神经处理单元是有效的。它们甚至可以驱动一些有趣的小功能和花招。但我们曾被承诺会迎来一个由NPU驱动的AI PC时代，能够运行强大且改变游戏规则的本地AI工具。两年后，这个营销梦想几乎完全破灭。

是的，你可以在Windows中使用各种Copilot+ PC功能，比如Windows Recall，它每五秒捕捉一次你PC桌面的图像。还有照片应用中的图像生成器，可以生成一些看起来相当可怕的图片。

当然，有一些有用的功能。Windows Studio Effects 非常适合美化你的网络摄像头视频，而 语义搜索 将使在 Windows 上查找文件变得更容易。但这些小功能远不如我们被兴奋的 AI PC 营销所承诺的那种“在你的 PC 上运行全功能 AI”的强大体验。还记得微软宣布 2024 年为“AI PC 年”吗？发生了什么？

更糟糕的是，微软已经开始转向不再以 NPU 为中心的方法，推出了 Windows ML。因为开发者在编写应用程序时并没有考虑 NPU，Windows ML 将允许开发者编写可以在 CPU、GPU 和 NPU 上运行的 AI 应用。

但微软面临一个大问题：本地 AI 已经到来，而且相当不错，但最受欢迎的应用根本不使用 NPU。它们甚至可能永远不会转向 Windows ML。微软一直表现得像是走在前面，但该公司对 NPU 的押注意味着它已经落后了。本地 AI 生态系统正在 Windows 上构建，而没有使用任何微软提供的 AI 接口。哎呀。

本地 AI 已经到来——针对 GPU

如果你有一台游戏 PC，并且想知道本地 AI 有多好，可以尝试下载 LM Studio。只需几次点击，你就能运行一个本地 LLM，并使用一个完全在自己硬件上运行的 AI 聊天机器人。在许多方面，这就是 NPU 驱动的 AI PC 的梦想：一个人们可以在几次点击内开始使用的本地 AI 工具，而无需任何技术知识。好吧，它来了。算是。

像许多其他 AI 工具一样，LM Studio 主要支持 GPU，但也有一个较慢的 CPU 回退模式。它根本无法与 NPU 进行任何操作。同样，其他知名的本地 AI 工具，如 Ollama 和 Llama.cpp——许多其他工具所依赖的后端——也不支持 NPU 功能。

这些工具的表现令人印象深刻，但它们根本不与 NPU 兼容。为什么微软或英特尔不雇一两个工程师将 NPU 支持集成到人们实际使用的开源工具中呢？如果用于营销 NPU 驱动的“AI PC”的一小部分资金用于真正使 NPU 有用，我的看法会有所不同。

长话短说：如果你想在自己的硬件上运行本地 AI，最好避开那些所谓的带有 NPU 的“AI PC”。你真正需要的是一台强劲的游戏 PC，最好是配备 Nvidia 显卡的，因为本地 AI 工具仍然是以 Nvidia 硬件为基础编写的（多亏了 Nvidia 的 CUDA）。

AnythingLLM 是一个例外

在网上搜索是否有支持 NPU 的流行本地 LLM 工具时，我发现了这个： AnythingLLM。这个工具的后端支持高通 Hexagon NPU，适用于高通 Snapdragon X 系统。但就这些。对英特尔或 AMD 系统没有 NPU 支持。

高通有一篇 兴奋地介绍这个软件的博客文章。当我下载它并在我的高通 Snapdragon X 驱动的 Surface Laptop 上试用时，我遇到了 Windows SmartScreen 警告——这是你在下载一个微软安全防护不熟悉的冷门程序时可能会遇到的警告。

这意味着什么？这是在 NPU 上运行本地 LLM 的最佳解决方案……但没有人使用它。它实在太冷门了，以至于触发了 Windows 的安全警告。

AnythingLLM 只是这个问题的一个例子。还有其他支持 LLM 的应用程序，但它们大多局限于开发者技术演示。例如，英特尔有 OpenVINO GenAI 软件，旨在为开发者服务，但与 LM Studio 和其他流行的基于 GPU 的本地 AI 工具的“只需几次点击”体验相差甚远。

NPUs 本应成为主流，但 GPUs 正在获胜

有趣的是，NPUs 本应使本地 AI 民主化。这个想法是，GPU 对于本地 AI 功能来说太贵且耗电。因此，人们可以在一个高效能的 NPU 上运行本地 AI 功能，而不是使用带有独立 GPU 的 PC。GPU 是“发烧友”选项，而 NPU 将是易于使用的“主流”选项。

这个梦想不仅没有实现——它完全崩溃了。如果你想要好用的本地 AI 工具，那你得有一台配备强大 GPU 的 PC，这样你才能使用上述的“只需几次点击”工具。如果你 真的 想在一台配备 NPU 的轻便笔记本电脑上使用本地 AI，你要么得翻找为开发者设计的晦涩技术演示，要么只能局限于 内置于 Windows 的少数 Copilot+ PC AI 功能。

但与任何拥有 GPU 的人可以在 LM Studio 中运行的本地 LLM 相比，那些功能简直就是玩具——只需几次点击。即使我们只是在谈论 AI 驱动的网络摄像头和麦克风效果，免费的易用 Nvidia Broadcast 应用 提供的效果也远比微软的 Windows Studio Effects 解决方案强大……而你所需要的只是配备现代 Nvidia GPU 的 PC。

微软自食其果

自从 Copilot+ PC 发布以来，微软一再告诉那些真正使用本地 AI 工具（比如 LM Studio、Ollama、Llama.cpp 等）的人，AI PC 并不适合他们。

微软 非常明确 地说，内置的 Windows AI 功能只能在 NPU 上运行，不适合在 GPU 上用。即使你关心本地 AI，微软也表示你不能在没有 NPU 的 PC 上使用内置的 Windows AI 功能。我通过 我的 $3,000 游戏 PC 发现它无法运行 Copilot+ 功能 了解到这一点。

因此，本地 AI 用户的反应就是忽视内置于 Windows 的 AI 功能。换句话说，微软创造了两种不同的本地 AI 体验：

・由 NPU 驱动的 Copilot+ PC 游乐场有很多 一些没什么实际用处的小技术演示。拥有这些“AI PC”的人们大多不以为然，认为本地 AI 并不能做太多事情。

・由 GPU 驱动的 PC 体验充满了被微软忽视的开源工具。使用 这些 “AI PC”的人们发现本地 AI 其实挺有意思的，但他们并不使用任何微软的 AI 工具。

真是一团糟啊。

如果微软、英特尔或其他大公司雇佣软件工程师专注于将 NPU 支持集成到已有的本地 AI 工具中，并实现实际应用，也许我们会处于一个不同的境地。相反，我只能看着伟大的 NPU 推广，得出结论这不过是未能兑现承诺的营销。

难怪微软现在会说“每台 Windows 11 PC 都在成为 AI PC。”但这到底意味着什么呢？你仍然需要一个强大的 GPU 来实现真正的本地 AI。如果微软想通过宣传云驱动的 Copilot 聊天机器人，让每台 Windows PC 都变成“AI PC”，他们早就可以做到——但那可不会帮 PC 行业卖出那么多“AI 笔记本”。

这是伟大的 NPU 失败——对 NPU 的大力推广几乎没有什么实质性成果。如果你想要本地 AI，直接买台配有强大 GPU 的 PC。如果你试着走 NPU 这条路，肯定会失望。