什么是“NPU”？为什么大型科技公司突然对其着迷？

“神经处理单元（NPU）”被认为是“人工智能个人电脑”和“人工智能手机”的下一件大事，但它不会消除对基于云的人工智能的需求。

这里有一个CPU，有一个GPU。在过去的一年里，每家科技公司都在谈论“NPU”。如果你不知道前两个，你可能会对第三个感到困惑，以及为什么每个科技行业都在赞美神经处理单元的好处。正如你可能已经猜到的那样，这都是由于围绕人工智能的持续炒作周期。然而，科技公司在解释这些NPU的作用，或你应该关心的原因方面做得相当糟糕。

每个人都想在人工智能这块蛋糕上分一杯羹。在本月的I/O开发者大会上，谷歌提到“AI”超过120次，新的人工智能应用程序和助手的可能性实际上让其主持人着迷。在最近的Build大会上，微软大肆宣传其采用高通骁龙X Elite和X Plus的新型ARM Copilot+ PC。任何一个CPU都将提供一个45个TOPS的NPU。这是什么意思？新PC应该能够支持设备上的AI。然而，然而，当你仔细想想，这正是微软和英特尔去年年底承诺的所谓“人工智能个人电脑”。

如果你今年买了一台装有英特尔Core Ultra芯片的新笔记本电脑，因为它承诺内置人工智能，你可能不会因为落后而感到高兴。微软指出，“由于运行它们的芯片”，只有Copilot+ PC才能使用Recall等基于人工智能的功能。

然而，当著名的泄密者Albacore声称，他们可以在另一台基于ARM64的PC上运行Recall而不依赖于NPU时，存在一些争议。新的笔记本电脑还没有上市，但我们需要等待，看看新的人工智能功能给神经处理器带来了多大的压力。

但如果你真的很好奇NPU是怎么回事，为什么从苹果到英特尔再到小型个人电脑初创公司都在谈论NPU，下面，我们将为你解释这一切，让你快速了解它。

解释NPU和“TOPS”

首先，我们应该为大家提供一个普通个人电脑计算能力的快速概述。CPU，或“中央处理器”，本质上是计算机的“大脑”，处理大多数用户的任务。GPU或“图形处理单元”更专门用于处理需要大量数据的任务，例如渲染3D对象或玩视频游戏。GPU既可以是PC内的一个独立单元，也可以打包在CPU内。

通过这种方式，NPU在其专门性方面更接近GPU，但你不会在中央或图形处理单元之外找到一个单独的神经处理器，至少目前如此。它是一种处理器，专门用于处理机器学习算法的数学计算。这些任务是“并行”处理的，这意味着它将把请求分解成更小的任务，然后同时处理它们。它是专门设计用来处理神经网络的强烈需求，而不利用任何其他系统的处理器。

判断NPU速度的标准是TOPS，即“每秒万亿次操作”。目前，这是大型科技公司相互比较神经处理能力的唯一方法。这也是比较处理速度的一种令人难以置信的简化方式。CPU和GPU提供了许多不同的比较点，从核心的数量和类型到一般时钟速度或每秒万亿次浮点运算，甚至这还没有触及芯片架构所涉及的复杂性的表面。高通公司解释说，TOPS只是一个快速而肮脏的数学方程，结合了神经处理器的速度和准确性。

也许有一天，我们会看到与CPU或GPU具有相同粒度的NPU，但这可能只有在我们结束当前的AI炒作周期之后才会出现。即便如此，这些处理器的划分也不是一成不变的。还有GPNPU的概念，它基本上是GPU和NPU功能的组合盘。很快，我们将需要将小型的人工智能PC的能力分解为可以处理数百甚至数千个TOPS的大型PC。

NPC已经出现在手机和PC上好几年了

早在大多数人或公司关心NPU之前，手机就开始使用NPU了。早在Pixel 2的时候，谷歌就谈到了NPU和AI功能。以中国为中心的华为和华硕在2017年的Mate 10和2018年的Zenphone 5等手机上推出了NPU。当时，两家公司都试图在两款设备上推广人工智能功能，尽管客户和评测者对它们的功能比现在怀疑得多。

的确，今天的NPU比六、七年前要强大得多，但如果你没有注意到，大多数这些设备的神经能力都会从你身边溜走。

在2023年之前，计算机芯片已经配备了神经处理器多年。例如，苹果公司基于ARC的专有芯片M系列CPU，在2020年就已经支持神经功能。M1芯片有11个TOP，M2和M3分别有15.8个和19个TOP。只有在新iPad Pro 2024内置了M4芯片后，苹果才决定需要夸耀其最新神经引擎的38TOP最高速度。但哪些iPad Pro AI应用程序真正利用了这一新功能？老实说，并不多。也许我们会在几周后的WWDC 2024上看到更多，但我们还得拭目以待。

目前对NPU的痴迷，部分是硬件，部分是炒作

NPU背后的想法是，它应该能够减轻CPU或GPU运行设备上AI的负担，允许用户运行AI程序，无论是AI美术生成器还是聊天机器人，而不会减慢PC的速度。问题是，我们仍然在寻找一个真正的人工智能程序，可以使用增加的人工智能能力。

在过去的一年里，通过对主要的芯片制造商进的了解，我们不断听到的一件事是，硬件制造商感到，他们的需求首次超过了软件需求。在很长一段时间里，情况恰恰相反。软件制造商将不断突破消费者端硬件的极限，迫使芯片制造商迎头赶上。

但自2023年以来，我们只看到了一些能够在设备上运行的边缘人工智能应用。高通或英特尔芯片的人工智能功能的大多数演示，通常涉及运行Zoom背景模糊功能。最近，我们看到一些公司在现有应用程序（如Audacity）中使用AI音乐生成器模型Riffusion对NPU进行基准测试，或者在OBS Studio上使用实时字幕。当然，你可以找到一些运行聊天机器人的应用程序，这些应用程序能够在设备上运行，但一个功能较差、不太细致的LLM并不像一个巨大的杀手级应用程序，会让每个人都跑出去购买最新的智能手机或“人工智能个人电脑”。

相反，我们只能在Pixel手机上使用相对简单的Gemini Nano应用程序，比如文本和音频摘要。谷歌最小版本的人工智能将出现在Pixel 8和Pixel 8a上。三星曾经只在Galaxy S24上使用的人工智能功能，已经在老款手机上得到了应用，应该很快就会出现在该公司的可穿戴设备上。我们还没有在旧设备上对这些人工智能功能的速度进行基准测试，但它确实表明，早在2021年，旧设备就已经具备了足够的神经处理能力。

设备上的人工智能仍然受到消费者终端产品处理能力不足的阻碍。微软、OpenAi和谷歌需要运行主要的数据中心，运行数百个来自英伟达的先进人工智能GPU，如H100（据报道，微软和其他公司正在开发自己的人工智能芯片），以处理一些更先进的LLM或聊天机器人，其型号如Gemini advanced或GPT 4o。这在金钱、电力和水等资源方面都不便宜，但这就是为什么这么多更先进的人工智能消费者可以在云端运行。在设备上运行人工智能对用户和环境都有好处。如果企业认为消费者需要最新、最好的人工智能模型，那么该软件将继续超越消费者端设备的可能。

如果朋友们喜欢，敬请关注“知新了了”！