手机有新意，还要靠AI

我们能在高铁上刷起手机，或许也要感谢一位科学家曾经在火车上的工作。

1945年6月，冯·诺伊曼在开往洛斯阿莫斯的火车上，写下了著名的报告——《EDVAC的第一份草案》。这份集结了当年技术研究结晶的报告影响至今：它提出了后世被称作“冯·诺伊曼结构”的计算机模型，即由处理器、存储器、控制器、输入设备与输出设备组成的电脑。经过几十年的开发，今天的计算机的复杂程度已远超当年，仅用冯·诺伊曼所定义的五个模块来归纳计算机或许已经过于简化、不合时宜，但仍然可以从中理解系统的构建与工作。

手机就是一台超高集成度的电脑。在过去二三十年的发展里，随着需求的升级与技术工艺的提升，它也变得更加复杂、精密、高效——手机的集成度被空前提高，比如仅仅在SoC里，被陆续塞进去了GPU、基带、ISP、AI引擎等复杂功能，它们有些原本是分开的芯片与部件，有些则是随着时代潮流的创新技术。但更多芯片产生的复杂性，往往也让消费者感到迷惑：我要的是手机更流畅、图像更精细、日用更省电，但你“捆绑销售”给我的其它东西，是让我们掏冤枉钱吗？

比方说，大家都特别喜欢看显卡的热闹，毕竟它与游戏表现直接相关。科学计算、深度学习和挖矿等需求，追求显卡带来的高效算力，成了显卡的另一个发展热点。而在功能上，最热闹的当属光线追踪，它能模拟真实世界中光线的折射与反射，让游戏的画面看起来更真实。当然这个运算很消耗显卡算力，高端显卡一打开光线追踪，游戏帧率立减50%是业界常态。

而在移动端，光线追踪也成了今年的新移动平台里最值得关注的功能——这是一眼就能看得到的提升，也是厂商们技术竞赛的核心，比如高通，在前几天召开的骁龙峰会上，就宣布了在第二代骁龙8里，首次引入基于硬件的光线追踪功能，并率先在《逆水寒》手游中落地实装了手机光线追踪功能，而这也是业界第一个低于5瓦的实时光追GPU，在游戏时几乎不耗费任何电量。

“显卡”的好消息一出，消费者们乐开了花——但AI核心就很难有这种好待遇。造手机芯片的巨头们，从高通苹果，到华为谷歌，年年都说我们做了新的人工智能，但它到底有什么用？

同样是在骁龙峰会上，最新的AI技术告诉我们：AI几乎已经渗透进了手机的每一项功能。

AI引擎，图个啥

我们为什么需要这么多细分专用的处理器？高效、节能，是两个离不开的目标，显卡如此，AI芯片也是如此。

几年前，高通的AI核心是以“Hexagon DSP”身份出现的，其中DSP指的是“数字信号处理”，在图像处理、数字音频等领域有着广泛的应用。而在手机上，这颗DSP的工作更像是一块协处理器，用专用的轻量化运算处理一些特定任务，来给手机的电池减减负。举个例子，在2015年发布的一代神芯骁龙820上，Hexagon 680 DSP就是CPU的幕后功臣——它以一颗专用小核，就能实现通常需要2~3个CPU核心才能实现的视频与音频计算；在DSP里，还专门开辟了一个“低功耗岛”，用尽可能低的能耗，支持手机传感器的全天候运作；它首次引入了极为关键的张量运算（HVX）功能，也就是今天“AI核心”最关键的算力支持，也是因为有了AI核心，手机才得以实现高效的HDR摄影，正式走进计算摄影的时代。

经过几年的发展，算力更强的AI引擎已经成了诸多功能的基础，而曾经DSP的产品定义，也早已无法准确描述这颗日益强大、复杂的引擎芯片。在今天，它已经被扩充成为Hexagon处理器，尽管它的名声还不像Kryo CPU核心、Adreno GPU核心那样响亮，但早晚也会成为消费者心中的“高通精品”——因为在你看不见的地方，手机里已经有太多深度学习的模型，支持着你每天的使用。

比如语音助手。手机要识别你的声音，转成文本；要通过自然语言处理，去理解语言的含义；还要通过更自然的语音合成，播报给你想要的答案。这些运算，放在AI核心上，更好。

AI引擎的升级，就是由这些需求推动的。在第二代骁龙8的全新高通AI引擎中集成的最新一代Hexagon处理器里，高通投入了更多成本：张量加速器尺寸翻倍，带来了提升超过4倍的自然语言处理性能，以及60%的能效提升。

也比如影像视频。计算摄影的底层，就是芯片上的功夫——拍照即运算。各位打开手机相机，随便拍拍录录，手机就会明显发热，就是这个道理。计算摄影离不开ISP（图像信号处理器）的功劳，而AI引擎，则能利用深度学习的速度优势，进一步帮助计算摄影的升级。

其实这里大有讲究。一颗连接CMOS的ISP，另一颗是AI引擎，在它们之间需要怎样的“搭桥术”，才能让分属两枚处理器的数据、指令流畅互动？在第二代骁龙8中，有一项名为“Hexagon直连”的功能，便是打通AI引擎与ISP的方案示范——从中诞生的全球首个“认知ISP”，能实时地进行拍摄场景识别、优化，并实时反馈在手机的屏幕上。

更特别地，手机首次拥有了识别突发事件、记录关键瞬间的能力：比如想要拍摄闪电，就需要在毫秒的时间里做出判断并拍摄，还需要面临极端的高亮度对比，这都需要手机产生认知。

另一个特殊的认知场景，则是手机拍照的背景虚化。曾经手机的背景虚化，需要借助两颗摄像头进行景深判断，但它的精度相当有限。而在今天，借助神经网络计算，可以在有限的景深信息中，算出我们需要的清晰前景、模糊后景，并用更仿真的方式做出表达。

这都是AI在核心场景下的工作——它可能不像显卡那么直接，但我们会越来越离不开它。

万事不决问AI

一颗AI引擎来跑运算，但在仔细研究了骁龙峰会后，我们发现另有玄机——在第二代骁龙8里，甚至还藏了另外两颗小AI芯片，其中一颗在高通的传感器中枢里，传感器中枢同样起源于曾经DSP芯片的“低功耗岛”，负责着手机内外部的设备连接，相比于前代骁龙，这次传感器中枢的AI芯片性能提高2倍，因此首次实现了摄像头的智慧感知，也被用于强化比如二维码检测、眼球追踪、活动识别等基于传感器的AI功能。

其实在今天，很多功能是传感器、输出设备与AI运算的综合实力的体现。在第二代骁龙8、第二代高通S5、S3音频芯片的共同作用下，还能实现动态空间音频、时延低到48毫秒的aptX Adaptive连接技术、无损音乐串流——这些功能，早就是消费者想要的了，但想系统地解决问题，还得做到芯片上。

而另一颗小AI引擎，则藏在骁龙移动平台的王牌功能，5G基带里。

问题来了，怎么连基带都需要人工智能了？

事实上，很多自动化控制，已经被写在了今天的通讯协议中。比如在几年前，Wi-Fi 6刚刚开始推广普及时，对于为什么要用Wi-Fi 6，我们往往可以拿出一个非常有说服力的理由：波束成形技术。它相当于让路由器和手机的天线打个招呼，让更多的信号定向发送给对方，而不是毫无目标的均匀发射信号。当然，最终的结果就是，支持Wi-Fi 6的路由器和电脑手机，信号更强、速度更快。

其实高通在Wi-Fi领域里一直有很多“黑科技”，比如Wi-Fi 6是双频的，而高通芯片能支持同时连接2路2.4G信号和2路5G信号，即“实时双频Wi-Fi”或很多人熟悉的“实时双Wi-Fi 6技术”。第二代骁龙8，则成为首款支持Wi-Fi 7的手机芯片，在原有的强大基础上，首次实现了支持5GHz和6GHz的高频双并发，高通称其为“高频并发多连接技术”，在物理层面进一步大幅加速Wi-Fi连接。

而在5G技术里，波束成形同样是一项关键技术，特别是在毫米波5G，本身信号的穿透力就差，就更依赖波束成形等增强信号的技术了——但毫米波5G可能一两百米就有一个基站，那么多的天线信号，手机就要开始犯傻了：该向哪个基站“握手”传输数据？

这就有了AI的用武之地。第二代骁龙8集成的骁龙X70，就是全球首个和唯一一个配备5G AI处理器的调制解调器和射频系统。它通过四载波聚合（可以理解为四路信号并行下载）实现了10Gbps的5G传输速度，支持全球几乎所有先进的5G网络连接；骁龙X70首次通过内置的5G AI处理器高效地实现了AI辅助的毫米波波束管理，优化波束聚焦和方向，来解决毫米波的信号难题，并用AI来管理天线，自动优化信道、对抗环境变化产生的负面影响——比如在火车或者快速路上，快速切换的基站，AI就能帮你稳住信号。

我们的AI地基

如果以技术炒作曲线（Gartner Hype Circle）的眼光去看，今天我们看起来热闹非凡的人工智能，其实早已步入了稳步提升、创造真实价值的阶段。某种程度上说，AI可能已经完成了祛魅，变成了一个实用的、低调的东西。正如我们在骁龙峰会上观察到的，在手机上，AI就成了一项项我们每天在用的功能——拍照更清楚、语音识别更快、扫二维码更快、信号更稳定，诸如此类。实际上，业界围绕这些痛点，推出过一个个不同的解决方案，它们可能叫DSP、NPU或者ASIC，成为某个响亮的品牌名。作为消费者，我们或许可以感谢它们给了支持我们拍照、上网、听音乐的底层基础。

AI还将更有可为。比如在图像显示上，今天光线追踪已经加入了手机，而基于人工智能的DLSS技术也已经箭在弦上——这是一种通过人工智能运算，提升显卡在高分辨率下帧率性能的关键技术。而在未来，我们还有更多需要想象力的事情。

比如XR。第一代骁龙AR2，AI性能提升2.5倍、支持AR眼镜小于1W功耗，支持9路摄像头进行用户和环境理解，都是算力和需求的匹配。也同样采用支持Wi-Fi 7的FastConnect 7800连接系统。我们期待AR可以成为下一代个人计算的中枢设备，但想要做得更轻便、无线工作，那对芯片的要求要比手机还高。

今天我们面对的XR与沉浸式体验的概念，可能仍然处于雏形阶段，而XR未来也更需要AI的支持与创新。比如说有一个概念叫做“注视点渲染”，让显示芯片配合眼球追踪设备，它同样也是传感器、AI芯片与图形芯片的密切配合。而这可能就是AI以后的常态——集成在芯片里的AI引擎无处不在，AI的用武之地也越来越多，芯片之间的配合与连接，成了提高效率的必然选择。

AI就是这么“结果导向”——它就是要满足我们各种各样的需求。也正是我们的需求，在推动着高通这样的公司，围绕人工智能、深度学习训练，设计更高效的芯片、算法与开发接口，让整个系统高效地运转起来。在骁龙峰会里，我们不仅要热热闹闹地看着处理器和GPU的漂亮数据，偶尔关注一下AI，或许也能让你对未来更有期待。