麒麟990 5G，华为P40系列的影像实力之源！

用手机去拍摄一部电影其实并不是什么刚刚出现的新鲜事，但华为P40系列在全球市场上正式发布后，该产品却揭开了移动通信设备在影像拍摄应用领域的新篇章，业内公认的权威——DxOMark官方公布的排行成绩已经表明了事实。更为明显的是，华为P40 Pro在榜单上甩开竞争对手达4分之多，这也从侧面旁敲了华为P40系列在成像上的先进性已经领先了同期竞品。

测评严苛程度有目共睹，其既往排名也清晰的反映了一款产品想要拿到一分的提升，至少要拿出十分的硬件成本和技术积累，这对于一个体积有限的移动设备来说谈何容易？当分差扩大到4分时，这种优势已然上升到了代差范畴。

那么，到底是什么让华为P40系列能够以手机的名义同时扮演专业影像拍摄设备的角色？镜头？像素传感器？优良的器件自然必不可少，但背后还有一个关键的因素不能被忽视，那就是麒麟990 5G芯片。

NPU性能成为新时代影像能力的杀手锏

2019年9月，麒麟990 5G正式现身。当我们在为5G通信网络能够带来变革而雀跃的时候，集成了103亿晶体管的麒麟990 5G一系列的新特性就令其显得格外耀眼，因为它是当时全球首款集成了5G基带的旗舰SoC，同时也是首款正式投放市场的7nm+ EUV芯片。而彼时高通依旧处在外挂基带阶段，整体的制程工艺、芯片尺寸以及功耗都明显身处下风。要知道，芯片推陈出新的意义并不仅限于带来更快的运行速度，更在于能够在任何应用场景下都要具备更高的可靠性，让用户获得更优秀的体验。如果以这个角度来看麒麟990 5G，其优势反而比想象中要多的多。

常规化的性能提升似乎还不能够支撑麒麟990 5G在影像技术的跃进，这时候芯片内置的NPU和ISP就显得格外重要了。

其实早在2017年，麒麟970曾率先于业内，将独立NPU神经网络处理单元置于其中，摆脱了AI计算依赖CPU与GPU的局面。麒麟990 5G所拥有的NPU不仅算力远远高于后两者，并且相比目前业内旗舰级AI芯片同样具备高达8倍的性能优势和6倍的能效优势。

麒麟990 5G集成了与昇腾（Ascend）专业AI场景计算芯片相同的NPU，其采用自研的华为达芬奇架构，内置双大核（Ascend Lite）+微核（Ascend Tiny）三核心，设计出发点与CPU一样兼顾性能与能效，在人脸识别的应用场景下，微核比大核能效最高可提升24倍，具有更明显的节能效果。实际表现上，麒麟990 5G在中载神经网络模型ResNet50和轻载神经网络模型MobilenetV1中，性能和能效均摘得业内榜首，成为最高纪录创造者，同时优异的性能和能效表现也让先前受限于功耗和算力的应用场景得以实现。

在这样的AI条件加持下，华为P40系列实现了多人实时换背景功能，AI路人移除和AI反光消除功能正是得益于此。通过先进的AI多实例分割技术，麒麟990 5G能够将视频画面中的每一个人物主体单独识别出来，实现多人物视频拍摄替换背景，甚至可以选择画面中需要保留的人物，让视频应用充满更多想象。并且，AI视频超分能够基于麒麟990 5G的AI智慧能力，还早先老旧设备拍摄的视频画质画面瞬间提升到高清质感。这也就不难解释，为什么华为P40系列并不需要堆砌像素来实现更高的画面解析效果了。

按照常规的认知，AI性能与算法的结合最适宜于人像拍摄场景下的多维优化。借助于3D景深感知镜头，麒麟990 5G可以帮助华为P40系列精准获悉人像在景深成像时的信息，准确辨别发丝、衣角等细微部分与背景之间的无关性，并细化分离，呈现专业单反级的景深效果而不会有任何抠图的痕迹。这一表现并不局限于静态图像，同样在视频拍摄中，麒麟990 5G的NPU照样可以提供实时的景深感知和演算。

在夜景环境下，各种复杂的光源往往会成为拍摄出完美人像的障碍。但借助麒麟990 5G的AI算力，华为P40系列手机结合多光谱色温传感器和AI自动白平衡算法，在提供细腻生动和立体感的面部成像同时，能够轻松的将人脸肤色准确还原。这意味着摄影师不用必需建立合格布光条件，就能实现良好视觉效果。

事实上，NPU对于影像成像影响远远超过我们的认知，即便是涉及防抖性能，华为P40系列同样可以借助麒麟990 5G的AI算力来完成。最典型的就是华为P40系列的超长焦拍摄，如果在没有三脚架的条件下，想要用长焦端拍摄出稳定的画面一向是一件很困难的事情，但在AI驱动的智能稳定增强系统帮辅下和软硬件之间的精密契合下，华为P40长焦拍摄的防抖性能表现的非常出色，即便是百倍长焦的条件下，也可以拍出令人满意的画面稳定效果。

全新ISP让手机拍摄的种种不可能变为可能

除了NPU能够在拍摄时起到主动的智能辅助作用外，麒麟990 5G的全新ISP 5.0也是其成像处理关键所在，它不仅对成像效率起到至关重要的作用，同时对于成像优化具有积极意义，尤其在视频降噪输出表现方面，ISP 5.0可谓成果斐然。

在夜晚、光线较弱的暗光环境下，ISP的性能决定了视频拍摄时噪点对于成像质量的影响。而噪点按照其类型又可分为两类，一种名为时域噪声，是前后帧画面播放随时间变化产生的噪声，而另一种则为空域噪声，是每一帧视频画面原本存在的固有噪声。目前，业界在视频降噪方面大多采用单一的时域降噪，主要消除时间维度带来的噪声。不过，麒麟990 5G的技术出发点显然要高得多，其采用了全球首发双域联合视频降噪技术，针对视频中的高频、中频、低频噪声混合的场景，增加频域降噪过程，重点针对噪声进行精准分离处理，视频降噪能力提升20%，暗光环境下拍摄的视频更加清晰。

在静态图像的拍摄上，麒麟990 5G芯片独有BM3D（Block-Matching and 3D filtering）单反级硬件降噪技术，首次将单反级的图像处理能力应用在手机上，能够为照片提供30%的降噪提升，从而让照片在暗光环境中噪点更少，呈现出更优秀的夜景效果。

正是ISP 5.0这种独特能力，让麒麟990 5G率先实现了基于手机芯片的AI分割实时视频后处理渲染技术，这种技术不仅能够对于降噪有着显著效果，同时还可以对每一帧视频画面色彩精心调色，让手机视频也能拥有电影级的调色质感。

基于ISP 5.0的能力，麒麟990 5G加入了对Face AR功能的全新支持。它可以通过从镜头捕获的人脸图像数据和基于NPU运行的神经网络算法对面部进行建模、实时跟踪和表情捕获，并且可以进一步分析出人脸信息背后所隐藏的心率、呼吸率等健康数据，提供围绕人脸的AR体验，带来探索AR应用的更多可能。

总体来看，麒麟990 5G的ISP Pipeline图像处理通路通过整合自研感光和处理算法、神经网络Demosaic算法（CNN-DM）与全新的色彩和亮度算法管理模块，利用ISP 5.0和华为达芬奇架构NPU组成端到端的影像系统，实现最高ISO 409600照片感光度，并极大的抑制高ISO下的噪点，实现手机影像的高还原解析能力。显然，依托于麒麟990 5G在NPU和ISP上的出色表现，华为在影像领域的多年积累进而也有了充分施展的余地，得以将AI算力和算法深入应用于图像处理中。

在华为P40系列产品中，上面提到的专为成像能力而形成一系列算法也有一个名字，就是“XD Fusion图像引擎”。用一句话来概括，XD Fusion图像引擎可以称之为华为P40系列面对AI智慧摄影时代所做出的一次前瞻性探索，这项技术依托于麒麟990 5G芯片，将ISP 5.0的BM3D单反级硬件降噪技术、时域+空域双域视频降噪技术与华为达芬奇架构NPU的卓越性能融为一体，进而借由先进的镜头模组和全新像素传感器将手机的影像能力推升到空前的高度。

高成本创新自研积累后的必然结果

反观华为在AI和视觉计算领域的持续探索正是其他行业品牌不愿深入的行为，这其中最大的原因莫过于无底洞的投入和短期内难以获得回报。单看华为在精彩瞬间功能的建立便是一个惊人的投入，其大量的人体关键骨骼特征点识别分析需要模型的搭建，而后根据不同的动作状态再组成供机器学习参照的训练图集，而仅训练图集一项，华为AI部门一年就要为此付出数百万美元的投入。可见，麒麟990 5G芯片能够获得在AI算力的绝对领先，以及华为P40系列上升到影像生产工具的这一地位并非是一蹴而就，而是脚踏实地、辛苦耕耘的结果。

值得一提的是，华为P40系列带来的卓越影像水平也更好的完成了当下5G时代与流媒体应用场景的契合。5G时代动态化社交形式的到来意味着需要的高质量的影像功能，而华为P40正是为这一需求提供了强劲助力。

尽管麒麟990 5G芯片成名于5G，但是在中国已然率先步入5G常态化的背景下，华为P40系列却用影像能力再度诠释了麒麟990 5G强悍的另外一面，进一步体现出中国芯片的创新能力，以及未来引领全球的技术潜质。