“玲珑”ISP图像处理器亮相，打响Arm中国自主IP产品线第四弹

依托安谋中国领先的数字宽动态与融合宽动态结合的算法技术，“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升，并采用多尺度、多级降噪技术，以支持2D/3D自适应降噪，达到业界领先的信噪比表现

文︱朵啦

图︱安谋中国

自“周易”、“星辰”、“山海”悉数亮相后，安谋中国的第四条自主IP产品线——全新“玲珑”多媒体产品线在2020年12月发布，自此安谋中国自主IP产品线已经布局完善。“周易”是一个开放通用的人工智能平台，拥有软件框架Tengine和人工智能处理单元(AIPU)，能够带来最高达0.256TOPS的运算能力；“星辰”基于Arm v8-M架构，是面向物联网设备的轻量级实时处理器；“山海”是面向物联网设备的信息安全方案。

此次的全新“玲珑”多媒体产品线，其中首款产品“玲珑”i3/i5 ISP处理器在降噪、清晰度和宽动态等指标上达到业界领先水平，具有高画质、低延时、可配置能力强、扩展兼容性高等特点。该款ISP处理器可广泛适用于安防监控、AIoT及智能汽车等领域的视频、图像处理工作，满足不同场景的数据处理需求。

历时两年，安谋中国本土团队独立研发的“玲珑”ISP 处理器采用先进的架构，面向多个目标市场。Arm 表示他们正瞄准在传统的多媒体方向的应用空间和领域，那么安谋中国以“玲珑”系列打入这个领域有哪些考虑呢？

01

ISP图像处理器的应用生命力强

ISP是图像信号处理器（Image Signal Processor）的简称，目前已经被广泛应用于人们对于摄像头、人机交互的需求中。多媒体应用是一个相对传统的应用方向和领域，过去在音视频、图像上已有一定的技术积累，如今已衍生出一些新兴的应用方向，如图像不仅仅是给人看，也交给机器“看”。

如今海量的嵌入式设备携带摄像头，近至你手掌中的智能手机、市面上大量的大众消费级的显示器，当然也包含正在研发当中的智能驾驶系统，以及各种公共场所上的监控设备；远至在近地轨道上运行的众多微型卫星，可以说图像信号的获取和处理是一个极为广泛存在的需求。

安谋中国产品研发常务副总裁刘澍表示：图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析，并对画面做不同程序的增强和改善，这使ISP图像信号处理器在此专业领域里，长期地保持着应用生命力。这也是为什么Arm 在传统多媒体方向的应用空间和领域也不断地进行投入的原因。

02

跟踪变化，不受美国管制限制

国外进口管制与中国相关法案均在动态变化中。由于规则不断变化，安谋中国也将持续跟踪有关美出口管制禁令，跟踪法规变化进展。

刘澍表示：安谋中国的产品经过详细的法律分析，工程团队不断将设计的具体情况反馈给内、外部的法务部以及外部的顾问。分析结果表明，在目前的进出口管制规则下，”玲珑 “ISP 处理器不受美国进出口管制限制。

“玲珑”ISP处理器依照不同场景，划分为多个系列产品

图像和机器的交互、人和机器的交互、以及虚拟和现实图景的交互，不同场景的画质处理与读者感官上的处理，包括机器等功效的处理等存在很大的不同。

从一个视频流到ISP图像处理器的输入，到GPU的处理，VPU的解析，AI在里面的分析和运算，到最后的解析和输出，整个数据流在SoC里面经过了非常复杂的过程，因此靠一个单点产品不能满足视频画面处理的最佳效果。“玲珑”ISP 处理器从系统的层面来看，包括从前端前处理到后处理，到中央的运算分析等等，把它们当成一个整体来看，同时在这上面叠加目前广大应用所关心的安全性、隐私性、内容管理性等特色。

在应用场景方面，“玲珑”ISP处理器能支持多摄像头的规格。摄像头数据进到ISP内部，“玲珑”在RAW域、RGB域以及YUV域上面进行各种色彩、图像、降噪的处理。若干驱动和应用程序运行在CPU侧，同时在OS层面进行优化和验证。最后，经过ISP的前处理之后导入到DDR的控制器里，DDR里面的数据会对不同的运算单位进行交互。这里面包括了人工智能单元、CPU单元、视频单元和显示单元的后处理。

“玲珑”ISP处理器依照不同场景的数据处理需求划分为多个系列产品。i3系列与i5系列这两款产品之间有一定的差异和依赖关系。未来，“玲珑”ISP处理器还将推出更多差异化的产品系列，全面覆盖市场。

i3系列 主打低功耗、轻量级应用

此系列支持2K视频处理及单路视频信号接入处理，可以广泛应用于家居、AIoT 领域。时钟综合频率在 400MHz 左右，能够达到 500 万像素、60fps 的实时处理效果。在保证效能、控制成本的同时，依然保持对宽动态的处理、降噪的处理和清晰度的处理的高水准。

i5系列 主打中高端市场应用

此系列支持4K视频及多路视频信号接入处理，能够达到800万像素、60fps的实时处理速度。值得注意的是，此系列在台积电16nm工艺水平上综合时钟频率可以达到600MHz。

“玲珑”ISP 处理器概览

关于新品特点，刘澍强调以下两点：

灵活可配置的设计

“玲珑”ISP处理器包含非常复杂的降噪、宽动态的处理程序，可在处理过程中给了用户一定的选择的空间，甚至还存在为客户定制的接口，帮助客户达到两方面的目的：第一、使产品差异化。第二、“玲珑”ISP处理器针对很多不同的场景、不同的传感器、不同的模组、不同的光线以及周边的环境。

优秀的动态效果

“玲珑”ISP处理器，一是拥有 Arm 引以为豪的宽动态效果；二是拥有业界非常领先的各种降噪表现，在低光降噪的方面，通过2D和3D的降噪技术，提供多尺度、多级降噪效果。

以上特点，在安谋中国ISP产品经理解亮所作的“玲珑”ISP处理器效果解说中，进行了可视化体现：

▲WDR宽动态效果（高光控制）

▲降噪效果（2级降噪）

具体来说，“玲珑”i3/i5 ISP处理器的技术亮点有：

• 硬件架构灵活可配置，客户可自行选配可选模块进行集成

• 多元的工作模式，可兼容线性、原始/压缩的HDR数据，单路及多路摄像头输入，支持超高分辨率分屏处理

• DMA接口数据输入输出模式可配，可在ISP多个节点输出不同格式的数据

• 软件API接口丰富，图像效果调试流程简易、清晰

• 提供丰富的软硬件参考设计，如标定工具、调优工具和MIPI转DVP数字电路等

与AI处理器结合，达成AI+ISP的强大效果

Arm 中国做每一款处理器 IP 时，一以贯彻可配置化、可订制性的原则; 如之前的“星辰” CPU 有用户自定义指令集、“周易” AIPU 会有人工自定义的算子，这款”玲珑” ISP 产品也是一样。玲珑作为整个 Arm 作为整个产品系列包的重要组成部分，多媒体产品系列将和 Arm 与安谋中国的CPU系列、GPU系列，AI产品系列、显示产品系列成为整体系统的解决方案。此次，Arm还表示：除了 ISP 图像处理技术之外，多媒体产品线未来也会有Video、Codec等技术。

在前期市场反馈中，“玲珑”i3/i5 ISP处理器在业界十分看重的宽动态处理效果和信噪比处理水平上表现优异。依托安谋中国领先的数字宽动态与融合宽动态结合的算法技术，“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升，并采用多尺度、多级降噪技术，以支持2D/3D自适应降噪，达到业界领先的信噪比表现。“玲珑”i3/i5 ISP处理器同时设置了丰富的系统中断和调试接口，具有低延时、低系统带宽的特点，可对图像质量进行调优技术支持。

未来，“玲珑”ISP处理器优异的信号处理能力还可以与AI处理器相结合，在智能安防等领域达成AI+ISP的强大效果。

锁定中国市场，协助 IC 设计

为满足不同行业客户复杂多变的需求，“玲珑”i3/i5 ISP处理器将为客户提供从先期评估到最终量产的全方位技术支持。安谋中国不仅为客户提供丰富的ISP图像效果评估手段，详细的设计文档和培训支持，还将提供IP集成及后端的参考流程等深入的订制服务。

在此次“玲珑”多媒体产品线发布会上，安谋中国表示 Arm 在深圳和上海的办公室建立专业的图像和光学实验室，实验室投入数百万购置设备，在新冠疫情期间进口并帮助客户进行调试。实验室目前已申请十余项专利，其中有5项已获得批准。由于Arm团队是在国内完成架构定义设计，所以Arm与客户之间拥有本地化的支持。目前，“玲珑”i3/i5 ISP处理器均已可向客户交付。

刘澍表示：“近年来，伴随着智能化、网络化的发展，视频图像处理被广泛应用于智能安防、AIoT、智能汽车等诸多领域。受益于这些应用在中国的蓬勃发展，中国ISP市场呈现出增长迅速、需求多样的特征。为此，安谋中国组建本土团队，历时2年多自主研发出具有业界领先水平的‘玲珑’i3/i5 ISP处理器。在研发过程中，我们始终聚焦中国客户需求，持续推动方案的演进迭代，不仅凸显了安谋中国在ISP领域一流的研发实力和技术储备，也进一步提升了安谋中国对本土客户快速响应、全面支持的技术保障能力。

从长时段的维度来观察，安谋中国积极研发自主IP产品线，可能为 Arm 布局“芯”格局的重要一步。Arm 先后发布了 Tengine 和人工智能处理单元 (AIPU)，以及面向物联网设备、基于Arm v8-M架构的轻量级实时处理器，以及面向物联网设备的信息安全方案，再加上此次自研ISP处理器的面世，一颗片上系统芯片（SoC）需要的几大件都亮了出来。不过，安谋中国表示将始终坚持做一个技术起点的角色，协助 IC 设计公司打造属于自己的芯片。

＋