去年,安谋科技CEO陈锋正式对外发布“AI arm CHINA”战略发展方向,同时发布“周易”X3 NPU。自此以后,“All in AI”的安谋科技正在扮演“全球技术桥梁”角色,一方面引进Arm的前沿技术,另一方面深度融合本土自研IP创新,为中国集成电路产业提供全栈解决方案。
当前,安谋科技坐拥“周易”“星辰”“山海”“玲珑”四大产品线,“周易”之后,“玲珑”成为下一个全面拥抱AI的产品线。3月23日,安谋科技正式发布“玲珑”V560/V760 VPU IP,堪称VPU中的六边形战士。为此,EEWorld特此采访了安谋科技的负责人,深度解读了这一产品背后的故事。
值得注意的是,此次发布会亦是安谋科技乔迁至“西岸智塔”后的首场活动,此地作为AI产业高地,汇聚了完整的AI产业链。可见,安谋科技深化AI布局、积极融入本土生态、与产业伙伴共同开拓AI新生态的战略决心。
藏在名字里的深意与产品路线图
首先,我们要知道VPU的核心价值到底是什么?安谋科技Arm China多媒体产品线研发负责人周华介绍,VPU英文全称为Video Processing Unit,指的是视频处理单元,是各类应用的“超级视频工匠”。由于视频分辨率从4K到8K和10K,视频分辨率在不断提升,使得海量数据需要压缩,通过专用的硬件编解码,VPU能以极高的能效比完成视频处理任务。从场景来看,VPU可应用在可穿戴设备和物联、智能手机、平板/电脑、机器视觉、汽车电子、服务器等各种领域。
![]()
安谋科技Arm China多媒体处理器研发负责人周华
安谋科技的VPU以“玲珑”为产品线命名,“玲珑”二字寓意深远,一是指图像视频的“玲珑剔透”,追求极致的画质,二是指“八面玲珑,游刃有余”,象征产品能灵活覆盖万千应用场景。
值得一提的是,“玲珑”产品线的所有产品代号均采用中国山峰的名字命名。周华对此解释:“一个人也许可以走得更快,但一群人可以走得更远,并肩翻越一座又一座的高山。”首款新品便以“峨眉”为号,体现了团队对技术高峰的追求与协作精神的崇尚。
![]()
迄今,“玲珑”已推出包括“玲珑”V560/V760在内的五款产品:2021年的V5/V7主要增加了AVS 2.0的Decoder,H.264、H.265的编码质量提高了15%;2022年 “玲珑”V6/V8增加了AV1的Decoder,H.264的编码质量相比V5/V7提高了10%;2024年 “玲珑”V510/V710增加了H.266的编码器和解码器;2025年 “玲珑”V520LE是专门为监控打造的编解码一体产品。
![]()
纵观过去“玲珑”VPU演进围绕三条主线展开:一是编码格式,从H.264/H.265到AV1、H.266;二是编码质量,从“能用”到追求极致;三是单核性能,用更小面积换取更高性能。此次发布代号为“峨眉”的V560/V760正是这一演进路线的最新成果,将成为面向AI应用的新一代视频处理器IP。
![]()
堪称“六边形战士”的“峨眉”
“AI正成为视频的生产者、加工者和消费者。”安谋科技Arm China VPU产品总监汪弈磊Eason Wang指出,视频应用是AI不可或缺的要素,AI获取的数据80%的数据来自视频。AI应用的蓬勃发展对视频处理提出了更高要求:更强的性能、更高的质量、更低的延时。玲珑V560/V760正是为满足这些需求而生。
为什么说V560/V760堪称VPU中的六边形战士,到底是哪六个边?
汪弈磊指出,一是高性能,单核解码性能较上一代提升100%;二是高鲁棒性,强大的错误处理性能,丢包率高至20%情境下仍可纠错解码;三是高质量低码率,通过创新的内容感知编码技术,同等视频码率下解码质量平均提升20%,同等编码质量下视频码率平均降低20%;四是低延时,采用条带级编解码控制技术,延时可低至一帧的1/20;五是多OS支持,驱动支持Linux/Android/Windows/RTOS等多OS硬件支持多OS/虚拟化应用,满足舱驾一体等复杂场景需求;六是信息安全,支持TrustZone内容保护机制,提供高级Mosaic(马赛克)功能,提供完善的隐私保护,有效保护视频中的人脸、车牌等敏感信息。
之所以拥有如此强劲的性能,是由五大技术优势支撑强大功能:
- 条带级编解码控制技术:安谋科技的独有的技术,实现了极致的灵活性与低延时,原理是将一帧画面沿垂直方向切割成多个水平条带,例如将一帧切成20个条带,可以用20个核同时处理这20个条带,实现真正的并行加速,与按整帧并行的方案相比,条带间的依赖性更低,处理速度更快,延迟也更小;
- 灵活可配置的架构:编码解码二合一,支持多核并行处理,可灵活适配多种任务;
- 全格式支持:全面支持H.266及所有主流编解码标准;
- 内容感知编码技术:融入轻量化AI技术,自主识别图像中的敏感与非敏感区域,提升编码效率;
- 多配置全隔离的硬件运行机制:从硬件层面支持多OS和内容保护。
![]()
“峨眉”分为两个SKU,V560面向4K及以下分辨率,最大两核配置;V760面向8K及以下分辨率,最大四核配置。已有首批客户获得授权,其芯片产品将于今年陆续流片量产。
产品主要面向三大AI应用场景:一是Edge AI(边缘AI),包括手持摄像设备、AI PC手机、Pad、TV、边缘服务器、线上会议等,二是Cloud AI(云端AI),包括AI服务器、转码应用等;三是Physical AI(物理AI),如机器视觉。
汪弈磊向EEWorld表示,云端是安谋科技重点布局的场景,因为“峨眉”的高性能、低延迟、强纠错等特性,与云端应用的需求高度契合。但这并不意味着端侧不重要,得益于灵活的可配置架构,可以针对端侧客户的需求进行灵活配置。例如,有客户只需求H.264/H.265编解码,就能在“峨眉”基础上提供面积非常小的精简版本,用于图传等对功耗和误码率要求极高的设备。
此外,汪弈磊还强调,安谋科技不仅拥有强大的IP产品和全套多媒体解决方案,还拥有专业高效的团队和完整的知识体系,能够实现高交付质量,同时支持客户定制需求。
![]()
安谋科技Arm China VPU产品总监汪弈磊Eason Wang
架构特点和技术亮点
“当前,从广播电视、互联网视频到运动相机、机器视觉,再到海量涌现的AIGC内容,多元、实时、海量的视频内容正爆炸式地呈现在我们面前。在这样的背景下,设计一个能够动态适配不同内容场景、灵活响应不同内容需求的VPU架构,是决定其产品竞争力的关键。”安谋科技Arm China VPU研发总监黄鑫博士向EEWorld介绍道。
以自动驾驶为例,安谋科技希望VPU架构不仅拥有强大的核心动力引擎,还能像智能驾驶系统一样,具备不断OTA升级迭代的能力。为此,安谋科技设计了一套软件层、固件层、硬件层的三层VPU架构,三者深度协同、环环相扣,共同构建核心竞争力:
- 软件层:负责动态分配编解码任务,调配硬件资源;
- 固件层:在编码侧进行码率控制与分配,在解码侧进行码流容错与修复,并协调多核工作;
- 硬件层:作为硬件加速器,追求面积、功耗与性能(PPA)的极致平衡,硬件层可细分为像素域引擎和码流域引擎两部分,像素域引擎负责图像的切分与处理,码流域引擎负责码流的生成与解析。
通过构建这样的架构,安谋科技的VPU拥有两个特点:一是以条带为基本处理单元,所有处理都以条带级为单位,这使我们与前级的交互粒度更细,实时性得到保证;二是像素域与码流域解耦,通过解耦,多任务切换更加灵活,无需等待码流域工作完成即可切换,在时分复用场景下显著降低延迟。
![]()
安谋科技Arm China VPU研发总监黄鑫博士
值得一提的是,V560/V760采用了“积木式堆叠”开发逻辑,确保在整体方案最优的前提下,实现IP的灵活授权,即在六个功能中随意选择搭配:底层视频质量提升、内容感知编码技术、基于H.266协议的全面提升、解码性能翻倍、解码容错处理、低延迟解决方案。
这意味着,对于转码应用等客户,安谋科技可以提供“高性能解码+高质量编码”等模块组合;对于需要低延迟、低功耗的终端客户,则可提供高容错等模块组合。每个客户都能在统一的技术框架下,获得专属的最优解决方案。
![]()
黄鑫主要介绍了其中三个技术亮点:
首先是内容感知编码(CAE)。该技术位于硬件处理的第一级。在获取视频信号时,V560/V760会对每个像素进行深度的语义分析,并结合浅层的像素语义处理,将两类信息同时提供给下一级编码单元,帮助其做出最优的编码决策,从而在节省码率的同时提升画质。
比如在低光照视频中,人眼不敏感的高频信号对编码器却是负担,开启CAE后,可大幅节省码率,特定场景下码率最大可降低80%,同时主观画质得到保证,部分细节甚至得到增强;再比如,在高运动、低码率场景中,开启CAE后,画面中如烟囱、字体等细节部分,噪声更少,呈现更清晰。
![]()
其次是解码鲁棒性全面提升。在这一代产品中,安谋科技对解码鲁棒性做了全面升级。无论是对0.1%还是高达20%的丢包率,无论是简单的比特翻转还是整包丢失,容错机制都能无缝支持。即便遇到极端错误,也可通过升级固件来保持产品的鲁棒性。
![]()
最后是独特的低延时解决方案。这一优势得益于条带技术,当前级数据准备好后,即可无缝进行编码,无需等待整帧。此外,多条带可在不同核上并行处理,实现性能的线性叠加。与友商通过切分画面导致质量受损的方案不同,V560/760在多核并行时不切分图像,在提升性能的同时确保了画质零损失。
下一代AI VPU训练框架
汪弈磊还特别介绍了“玲珑”VPU的编码技术演进路线图,过往产品采用智能编码器,被动接受系统调用,根据系统配置编码;当前的“峨眉”则采用内容感知编码(CAE)技术,自主识别敏感区域,像素级预处理,提升编码效率和质量;未来的产品将采用端到端AI编码技术,深度感知、全局最优,可针对不同应用训练定制VPU版本。
![]()
黄鑫介绍,基于下一代的AI VPU训练框架,安谋科技可以用更大的感知模型替换现有模块,用更全面的AI应用替代主观视觉判断。
通过端到端的训练方式,AI VPU编码器将实现两大跨越,一是从局部优化跨越到端到端优化,二是从主观视觉跨越到AI万象优化。
持续迭代,服务为王
“编码格式、编码质量、单核性能,是我们产品持续演进的三条主线。”周华向EEWorld坦言,当前市场非常“卷”,每年都必须进步。对此,汪弈磊举了一个例子,比如客户开始对编码质量有了极致的追求。客户现在会用专业工具一帧一帧地抠细节,比如对比不同编码器下,树叶的纹理、路面的细节保留得如何,主观画质和客观指标都要求极高。
这种“卷”的方向,正是安谋科技持续迭代的动力。通过引入内容感知编码等技术,在相同码率下大幅提升画质,或在相同画质下大幅降低码率,以满足客户在存储、传输带宽和最终应用效果上的苛刻要求。
当下VPU市场竞争也非常激烈,每家都有自己的优势。安谋科技的核心优势主要体现在四点:
- 技术领先性:如条带级编解码控制技术,能实现低延迟和多核并行的性能线性提升,且不损失画质;
- 性能与面积:通过持续的微架构优化,力求用更小的面积实现更高的性能;
- 灵活性:架构支持编码、解码融合或分离,支持多核多任务,能灵活适应不同应用;
- 本地化服务:,安谋科技能够提供及时、深入的技术支持,甚至可派遣工程师到客户公司现场解决问题,这对客户而言至关重要。
来源:电子工程世界(EEWorld) 作者:付斌
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.