为机器人点亮“双眼”！肇观电子推第二款3D视觉芯片，三大硬核能力吸睛。
作者 |温淑
编辑 |心缘
芯东西1月21日报道，今天，上海AI芯片厂商肇观电子正式发布3D深度计算+AI加速芯片D163A。
成立不到五年间，肇观电子迅速成长，已经推出N、D、V三个产品系列，分别覆盖AIoT、3D视觉、车载三个应用领域。本次推出的D163A芯片，是肇观电子自2020年上半年以来发布的第二款D系列3D视觉芯片，既可作为SoC主控芯片使用，亦可作为协处理器使用。
同时，这家由AMD“老将”创立的AI芯片厂商已完成5轮融资，累计融资金额超5亿元。
在肇观电子新品发布首日，芯东西独家采访了肇观电子创始人兼CEO冯歆鹏，了解D163A背后的黑科技，以及肇观电子未来的产品规划。
据冯歆鹏透露，D163A芯片在2020年第三季度已经开始量产，并在第四季度产量快速提升，接下来肇观电子计划推出一款V系列车规级芯片。
▲肇观电子创始人、CEO冯歆鹏
3D视觉应用落地之难：对计算能力需求高
在各种形态的机器人、AGV（自动导引车）、无人机、可穿戴设备等多个领域，3D视觉应用面临着巨大的市场。
以机器人为例，理想状态下，搭载3D视觉系统的机器人可以判断出自身在空间中的位置，并能与其所处的环境进行互动。为了实现这一目标，产学界推出了双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等多种技术路线。
▲颜色的冷暖代表的是物体离镜头的远近
然而，现有的3D视觉解决方案往往无法为机器人等应用带来足够的环境感知能力。这是由于3D视觉应用面临着生成数据量大、计算复杂度高、实时处理要求高等方面的挑战。
冯歆鹏说：“相比2D视觉应用，3D视觉应用多出了一个维度的数据，因此整体数据的存储、计算都变得非常复杂。同样地，算法的处理也会更加复杂。”因此，3D视觉芯片需要具备较强的计算能力。
为破解3D视觉应用难题，肇观电子历经约三年的研发时间，推出D163A芯片。这款芯片可支持双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等传感器的数据计算。
冯歆鹏特别强调，与市面上常见的3D视觉芯片相比，D163A芯片的三大能力格外突出：高精度3D深度计算能力、几何计算能力、AI计算能力。
高精度3D深度计算能力：稠密度和深度准确率高
据冯歆鹏分享，为了保证3D成像效果，D163A芯片采用了类似人眼视觉系统的设计方式。
他讲道：“一般来说，人眼视觉系统是基于一些物理原理，来判断物体在空间中的位置，比如通过左右眼看到物体的差别、通过不同时刻看到物体的差别来进行判断等等。D163A芯片采用了类似人眼视觉系统的方式，通过在不同时间点、不同位置上观察目标，获取各种信息进行计算，最终计算出目标的空间位置。”
从结果来看，不论是在被动光双目还是主动光双目的场景中，D163A芯片均能提供较好的3D视觉效果。据悉，被动光双目指的是采用可见光成像，不提供格外光源；主动光双目指的则是主动发射红外激光做补光用于成像。
在被动光双目的场景中，D163A芯片在1280*720的高清晰度下，对处于近、中、远距离的不同对象进行3D成像。结果显示，D163芯片解决方案十分准确地反映出了实际的3D深度。
▲近距离的人脸深度图
▲近距离的五指深度图
可以看到，在近距离的人脸成像实验中，被测人物张嘴，嘴外和嘴内的距离只有几厘米，D163A仍可非常明显地测出深度；在近距离的五指成像实验中，五指张开的距离非常有限，但测出的图像轮廓依然非常清晰。
▲中距离的前后物体展示
在中距离的前后物体展示实验中，D163A成像的深度图稠密度高、视角大、距离范围大。基于D163A的单芯片系统方案，可以不依靠任何外部芯片或者PC机而独立完成全部功能，从而达到极致精简的系统成本。
▲阳光下远距离的自然环境可见光图和深度图
在远距离的自然环境成像实验中，D163A成像的深度图具有适应范围广、不受阳光干扰的特点。
另外，肇观电子展示了D163A芯片在640*480高帧率下的成像效果，最终成像的深度图准确反映了球在地上远近滚动的不同深度。
▲被动光双目场景中，阳光下球滚动的深度图
▲被动光双目场景中，在阳光下拍球的深度图
在主动光双目的场景中，D163A芯片的性能优于Intel Realsense。
▲在主动光双目场景中，D163A（中）和Intel Realsense（右）的对比
几何计算能力：支持200余种通用数学计算
除了具备高精度3D深度计算能力，D163A芯片还具备业界领先的数字信号处理能力。
具体来说，D163A芯片可以支持200余种通用数学计算算子，其中包括三角函数、对数、快速傅立叶变换、HoG、SVM、RANSAC等等。
在应用中，D163A芯片可以实现各种复杂图像特征点的实时计算，可以同时运行特征点计算和AI计算。
▲D163A芯片同时运行实时640x480像素的FAST角点计算和AI计算
AI加速计算能力：网络精度几乎无损失，算法“5分钟”部署
AI计算性能方面，在INT8和FP16精度下，D163A运行各项网络均可达到较高的每TOPs每秒处理帧数。
▲上-在INT8的精度下，D163A芯片跑各项网络可以达到的每秒帧数；下-在FP16精度下，D163A芯片跑各项网络可以达到的每秒帧数
计算精度方面，肇观电子在PC NCNN FP32和板端INT8精度下对七种网络进行测试，结果显示D163A INT8量化网络的精度损失均在1%以内。
▲针对7种算法网络，D163A INT8量化网络几乎无精度损失
不仅如此，搭配肇观电子推出的AI应用开发平台Infer Studio™，用户可实现对D163A的快速开发部署。
冯歆鹏分享，一位客户基于Infer Studio™开发平台，仅用时半天就完成了对D163A芯片的多项开发任务。
已在多个领域实现商业闭环
作为国产3D视觉赛道上的一位玩家，肇观电子正凭借D163A和更早发布的N163A芯片快速铺开市场。据冯歆鹏分享，D163A非常适合解算双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等传感器生成的数据。目前，D163A芯片已经在智能叉车、可穿戴设备、无人机、工业检测等领域实现了商业闭环。
此外，在移动设备市场，肇观电子亦有所规划。据冯歆鹏分享，肇观电子将承担为3D产业链“赋能”的角色，通过与客户合作，推动芯片在模组、移动设备乃至更多领域内的落地。
展望未来，冯歆鹏认为在几年内，3D视觉技术有望被应用到80～90%的智能设备上。同时他表示，面对一片市场蓝海，肇观电子将持续深耕市场、推动产品迭代。
“肇观电子将聚焦于现有的产品组合，依据客户的需求和技术的发展，把几个产品线越做越好，这是我们的目标。”他说道。
结语：3D视觉有望成为机器视觉市场主流
目前，3D视觉市场正在飞速发展。据市场研究机构赛迪顾问预测，到2022年，中国工业机器视觉市场规模将达到180亿元，其中3D视觉技术和产品有望成为市场主流。
在这背后，工业机器人对于抓取目标的三维位置信息需求变大、自动驾驶应用对于环境感知能力的需求变高……许多领域均对3D视觉技术伸出“橄榄枝”。在国产3D视觉产业链中，肇观电子等玩家的成长，亦印证了这一趋势。
未来，3D视觉应用或将渗透进更多场景，我们拭目以待。
（5）
往期单篇资料：
：
社群招募
更多芯片半导体热文
请在芯东西公众号对话页回复“芯片”查看。
1、产品与技术：
《光刻机之战》
《光刻机详解：“恐怖”的光源系统》
《华为芯片28年发家史》
《华为芯片大阅兵》
2、重要历史回顾
《中芯国际：无奈的内讧》
《EDA战争：一个硅谷丛林的故事》
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
