辅助驾驶出海、具身智能落地，稀缺的3D数据从哪里来？

作者 |德新

编辑 |王博

十几年前，当时在普林斯顿大学任教的李飞飞，意识到数据的稀缺是人工智能发展的主要瓶颈。于是从2009年开始，她和团队搜集了互联网上数十亿张的图片，创建了一个庞大的覆盖全球的视觉分类数据库，并发起了一项比赛——ImageNet Large Scale Visual Recognition Challenge，简称ImageNet挑战赛。

再隔了3年后，来自多伦多大学的Geoffrey Hinton带领他的学生团队用深度学习模型AlexNet赢下了2012年的挑战赛，这让学界和工业界广泛意识到深度学习在图像识别乃至整个人工智能领域的巨大潜力。可以说，ImageNet是深度学习和人工智能真正爆发的起点。Hinton也因此拿了2024年诺贝尔奖的物理学奖，这是后话。

李飞飞，图片来源：StanfordHAI

如今，AI正在从互联网图像、语音的处理，进入到自动驾驶、机器人这些与物理世界强相关的领域，就像当年2D的图像数据稀缺一样，3D空间数据也成为算法发展高度稀缺的资源。无论自动驾驶还是机器人领域的头部公司，都在广泛地寻找用于模型训练迭代的数据资源。

就在前两天，一家新的3D数据公司ROVR，在北美的ADAS与AV技术峰会上，与UC Berkeley、清华大学宣布开源了一批3D数据。第一批开源的数据包含1400个Clips，共20万帧，包括点云、GPS、RTK、IMU等多维度信息，并且覆盖欧洲、北美、东南亚等不同地域，包含动态以及静态的目标，以及左行、右行、高速、城区、乡村、雨天、夜间等不同的场景。

ROVR团队告诉我们，开源这批数据只是一个小的开端，他们的目标是打造全球最大的开源3D数据集。在辅助驾驶与具身智能快速发展，世界模型、VLA等新技术层出不穷的今天，有价值的3D数据，无疑像火箭燃料一样是助推技术发展的关键资源。

一、3D数据为什么高度稀缺？

AI时代，数据成为模型算法训练的基础，只有复杂多元的数据，才能真正意义上提高模型的泛化能力，但今天业界公开的3D数据远远不够。

近几年业界比较知名的几大3D数据集，如nuScenes、KITTI、Waymo Open Dataset等，这些数据集当下已经有些「滞后」。

一部分的数据集早期在发起时有一定的大公司PR需求，已经有几年不更新了；其次，针对关键的深度信息，其激光雷达点云大部分使用的是前几年的机械式激光雷达，和今天量产的车规级激光雷达从特征上不一致；再者，KITTI以德国等地区的数据为主，Waymo Open Dataset则是以Waymo早期在美国旧金山、凤凰城采集的一些数据为主，这些数据都有地域局限。

因此这些数据集对研发已经没有真正的价值。

无论是辅助驾驶出海，还是世界模型的训练，今天都希望找到全球化的、具有广泛多元特征的数据。技术最先进的特斯拉，也在疯狂地渴求目标地域的数据。甚至应该说，技术越先进的公司，时下对高质量数据的需求越强烈。

在过去，高精度的3D空间数据要么不存在，要么非常昂贵。

地图厂商曾经是这样一类数据的提供商，但图商的业务模式为车企服务定制的，一方面价格较高，另一方面由于车企本身的地域特征，图商的业务也是地域化的。

而近两年随着国内辅助驾驶的大规模量产，推动了硬件供应链大幅度的成熟，这时候解决全球化的3D空间数据供给逐渐显现出眉目。

二、如何解决覆盖全球的3D空间数据？

ROVR是一家从创办之初就高度全球化的公司，目前其有近20人的团队。

在创办将近1年的时间里，其推出了两款产品TX（Tarantula X）和LC（LightCone），目前这两款设备在海外大概有近2000台的部署量，由此ROVR积累了超过2300万公里的数据，这些数据主要分布在欧洲、北美以及东南亚地区，不包括中国市场。

2300万公里这个数据是什么概念呢？

可以对比一下Waymo到2021年，差不多花了12年时间累计测试了2000万英里。并且ROVR预计，到今年底其活跃设备总数能达到5000台，里程数据则能达到6000万公里级。

TX，图片来源：企业官方

其推出的两款产品，TX是一款RTK接收器，并通过手机相机收集道路数据，追求更高的覆盖度和鲜度。其获得的高实时性道路数据，可以服务于SD地图、HD地图的更新和情报发现，能为地图公司更新提供更好的数据源。

LC是一款更高精度的设备，其集成了IMU、ADAS相机、车规级固态激光雷达，也配备了厘米级RTK服务。除了建图、检测、目标分割外，LC采集的数据，还能很好地支持单目深度估计任务的训练。

LC，图片来源：企业官方

ROVR的CTO Yuan Si告诉我们，TX这级的产品由于配置了厘米级的RTK，在当前市场上几乎找不到同等精度精度的同类数据源；后者应该也是当前市面上唯一的量产激光雷达采集设备。

为什么呢？

因为高精度RTK服务非常昂贵，大部分的众源设备（如后装一体机），出于成本考量没有搭载高精度的RTK。如果采用GPS的话，在好的情况下其数据精度偏移也在1 - 2米级。

RTK能够做到静态5厘米级的精度。ROVR有一家非常深入的合作伙伴在运营全球性的RTK服务网络GEODNET，这家公司同时也是ROVR的股东，因此其能以较低的成本使用RTK服务。GEODNET在全球有2万多个基站，覆盖了近150个国家和地区。

而大规模量产的车规级激光雷达，经历了过去几年的激烈竞争，来自中国的供应商占据了这一市场，由此ROVR借助国内的供应链优势实现了LC的量产。

目前ROVR的采集设备，主要包含3类的采集者，个人网约车司机、商用车或者客运车队的车队主，以及技术爱好者。ROVR也会通过向数据需求旺盛的区域定向投放激励的方式，来激励和引导数据的采集。

在海外市场，实际上3D数据的需求一直存在，但一直没有被满足。地图公司过去大部分的情报数据只有图片，而带有结构化信息、带点云的高精地图成本太高。

当前在中国的车企以及一些科技公司都在谋划辅助驾驶方案出海，针对中国道路与海外道路的差异：

「中国的道路里程很长，和美国相当；主要的区别在于不同的交通标识，比如车道线、交通标识牌的设置。另一方面在于交通参与者的不同，比如欧洲对于排放要求较高，市区内大货车的比例，要比中美少很多。更多是小排量的两门车。还有一部分是道路质量的不同，中欧大部分是沥青路面，驾驶条件较好。美国道路条件差一些、坑洼很多，乡间道路也很多。」Yuan Si说，「这也会给很多车企带来比较大的出海适应成本，我们希望助力中国企业出海。」

目前，以时长30秒覆盖约1公里的数据包为例，ROVR提供给车企的成本大约是传统数据的1/10的价格。

「ROVR的目标就是要把大规模覆盖的高精数据成本打下来。」

ROVR数据示例，图片来源：企业官方

同时，定位海外市场的3D数据平台，ROVR也会严格遵循当地的合规要求。Yuan Si向我们介绍，目前其海外的数据合规大体会分三个阶段：

1. 第一，在采集阶段对个人信息进行脱敏，并且对敏感区域设置地理围栏限制采集；
2. 第二，所有的数据通过加密传输的，保证数据即使被抓取也无法破解；
3. 第三，遵循GDPR的要求，数据本地采集、本地存储，不存在数据跨境的情况。

三、从自动驾驶到具身智能

ROVR目前的团队，绝大部分是来自自动驾驶、地图以及互联网大厂的背景。

CEO Guang Ling，先后在中兴、腾讯以及一家头部激光雷达公司任职，从2016年开始见证了整个自动驾驶行业的发展，并且兼具有大型软件、高性能计算以及自动驾驶硬件等领域的经验和国际视野。

CTO Yuan Si则前后在四维图新、百度等大型图商任职，曾经深度参与多家国际车企在中国和海外市场的地图项目。团队还有一位负责海外市场的CEO，是MEMS IMU的发明人，在定位和RTK领域有极深的造诣。

尤其团队在自动驾驶领域的积累，使ROVR在硬件、数据产品设计等环节都有丰富的经验。

第一批的采集硬件在今年4月发货后，在全球市场恶劣的环境下使用，目前没有一例返修案例。由于都是自研设备，这样能保证全球采集数据的传感器、配置以及数据格式统一；目前其针对采集数据的脱敏、自动化标注等主要算法，也都是内部自研的。

今年除了继续提高两款产品的发货量之外，ROVR还在着手研发第三款产品，是一款针对室内的机械臂产品预计在今年底明年初发布，这款产品会将团队的数据产品从室外拓展到室内，也将从辅助驾驶迈向具身智能。