2021年年底,上海交通大学的一间宿舍里,贾萧松接到博导严骏驰的电话。刚直博没多久,导师问他:接下来想研究什么?他的回答是继续做自动驾驶轨迹预测。
![]()
这个选择不算草率。大三时他在加州大学伯克利分校参加暑研,在控制理论学者富塚城义团队从车辆交互与轨迹预测入门自动驾驶。老本行接着做,顺理成章。
严骏驰建议他换条路。理由是轨迹预测夹在感知与决策之间,上下游都受限制,不如做端到端。贾萧松自己也清楚这份研究的尴尬:能改进的空间有限,更多是小修小补。于是他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下,转向端到端自动驾驶。
这一转向,拉开了此后五年几次技术路线切换的序幕。
从端到端到强化学习
三年后,贾萧松与合作者研究的Think2Drive在ECCV发表。当时强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本,Think2Drive让模型在低维潜在空间里模拟交互,大幅降低策略训练成本。
具体到什么程度:在一张NVIDIA A6000 GPU上,用三天左右时间,就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。
此后他又转向闭环评测、交互式生成仿真。从传统模块化到端到端,从模仿学习到强化学习,再到世界模型,他的研究经历恰好穿过自动驾驶过去几年几次重要的技术路线变化。
这些研究并非由他一个人推动,也不是整个行业在同一时间完成的线性转向。但这段亲历提供了一个观察技术演进的视角:每一次转向发生时,旧方法究竟遇到了什么问题,又为什么需要下一种解法。
模仿学习的天花板
2022年前后,做完ThinkTwice,贾萧松开始认为模仿学习存在上限。一个值得注意的现象是:模仿学习下的数据近乎无限,也没让车开得完美。
这引出一个更根本的问题——如果模仿学习最终都会遇到瓶颈,那强化学习能不能让模型获得更好的驾驶能力?他的判断是强化学习可能带来更好的驾驶表现,但也不意味着要从零开始训练,模仿学习仍然是必要的起点。
2023年,他把世界模型引入自动驾驶强化学习。Think2Drive没有生成真实的驾驶视频,而是选择隐空间世界模型。后来的交互式生成仿真Bench2Drive-R,则强调交互式视频生成,并把行为世界模型和渲染世界模型分开。
从Think2Drive到Bench2Drive-R,他对世界模型的理解也在变化。而世界模型至今仍面临瓶颈,这些瓶颈如何解决,是当前研究要回答的问题。
结构不是最根本的问题
如今自动驾驶又出现了VLA、WAM等新架构,层出不穷。贾萧松的判断却是:神经网络结构可能已经不是最重要的瓶颈。
这个判断放到具身智能上更值得琢磨。具身智能现在仍在大量采集示范数据、Scaling模仿学习——这正是自动驾驶走过的路。这是不是意味着,它也会遇到自动驾驶曾经的瓶颈?
贾萧松如今在复旦大学可信具身智能研究院担任助理教授,研究灵巧手与Ego数据。自动驾驶过去几年遇到的问题,正在具身智能领域以不同形式重新出现。
具身智能当前还缺乏足够的真实操作数据。人类视频终究不是机器人自己的操作经验,机器人未来真正的数据来源,会不会是它进入现实世界之后产生的交互数据?自动驾驶已经探索过的强化学习和世界模型方法,能不能迁移到具身领域?
这些问题没有现成答案。但一个做了五年路线切换的研究者说架构不是最要紧的瓶颈,这句话本身,比任何新架构的名字都更值得记下来。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.