网易首页 > 网易号 > 正文 申请入驻

五年三次转向,他说模型架构已不是最要紧的瓶颈

0
分享至

2021年年底,上海交通大学的一间宿舍里,贾萧松接到博导严骏驰的电话。刚直博没多久,导师问他:接下来想研究什么?他的回答是继续做自动驾驶轨迹预测。


这个选择不算草率。大三时他在加州大学伯克利分校参加暑研,在控制理论学者富塚城义团队从车辆交互与轨迹预测入门自动驾驶。老本行接着做,顺理成章。

严骏驰建议他换条路。理由是轨迹预测夹在感知与决策之间,上下游都受限制,不如做端到端。贾萧松自己也清楚这份研究的尴尬:能改进的空间有限,更多是小修小补。于是他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下,转向端到端自动驾驶。

这一转向,拉开了此后五年几次技术路线切换的序幕。

从端到端到强化学习

三年后,贾萧松与合作者研究的Think2Drive在ECCV发表。当时强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本,Think2Drive让模型在低维潜在空间里模拟交互,大幅降低策略训练成本。

具体到什么程度:在一张NVIDIA A6000 GPU上,用三天左右时间,就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。

此后他又转向闭环评测、交互式生成仿真。从传统模块化到端到端,从模仿学习到强化学习,再到世界模型,他的研究经历恰好穿过自动驾驶过去几年几次重要的技术路线变化。

这些研究并非由他一个人推动,也不是整个行业在同一时间完成的线性转向。但这段亲历提供了一个观察技术演进的视角:每一次转向发生时,旧方法究竟遇到了什么问题,又为什么需要下一种解法。

模仿学习的天花板

2022年前后,做完ThinkTwice,贾萧松开始认为模仿学习存在上限。一个值得注意的现象是:模仿学习下的数据近乎无限,也没让车开得完美。

这引出一个更根本的问题——如果模仿学习最终都会遇到瓶颈,那强化学习能不能让模型获得更好的驾驶能力?他的判断是强化学习可能带来更好的驾驶表现,但也不意味着要从零开始训练,模仿学习仍然是必要的起点。

2023年,他把世界模型引入自动驾驶强化学习。Think2Drive没有生成真实的驾驶视频,而是选择隐空间世界模型。后来的交互式生成仿真Bench2Drive-R,则强调交互式视频生成,并把行为世界模型和渲染世界模型分开。

从Think2Drive到Bench2Drive-R,他对世界模型的理解也在变化。而世界模型至今仍面临瓶颈,这些瓶颈如何解决,是当前研究要回答的问题。

结构不是最根本的问题

如今自动驾驶又出现了VLA、WAM等新架构,层出不穷。贾萧松的判断却是:神经网络结构可能已经不是最重要的瓶颈。

这个判断放到具身智能上更值得琢磨。具身智能现在仍在大量采集示范数据、Scaling模仿学习——这正是自动驾驶走过的路。这是不是意味着,它也会遇到自动驾驶曾经的瓶颈?

贾萧松如今在复旦大学可信具身智能研究院担任助理教授,研究灵巧手与Ego数据。自动驾驶过去几年遇到的问题,正在具身智能领域以不同形式重新出现。

具身智能当前还缺乏足够的真实操作数据。人类视频终究不是机器人自己的操作经验,机器人未来真正的数据来源,会不会是它进入现实世界之后产生的交互数据?自动驾驶已经探索过的强化学习和世界模型方法,能不能迁移到具身领域?

这些问题没有现成答案。但一个做了五年路线切换的研究者说架构不是最要紧的瓶颈,这句话本身,比任何新架构的名字都更值得记下来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
荒诞现实!演员王星逃出缅北电诈园区后,至今仍在替骗子还网贷

荒诞现实!演员王星逃出缅北电诈园区后,至今仍在替骗子还网贷

草莓解说体育
2026-10-19 02:40:00
前两季打进24球和20球,本季0首发,马竞锋霸为何失宠?

前两季打进24球和20球,本季0首发,马竞锋霸为何失宠?

一纸情书s
2026-10-19 10:41:21
亏了4.9亿,刘德华不甘心,耗资2亿,联手超15位明星,又带来一部大片

亏了4.9亿,刘德华不甘心,耗资2亿,联手超15位明星,又带来一部大片

阿废冷眼观察所
2026-10-18 17:16:28
我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

白云故事
2025-05-27 08:05:08
1944年,八路军活捉了冈村宁次的侄子,日军拿40余名干部加一车武器来换,结果人回去后日军高层后悔不已:早知道不救了!

1944年,八路军活捉了冈村宁次的侄子,日军拿40余名干部加一车武器来换,结果人回去后日军高层后悔不已:早知道不救了!

饭小妹说历史
2026-10-18 22:33:59
握着王毅外长的手,拉夫罗夫亲口承诺,全力托住中方11月的重头戏

握着王毅外长的手,拉夫罗夫亲口承诺,全力托住中方11月的重头戏

司马平邦
2026-10-18 19:04:38
国安官方:法比奥腓骨远端骨折,正进一步评估是否存在其他损伤

国安官方:法比奥腓骨远端骨折,正进一步评估是否存在其他损伤

懂球帝
2026-10-19 17:21:05
大结局!这就是坚称被4岁男童摸到臀的那位"小仙女"!4岁男孩被指性骚扰后续:女子账号被扒,靠吵架起号,已被禁言

大结局!这就是坚称被4岁男童摸到臀的那位"小仙女"!4岁男孩被指性骚扰后续:女子账号被扒,靠吵架起号,已被禁言

静若梨花
2026-09-12 15:10:08
体检报告上出现这几个词,别拖,赶紧去医院

体检报告上出现这几个词,别拖,赶紧去医院

方舟健客科普
2026-10-14 19:19:57
我国每年近千万人做肠镜!医生直言:做一次肠镜,或管十年无碍?

我国每年近千万人做肠镜!医生直言:做一次肠镜,或管十年无碍?

芹姐说生活
2026-10-01 15:36:10
百万粉美女网红自曝分手了!比基尼泳装照太惊艳

百万粉美女网红自曝分手了!比基尼泳装照太惊艳

可乐谈情感
2026-10-19 16:04:55
今年前三季度的GDP增速4.6%,人均收入暴涨5.3%,网友说:我个人GDP下降了50%!

今年前三季度的GDP增速4.6%,人均收入暴涨5.3%,网友说:我个人GDP下降了50%!

黯泉
2026-10-19 16:09:22
蓉城咋成中超公敌了?武磊滴水不漏!刘祝润:现实满足了大连球迷心愿 最后努力一把

蓉城咋成中超公敌了?武磊滴水不漏!刘祝润:现实满足了大连球迷心愿 最后努力一把

刀锋体育
2026-10-19 10:39:46
官方:前国脚杨晨正式出任浙江职业足球俱乐部总经理

官方:前国脚杨晨正式出任浙江职业足球俱乐部总经理

懂球帝
2026-10-19 20:07:10
上将退休后,还有警卫员吗?

上将退休后,还有警卫员吗?

袁老师说历史
2026-10-04 15:12:44
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
我国著名主持人赴瑞士安乐死,儿子讲述其死前惨状:我非常后悔

我国著名主持人赴瑞士安乐死,儿子讲述其死前惨状:我非常后悔

小兔子的快乐
2026-10-12 11:30:52
央八谍战大剧来了!顶配阵容太让人期待

央八谍战大剧来了!顶配阵容太让人期待

可乐谈情感
2026-10-19 06:49:14
中美大决战提前结束,中国已拿到未来,这场关乎国运的仗胜负已分

中美大决战提前结束,中国已拿到未来,这场关乎国运的仗胜负已分

最美的开始
2026-10-18 06:56:20
"沫子杯"正式定档10月28日!送沫子定制可加热杯子

"沫子杯"正式定档10月28日!送沫子定制可加热杯子

游民星空
2026-10-18 17:19:32
2026-10-19 21:23:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
229文章数 109关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中纪委连打三“虎”

头条要闻

中纪委连打三“虎”

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

游戏
艺术
手机
亲子
公开课

《姆明:疯狂夏日》 推出Steam免费试玩版!

艺术要闻

428米、95亿,海南第一高楼开始“戴帽子”了!

手机要闻

1999元起→2499元起,荣耀X80 Pro Max手机官网涨价

亲子要闻

济南幼儿园萌娃升旗爆火出圈!一动一静反差感拉满,连央媒都转发了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版