网易首页 > 网易号 > 正文 申请入驻

通用模型接管机器人:代码即策略,LLM正在重写具身智能的底层逻辑

0
分享至


一个反直觉的发现正在机器人学界蔓延:那些为写代码训练的大语言模型,正在成为控制机器人最有效的工具——尽管它们从未见过一个真实的机械臂。

这场讨论的导火索,是 MIT 教授 Philip Isola 的一篇病毒式传播的文章。他提出,我们或许正在进入"机器人使用智能体"(robot-use agents)时代:通用模型无需专门的机器人训练,就能让不同形态的机器人具备新能力。2026 年 9 月,Y Combinator 的 Decoded 节目邀请了 Waddle Labs 与 RoboCurve 两家初创公司的创始人,深入拆解了这一趋势背后的研究脉络。

1. VLA 的原罪:被锁死的动作输出

机器人 AI 的早期主流路径,可以从 RT2 这篇论文说起。RT2 的核心思路是:拿一个在海量网页文本和图像上预训练好的语言模型,微调后让它输出末端执行器的坐标(end effector pose),再翻译成关节指令去驱动机器人。

RoboCurve 联合创始人 Jay 把这个架构比作语言模型在 GSM8K 数学题上的旧做法——模型必须直接输出答案,中间没有任何推理空间。就像早期模型看到"Susie 有 8 美元,花了 5 美元,还剩多少",只能直接吐出一个数字,没有"先算 8 减 5"的过程。VLA(视觉-语言-动作模型)的根本局限正在于此:它必须立刻输出一个动作,无法为更复杂的任务分配更多算力,更无法像思维链那样先想清楚再行动。

2. 苦涩教训在机器人学的回响

Waddle Labs 联合创始人 Jaime 指出了一个更深层的数据问题。VLA 架构面临的最大瓶颈不是模型本身,而是机器人专用数据的极度稀缺——这个瓶颈已经被业界抱怨了多年,进展依然缓慢。

苦涩教训(Bitter Lesson)的真正含义,在这里被重新解读:与其费力收集机器人数据、训练一个专用模型,不如换个问题——"哪种数据模态已经被模型学得最好?"答案显而易见:代码和自然语言。如果能把机器人控制问题转化成一个已经有海量数据支撑的模态,那么通用 LLM 的能力就能直接迁移过来,而不是在分发受限的机器人数据上原地打转。

3. 代码即策略:从 Voyager 到机器人控制

这条路的源头可以追溯到 Voyager——一个让语言模型在 Minecraft 里自主玩游戏的系统。Voyager 的本质是:Python 内置函数是工具,模型在运行时把这些工具组合起来,写出一个新函数,这个新函数本身又成为下一步可以调用的工具。它把思考和经验压缩进可复用的代码单元里。

当 2024 年前后业界把几乎所有资源都押注在提升模型的代码能力上时,Jay 坦率地说,他不认为那些决策者当时就预见到了这一切会传导到机器人领域——他们只是相信让 LLM 写更好的代码能解锁更多东西。但结果确实如此。Google DeepMind 团队的 Code-as-Policies 论文(2022 年底,与 ChatGPT 面世时间相近)就已经展示了这种可能:给语言模型提供一批 Python 函数(`pick_up`、`move_to_pose` 等),它就能把这些函数组合成复杂任务的控制策略,而且是零样本的——不需要任何额外的机器人数据,因为模型在训练阶段已经见过足够多的代码来理解"先做什么、再做什么"的逻辑。

4. 上下文学习 vs. 微调:两种智识路线的分岔

这里有一个关键的架构选择。传统 VLA 路线是:收集机器人数据,微调模型,让它"记住"如何执行特定任务。代码策略路线是:把工具列表和场景描述放进上下文,让模型在推理时动态生成控制逻辑。

后一种方式的优势在于探索能力。Jay 提到,现在的模型在工具调用上已经比 RT2 时代强得多——它们能主动探索自己处于什么样的环境里、有哪些臂可以用,而不是等待监督学习告诉它下一步是什么。上下文学习(in-context learning)让模型可以像一个拿到新工具箱的工程师一样行事:先摸清楚手边有什么,再决定怎么干。

5. 通用 LLM 作为机器人大脑的底层逻辑

把上面几条线索并在一起,Jaime 的判断是:既然把足够多的代码数据、计算机使用数据、各种模态的数据都灌进模型里,最终得到的就是一个通用 LLM 智能体——那为什么还要专门训练一个机器人模型,而不是直接用这个通用底座来控制机器人?

Waddle Labs 的做法是两件事同时推进:构建一个让 LLM 能有效控制机器人的 harness(运行框架),同时采集数据、用数据训练更好的 LLM。RoboCurve 则从评测角度切入,为任何机器人、任何模型——不论是 LLM、VLA 还是经典方法——提供标准化的测量基础,覆盖机械手、抓手、机械臂、人形机器人、四足机器人等各类形态。

这场对话最终指向同一个命题:通用模型的能力边界,并非由架构决定,而是由数据模态决定。当代码成为机器人的语言,LLM 就不再是机器人领域的外来者,而是天然的控制核心。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
正式退出!孙颖莎发声官宣告别,王楚钦心里明白,曾表态打到40岁

正式退出!孙颖莎发声官宣告别,王楚钦心里明白,曾表态打到40岁

翰飞观事
2026-09-28 16:39:22
闹大了!世二饭圈公然羞辱王曼昱被曝光,冲上热搜,7179万阅读量

闹大了!世二饭圈公然羞辱王曼昱被曝光,冲上热搜,7179万阅读量

格斗社
2026-09-29 11:40:15
全球首次!中国医生成功治疗狼疮

全球首次!中国医生成功治疗狼疮

医学界
2026-09-28 19:10:34
官方:那英演唱会片段化演唱《弯弯的月亮》,不属于变更节目报批

官方:那英演唱会片段化演唱《弯弯的月亮》,不属于变更节目报批

界面新闻
2026-09-29 13:43:57
中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

中国将迎来前所未有的死亡高峰,专家得出答案:是这些因素导致的

混沌录
2026-05-28 22:53:01
依曦组合是国内最强中场!安东尼奥太老道了,邵佳一布阵跟闹着玩似的

依曦组合是国内最强中场!安东尼奥太老道了,邵佳一布阵跟闹着玩似的

刀锋体育
2026-09-29 12:11:43
50岁港姐与丈夫离婚相互指责,19岁女儿力挺母亲,揭父亲家暴内幕

50岁港姐与丈夫离婚相互指责,19岁女儿力挺母亲,揭父亲家暴内幕

临云史策
2026-09-29 23:58:40
猛然发现,现今没人提固态电池了?后路都让抄了,大饼画不下去了

猛然发现,现今没人提固态电池了?后路都让抄了,大饼画不下去了

一路荒凉如歌a
2026-09-29 16:03:49
俄罗斯拟砸万亿卢布投资中国芯片!

俄罗斯拟砸万亿卢布投资中国芯片!

EETOP半导体社区
2026-09-28 21:25:57
天彻底塌了!亚运全线溃败零金收官,中国篮球已跌至谷底!

天彻底塌了!亚运全线溃败零金收官,中国篮球已跌至谷底!

田先生篮球
2026-09-25 17:24:52
万万没想到,拿下亚运会冠军的陈妤颉,在日本被折腾到5点才能睡

万万没想到,拿下亚运会冠军的陈妤颉,在日本被折腾到5点才能睡

何蕥室内设计
2026-09-27 15:38:53
价格猛降、跌破22万!特斯拉疯狂降价背后真相,刚提车车主血亏

价格猛降、跌破22万!特斯拉疯狂降价背后真相,刚提车车主血亏

花漾夜雨飘雪
2026-09-29 13:04:20
贫穷能让一个人有多卑微?网友:给05年小富婆妹当过狗,还给130斤小富婆做了俩月男朋友

贫穷能让一个人有多卑微?网友:给05年小富婆妹当过狗,还给130斤小富婆做了俩月男朋友

带你感受人间冷暖
2026-09-15 00:05:19
民调:特朗普支持率跌至36年来中期选举前最低总统支持率

民调:特朗普支持率跌至36年来中期选举前最低总统支持率

澎湃新闻
2026-09-29 09:52:26
姚洋:股市要繁荣,还是应该回归本源

姚洋:股市要繁荣,还是应该回归本源

和讯网
2026-09-29 17:30:04
又一网红产品被曝翻车:全是假的

又一网红产品被曝翻车:全是假的

小强热线
2026-09-29 22:15:01
笑喷!张本智和:我告诉松岛一定能赢王楚钦,你等着!松岛:你真的能赢吗?

笑喷!张本智和:我告诉松岛一定能赢王楚钦,你等着!松岛:你真的能赢吗?

818体育
2026-09-29 21:37:28
国足vs韩国时间已定!CCTV5直播,赛前迎三个好消息

国足vs韩国时间已定!CCTV5直播,赛前迎三个好消息

旧铁皮往南开
2026-09-30 06:55:53
第33届金鹰奖揭晓 朱亚文凭《太平年》获最佳男配角,梅婷时隔23年再获最佳女配角

第33届金鹰奖揭晓 朱亚文凭《太平年》获最佳男配角,梅婷时隔23年再获最佳女配角

封面新闻
2026-09-29 22:25:05
反间谍全员倒戈?伊最高领袖穆杰塔巴遭二次暗杀!权力核心被渗透

反间谍全员倒戈?伊最高领袖穆杰塔巴遭二次暗杀!权力核心被渗透

泠泠说史
2026-09-29 06:44:07
2026-09-30 08:23:00
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
22256文章数 49733关注度
往期回顾 全部

科技要闻

82亿美元收购!李飞飞将与苏姿丰并肩做AI

头条要闻

杭州女孩天天坐高铁去上海上班 通勤6小时每月花3000

头条要闻

杭州女孩天天坐高铁去上海上班 通勤6小时每月花3000

体育要闻

石雨豪:亚运金牌与背后的十年

娱乐要闻

赌王四房婚礼,何超琼带三房成员现身

财经要闻

央行调整完善若干货币政策工具

汽车要闻

搭华为乾崑ADS 5/设计风格换新 2027款纵横G700售30.49万起

态度原创

艺术
教育
游戏
亲子
房产

艺术要闻

齐白石:没见过的东西,我绝不画!一句话,道出大师封神的秘密!

教育要闻

2026-2027山东高中综评填写已开启!

吉田修平认为索尼与任天堂应尽量延长PS5和NS2寿命

亲子要闻

踮着脚,嘴里含着奶嘴,把花瓶好好的抱住。责任心这块,能成大事

房产要闻

三亚楼市下半场,被一次交付和一座艺术馆讲透了

无障碍浏览 进入关怀版