网易首页 > 网易号 > 正文 申请入驻

Talk预告 | 南洋理工大学胡凯瑞:具身图灵机 - 用软件工程思路解具身任务

0
分享至


本期为TechBeat人工智能社区第804期线上Talk。

北京时间11月4日(周三) 20:00,南洋理工大学博士生,Ropedia AI科学家胡凯瑞的Talk将准时在TechBeat人工智能社区开播!

胡凯瑞与大家分享的主题是:具身图灵机 - 用软件工程思路解具身任务。届时胡凯瑞将从纯代码执行机器人任务的能力边界出发,介绍共享技能库与递归自我改进机制,并结合 RoboDojo 实验、跨本体泛化和真机验证,讨论代码策略的适用场景与局限。

Talk·信息

主题:具身图灵机 - 用软件工程思路解具身任务

嘉宾:南洋理工大学·博士生,Ropedia AI科学家 - 胡凯瑞

时间:北京时间11月4日(周三) 20:00

地点:TechBeat人工智能社区

http://www.techbeat.net/


Talk·介绍

主流机器人策略是 model in the loop,代码作为工具来减少 model call。代码执行很快,那么去掉 model in the loop、纯代码执行的上限在哪里?适合哪些场景?泛化性如何?我们把物理世界理解为具身图灵机,把具身任务当作 SWE 问题:离线由 Coding Agent 编写并维护跨任务复用的技能库,在线只执行代码。这样的策略能跨 episode 复用;执行快,也能作为高效的数据引擎。在 RoboDojo 上简单验证,成功率 70.24%;并初步验证了跨本体、跨数据集的泛化性和 sim-to-real 的有效性,为机器人策略提供了一个新思路。

Talk大纲

1. 背景与动机:只用代码,能走多远?

主流策略是 model in the loop,代码作为工具;我们想看去掉 model in the loop 后,纯代码执行的上限、适用场景和泛化性。把具身任务当作 SWE 问题后,代码策略有三个好处:在线稳定高效执行,可复用的技能随任务扩展,以及作为高效的数据引擎。

2. 共享代码库:代码即策略

代码不只是给模型调用的工具,它本身就是策略,把对任务的理解沉淀成可复用的技能和框架。函数按形状写,任务文件只写决策;新任务运行的代码里,83% 来自共享库。

3. RSI:代码库如何越写越好

离线开发时,Coding Agent 运行、看失败、分支尝试、合并改进,而不是每个任务从头写。库越积累,新任务越快:每个任务 1 个示范、不训练,4 个新任务 15 小时平均达到 47%。

4. 实验验证

在 RoboDojo 的 42 个双臂任务上简单验证,成功率 70.24%。执行时不调用模型,每步决策中位 0.3 毫秒,每个动作都能追溯原因。

5. 跨本体泛化与真机验证

同一套代码库用到 LIBERO 上的 Franka Panda 和 MuJoCo 中带灵巧手的七关节臂,换机器人主要换适配层;真机上做了初步验证,差距主要来自感知误差。

6. 分析与展望

代码擅长记忆和精度,瓶颈在测不准的接触和变化大的场景。最后讨论 System 2 如何与代码技能结合。

Talk·预习资料


[1] Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement 论文链接: https://arxiv.org/abs/2610.12369 项目主页: https://ropedia.github.io/ropedia-a0/ Hugging Face: https://huggingface.co/papers/2610.12369


[2] ICRA 2023 | Code as Policies: Language Model Programs for Embodied Control 论文链接: https://arxiv.org/abs/2209.07753


[3] Voyager: An Open-Ended Embodied Agent with Large Language Models 论文链接: https://arxiv.org/abs/2305.16291


[4] RoboDojo 项目主页: https://robodojo-benchmark.com

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call和问题,和更多小伙伴们共同讨论,被讲者直接翻牌解答!


你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍


胡凯瑞

南洋理工大学·博士生,Ropedia AI科学家

胡凯瑞,南洋理工大学一年级博士生,师从刘子纬(Ziwei Liu)教授,本科毕业于南洋理工大学。研究方向为具身智能与多模态大模型,目前关注如何用大语言模型和 Coding Agent(System 2)来做机器人策略控制。此前主要从事多模态理解研究,代表工作包括 Video-MMMU 和 LMMs-Eval(多模态评测框架)。近期工作 Embodied Turing Machines 探索以代码作为机器人策略(Code as Policy),让可复用的代码库在开发中递归自我改进(RSI),并验证了代码技能的跨本体复用性和泛化性。


-The End-


如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择!

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>

预约本期Talk

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
饱受争议的《GTA6》,预售额已超《黑猴》全部

饱受争议的《GTA6》,预售额已超《黑猴》全部

观察者网
2026-11-19 20:20:05
李子柒当选四川省文联副主席

李子柒当选四川省文联副主席

大风新闻
2026-11-20 17:42:03
墨总统:墨西哥不打算与中国签署自贸协定

墨总统:墨西哥不打算与中国签署自贸协定

俄罗斯卫星通讯社
2026-11-21 16:09:51
京东市值420亿美元,养活90万员工,孙宇晨高调开炮:没有波场高,波场员工500人

京东市值420亿美元,养活90万员工,孙宇晨高调开炮:没有波场高,波场员工500人

互联鱼
2026-11-19 00:10:04
上海市一栋1042平的独栋别墅降价拍卖,被人底价5420万竞得

上海市一栋1042平的独栋别墅降价拍卖,被人底价5420万竞得

童童聊娱乐啊
2026-11-21 15:14:43
2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

华尔街见闻官方
2026-11-21 13:22:36
亲妈不让8岁女儿上学 自称“示范在家教育”

亲妈不让8岁女儿上学 自称“示范在家教育”

看看新闻Knews
2026-11-20 14:30:33
糟了!AMD的苏姿丰也“出事”了……

糟了!AMD的苏姿丰也“出事”了……

留学生日报
2026-11-21 09:34:38
破人类娱乐史记录:R星官宣《GTA6》首日销售额为37.9亿美元,预购3250万份,

破人类娱乐史记录:R星官宣《GTA6》首日销售额为37.9亿美元,预购3250万份,

游戏葡萄_
2026-11-21 08:20:39
拜仁发言人:考虑到整体情况,我们准许诺伊尔在巴西进行康复

拜仁发言人:考虑到整体情况,我们准许诺伊尔在巴西进行康复

懂球帝
2026-11-21 07:16:53
2011年,人大女生苏紫紫全身赤裸,让记者坐到对面,问了一句“你敢看我吗”

2011年,人大女生苏紫紫全身赤裸,让记者坐到对面,问了一句“你敢看我吗”

人生录
2026-10-08 17:22:31
已经等不了开盘,信号很强烈,下周C浪行情很可能再次被激活吗?

已经等不了开盘,信号很强烈,下周C浪行情很可能再次被激活吗?

股侠指北针
2026-11-21 09:08:04
让他装到了!知名歌星在《GTA6》里找到自家豪宅

让他装到了!知名歌星在《GTA6》里找到自家豪宅

游民星空
2026-11-21 11:07:35
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
上海C罗博物馆揭幕仪式上,7米高C罗雕像亮相

上海C罗博物馆揭幕仪式上,7米高C罗雕像亮相

懂球帝
2026-11-21 15:37:16
美国证交会调查英伟达!

美国证交会调查英伟达!

EETOP半导体社区
2026-11-21 09:00:10
中菲同时办峰会,俄罗斯亲疏有别?普京到深圳,外长去马尼拉

中菲同时办峰会,俄罗斯亲疏有别?普京到深圳,外长去马尼拉

第一军情
2026-11-21 18:15:06
给所有退休老人一个忠告:永远不要在子女面前,表现出这6种行为

给所有退休老人一个忠告:永远不要在子女面前,表现出这6种行为

风起见你
2026-10-21 01:39:23
美国66岁男星出门买晚餐车祸去世,曾参演《成长的烦恼》《老友记》

美国66岁男星出门买晚餐车祸去世,曾参演《成长的烦恼》《老友记》

韩小娱
2026-11-21 10:44:52
前男篮国手孙悦:与名模离婚净身出户6年后,41岁的他已判若两人

前男篮国手孙悦:与名模离婚净身出户6年后,41岁的他已判若两人

生命之泉的奥秘
2026-11-21 18:21:16
2026-11-21 19:12:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
家居
健康
游戏
军事航空

教育要闻

守育人之本,研课堂之变——中国教科院第十一届高质量课堂展示交流活动(初中组)

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

《GTA6》玩家为女主狂买37套衣服!上身效果值了

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版