港大团队提出The Imitator Game，2万条配对数据测出机器人模仿的天花板

The Imitator Game 从“人是如何模仿的”出发，把 human-to-robot video imitation 分成 L0–L3 四个层级，并开源 IG-10K、200+ 配对真机、仿真任务、统一模型接口与公开评测平台 Imitator Arena，希望为正在兴起的机器人 video in-context learning 建立一套长期可扩展的评测体系。

论文题目： The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction 文章链接： https://arxiv.org/abs/2608.22301 代码链接： https://github.com/imitator-game/The-Imitator-Game 项目主页： https://imitator-game.github.io/

学到的从来不只是动作

人类学习一个新操作，最自然的方法往往不是听一段语言说明，而是看别人做一遍。

过去几周，机器人正在越来越接近这种交互方式：

Generalist 发布 GEN-1.5：将一段 3–12 秒的 physical prompt 放进上下文，模型无需梯度更新即可尝试执行新任务；Skild AI 发布 S1，用单个视频 prompt 驱动此前未见、最长可达 10 分钟的任务；HOST 展示了机器人从一个人类视频中在 inference time 获取新技能；Zero-WAM 则进一步把 human-video ICL 做成规模化预训练问题。

如果未来机器人进入家庭，一个用户想教它新技能，最自然的方式未必是重新遥操作机器人采几十条数据。人直接在机器人面前做一次示范，理论上同时包含任务对象、动作过程、空间关系和最终结果，比一句语言指令更完整，也比重新采 robot data 更自然。

然而对于人类而言，看视频学习别人泡茶、折衣服、组装家具时，我们并不需要记住手腕在第几秒转了多少度。等到自己尝试时，桌面布局变了，我们会适应新的摆放；衣服颜色换了，我们依然知道需要抓住袖口；茶包换成散茶，我们仍然知道要将茶叶浸泡在水中；没有锤子，我们会利用身边的硬物敲击；没有热水壶，我们会用饮水机接热水；我们会理解视频并用当前场景拥有的物体达成想要的目的。

这也是人类模仿很重要的一点：我们会利用强大的知识先验，根据自己眼前的环境，决定示范里的哪些信息应该保留，哪些执行细节可以改变。

对于机器人来说，这也带来了一个必须优先被定义和考虑的问题：

机器人从一段人类视频中，究竟能学到什么？

二、我们希望评估的，是从动作复现

走向意图模仿的整个过程

场景越接近示范，动作本身越有参考价值；场景发生变化后，真正需要保持的东西会逐渐转向物体结果、语义任务乃至更高层的目的。

例如，人给机器人示范“倒一杯水”。

如果杯子只换了位置，机器人需要改变运动轨迹；

如果杯子从保温杯变成带有把手的马克杯，机器人抓取方式也要跟着改变；

如果新的场景连水壶都没有，只剩水龙头或饮水机，那么原来示范中的抓取方式和运动过程都不再适用，机器人需要保留下来的只剩下更抽象的任务目的。

这正是 The Imitator Game 的出发点。

我们不是希望否定当前的视频模仿工作。相反，GEN-1.5、S1、HOST、Zero-WAM 这类系统让“从人类视频快速学习新任务”第一次变得足够具体，社区因此更需要进一步回答：

当示范与执行环境逐渐拉开时，一个模型的模仿能力可以保持到什么程度？

The Imitator Game 受到发展心理学中 mimicking、end-state emulation、goal-directed imitation 与 analogical transfer 等社会学习概念启发，把“模仿”从单一成功率拆成四个层级。

三、L0–L3：同一个任务

四种不同程度的场景变化

论文把人类做示范的环境称为Demonstrator Scene，机器人执行任务的环境称为
Imitator Scene。

四个等级描述的是“同一段示范”和“机器人当前场景”之间的关系。

Level

场景变化

需要保持

的内容

L0

相同物体、相同布局

尽量复现同一轨迹

L1

相同物体、相同改变

用新轨迹达到相同物体终态

L2

换成外观或几何不同，但语义同类的物体

完成相同语义任务

L3

换成语义不同、但可实现功能相同的物体

使用替代的操作方式实现相同目标

论文中的泡茶例子非常直观：

• L0：在原位置浸泡茶包；

• L1：茶包位置改变，重新规划动作；

• L2：茶包换成散茶，仍然完成泡茶；

• L3：场景里没有原来的茶叶形式，改用抹茶粉与搅拌棒，通过完全不同的操作实现“制作热饮”的目的。

到 L3，模型需要的不再只是对同类物体的泛化，而是functional substitution：理解一个新对象可以通过不同 affordance 承担什么功能，并用新的操作过程保持示范的意图。

值得注意的是，GEN-1.5 最近展示的“用香蕉临时充当刷子”等novel tool use行为，在概念上就非常接近我们希望机器人达到的 L3 级别的模仿能力。S1 也展示过 human prompt 使用 watering can 给植物浇水，执行环境里只有 cup of water 时，模型会改用杯子。它还展示过对 demonstration 中部分操作错误的修正，而不是机械保持所有细节。我们相信GEN-1.5和S1并非刻意构造这样的训练数据，但这种大规模训练数据带来的涌现现象，恰好说明：

类人级别的模仿并非遥不可及，这些最新模型已经把社区带到了一类非常值得系统评测的行为边界，而 The Imitator Game 提供的正是一套可扩展、跨任务、跨对象、跨模型重复测量这种分层模仿能力的 setting。

四、不只是提出四个等级，我们把它

做成了一套可以直接使用的 benchmark

一个分级如果只能停留在概念图上，并不能形成真正可复现的研究问题。因此 The Imitator Game 同时开源了三类基础设施。

4.1 IG-10K：环境匹配的人类–机器人配对数据

据我们所知，IG-10K 是目前规模最大的 environment-aligned human–robot paired manipulation dataset，并且在真实世界和仿真中都按 L0–L3 进行实例化。

数据包含：

• 20,000+ paired episodes

• 11.7K真实人类–真实机器人配对数据

• 10K仿真配对数据

• 50+基础任务示范

• 200+ L0–L3任务变种

• 340+可操作物体

根据对现有公开数据的比较，IG-10K 是目前规模最大的 environment-aligned paired human–robot manipulation dataset，并且是目前唯一在真实与仿真两侧都系统实例化 L0–L3 的数据集。它的关键不只是“人类数据 + 机器人数据”。IG-10K 的原子单位是paired episode：一段 human demonstration 和一个或多个 robot episodes 之间存在明确对应关系。这使研究者可以系统性控制测试：实验中发生的到底是位置变化、同类实例变化，还是功能替换。

真实数据在双臂 Realman 平台上通过 VR teleoperation 采集；simulation 运行在 ManiSkill3 双臂 Franka 环境。数据统一为 LeRobot-0.5.0，并保留多视角 RGB-D、3D MANO hand pose、semantic masks 和多抽象层级语言标注，为后续 video-conditioned policy、cross-embodiment learning、world-action model 等方向预留接口。

数据集链接： https://imitator-game.github.io/data.html 数据集可视化： https://imitator-game.github.io/gallery.html

4.2 200+ ManiSkill3 配对任务与统一开发接口

仿真部分基于 ManiSkill3 / SAPIEN 构建。

我们把 L0–L3 不同层级真正落实到环境和任务生成侧，同时提供统一的数据采集、训练与评测模板。对于希望测试新模型的研究者，不需要重新从头搭建一套 human-to-robot video benchmark。

项目仓库目前已经提供 ACT、Diffusion Policy、VQ-BeT、XSkill、UniSkill、GR00T-N1.6、RDT-1B、π0.5、OpenVLA-oft 等基线的训练与评测适配方式。

4.3 Imitator Arena

我们同时开放Imitator Arena。

在 Arena 中，评测者可以同时看到同一段 human demonstration 与配对的两个匿名模型 rollouts，通过结构化 blind A/B comparison 判断哪个模型更好地完成并模仿了示范。

对仿真任务，我们也提供自动化 goal-centric metrics。

Imitator Arena 入口： https://imitator-game.github.io/arena.html

15 个训练变体的系统性测试

The Imitator Game 将现有方法统一到：

也就是人类示范视频 与机器人当前场景观测 共同决定动作。

论文接入三类范式（在 human-video-ICL 模型发布前）：

• Language-conditioned VLA：GR00T-N1.6、RDT-1B、π0.5、OpenVLA-oft （视频通过人类标注方式转为VLA可接受的语言输入）

• Cross-embodiment skill：XSkill、UniSkill

• Video-conditioned visuomotor policy：ACT、Diffusion Policy、VQ-BeT

共覆盖 9 个模型、15 个训练变体，并在真实世界、仿真和 Arena 中进行统一评测。

完整评测结果入口： https://imitator-game.github.io/leaderboard.html

我们发现：

第一，human video 是一个值得继续扩展的任务接口。

在我们的统一设置中，直接保留视频信息的模型在多项场景里表现出明确优势；示范视频本身也确实在影响模型的动作选择，而不是被模型完全忽略。

第二，paired human–robot pretraining 是有 scaling 潜力的。

随着预训练任务规模扩大，模型在后续新任务适配中持续获得收益。现阶段 zero-shot 仍然很难，但数据规模与少样本适配能力之间已经出现清晰的正向关系。

第三，L3 模仿仍然是非常开放的能力区间。

真实世界结果中，当前代表性模型在 L0–L2 已经能够处理不少布局变化和同类物体变化，但进入需要功能替代的 L3 后，整体表现明显下降。

这恰恰是我们希望 benchmark 长期存在的原因。

今天的模型也许更多集中在 L0/L1 场景，下一批 video ICL / world-action model 可能开始进入 L2、L3。只要接口、数据和任务定义保持一致，我们就能持续看到这个方向究竟在“哪一种模仿能力”上发生了进步。

六、GEN-1.5、S1 之后，我们更期待

The Imitator Game 成为一个共同测试的新方向

2026 年夏天集中出现的几项工作，让 human-video ICL 很快从一个相对小众的问题变成了具身智能里最值得关注的方向之一。

• GEN-1.5展示 one-shot physical prompting、human-to-robot imitation 与 novel tool use；

• S1把单视频 prompt 推到未见、最长 10 分钟的长程任务；

• HOST展示单个人类视频在 inference time 快速获取新技能；

• Zero-WAM则开始从大规模 human–robot ICL pairs 与 world-action pretraining 的角度解决这一问题。

它们和 The Imitator Game 并不冲突。

前者在不断回答“模型怎样从视频里学”；我们希望提供的是另一个长期问题：

一个从视频中学习的模型，在场景变化到什么程度之后仍然能够模仿视频中展示的任务意图？

我们也非常期待未来把这些新一代模型纳入我们的评测 leaderboard 中。只有越来越多不同架构、不同数据规模、不同具身形态的模型进入同一套任务体系，这个 benchmark 才真正有价值。

七、The Imitator Game 是一个

持续扩展的开源社区

The Imitator Game 并不是仅仅是一篇阶段性学术文章，而是一个开放的社区。

• 社区可以贡献新的L0–L3 tasks

• 可以接入新的imitation / ICL / VLA / world-action models

• 可以加入新的robot embodiments

• 可以扩充新的assets 与 paired data

• 我们会逐步扩展真机评测服务和配对数据采集服务

仓库已经提供 task、model、robot 的统一模板，并会持续跟进 ManiSkill 仿真上游更新。

未来我们计划继续扩展：

更大的数据集、更丰富的任务、更开放的功能替代、更丰富的机器人本体，以及更多最新 human-video-ICL 模型的评测。

团队长期欢迎研究合作与项目贡献。如果你正在研究 human-to-robot imitation、video-conditioned policy、cross-embodiment learning、in-context robot learning、world-action model，或者希望参与构建新的评测任务或者仿真环境，欢迎加入Community，或者联系项目负责人周训哲（zhouxunzhe.github.io）。

社区链接： https://imitator-game.github.io/community.html

Human video 能否成为机器人真正自然的任务接口，现在仍然是一个非常开放的问题。但最近几周的进展已经让它从“想象中的方向”走到可实际验证的阶段。The Imitator Game 想做的，是让这条路线之后每一次能力提升，都有一个更清楚、可重复、可扩展的落点。我们希望 The Imitator Game 最终不是“某个团队的 benchmark”，而是一个由社区共同维护、能够随着模型能力一起生长的测试平台。

参考

• GEN-1.5: https://generalistai.com/blog/gen-1.5

• Skild S1: https://www.skild.ai/blogs/s1

• HOST: https://host-site.host-robotics.workers.dev/

• Zero-WAM: https://robbyant-research.github.io/Zero-WAM/

Illustration From IconScout By IconScout Store

5 位不同来路的具身创业研究者闭门聊天局

北京时间9月8日(周二) 晚20:00截止报名

详情点击图片跳转

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈