RSS 2026现场直击｜从双臂协同到水下灵巧，机器人操作迈入「少样本时代」

机器人操作正在从“数据饥渴”走向“样本高效”。

作者丨陈淑瑜

编辑丨岑 峰

7月13日，2026年机器人领域顶级学术会议RSS（Robotics: Science and Systems）在澳大利亚悉尼正式开幕。

今年的 RSS 2026最终被主会接收并放进官方日程的论文仅仅 160 篇左右，极低的接受率说明了RSS的含金量一如既往的高，每一篇都经得起全场几百位顶尖研究者的严苛推敲。

雷峰网&AI科技评论已派出报道小组抵达会议现场。在简单的开幕式后，紧跟着的是“Manipulation 1: World Models & Memory”论文报告环节，来自全球顶尖实验室的研究者们展示了机器人操作领域的最新突破。从双臂协同、手术辅助到水下灵巧操作，一个共同的趋势正在浮现：机器人正在摆脱对海量标注数据的依赖，迈向“少样本、强泛化”的新阶段。

研究者们不再死磕千万次高昂的遥操作采集，而是各显神通：有的从人类视频里“白嫖”数据，有的用触觉手套实现跨物种对齐，还有的在推理时加装“安全护栏”。

以下是我们从该环节精选的 9 篇代表作，带你一文看懂机器人如何以极低的成本，学会干最精细的活。如果你也想让你的研究成果出现在这里，请与我们联系。

01

打破“数据匮乏”，让机器人向人类“借”经验

既然真机数据难以海量采集，研究者们将目光投向了最丰富的资源库——人类的日常行为。如何跨越“人与机器”的结构鸿沟，直接提取知识？

▎一次演示，生成千条训练数据

BiDemoSyn: One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation

https://arxiv.org/abs/2512.09297

双臂灵巧操作一直是机器人领域的硬骨头。两只手的协同远比单手复杂，而高质量的演示数据又极其昂贵。现有的方案往往陷入两难：遥操作采集数据可靠却费时费力，仿真合成效率虽高却难以跨越虚实鸿沟。华南理工大学的研究团队试图打破这一僵局。

他们提出了BiDemoSyn框架，核心思路是将双臂操作任务拆解为“不变协调块”与“可变物体适应”两部分。前者负责捕捉双臂间不随任务改变的协同模式，后者则负责根据具体物体的形状和位姿进行灵活调整。基于这种解耦，该框架通过视觉引导对齐和轻量级轨迹优化，仅需一段真实世界的示范视频，便能在数小时内自动合成数千条物理可行的多样化训练数据。

在六个双臂任务的实验中，用BiDemoSyn数据训练的策略不仅能鲁棒泛化到新物体的位姿和形状，还实现了零样本跨本体迁移，这意味着即便更换机器人平台，这套系统也能直接上手工作。我们离“教一次就能干活”的实用双臂机器人又近了一步。

▎看人类视频，机器人学会了用刀切苹果

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos

https://arxiv.org/abs/2602.10105

互联网上充斥着人类切苹果、倒饮料、叠杯子等操作各种工具的视频，但由于人类手部与机器人灵巧手在结构上差异巨大，这些视频的训练价值长期遭到忽视。这种“具身鸿沟”让直接从人类视频中预训练变得极其困难。上海人工智能实验室和清华大学的研究者决定正面攻克这一难题。

他们设计的DexImit是一个四阶段的自动化生成管线：首先从任意视角重建精度极高的手-物交互三维结构；接着对复杂任务进行子任务分解与双臂调度规划；然后合成与人类演示高度一致的机器人轨迹；最后通过综合数据增强确保其能零样本部署到真实世界。

这套流程的革命性在于，它能直接吃透互联网上的任意人类操作视频甚至AI生成的视频。从工具使用到精细操作，当灵巧手不再需要从头采集昂贵的训练数据，机器人“学会动手”的门槛被大幅降低了。

▎触觉手套教机器人拧灯泡，无需配对数据

TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment

https://arxiv.org/abs/2602.13579

仅需人类戴上触觉手套演示一次，机器人便能掌握拧灯泡的技巧，这在以往简直是天方夜谭。穿戴设备采集的人类触觉信号直观丰富，但如何将其迁移到传感器和本体结构截然不同的机器人上，一直是个痛点。现有方法大多要求设备高度一致且需要成对的训练数据，严重限制了扩展性。

来自UC Berkeley和Meta等机构的研究者提出了令人耳目一新的TactAlign：用整流流（rectified flow）将人类和机器人的触觉观测映射到同一个共享潜在空间。最关键的是，这个对齐过程不需要配对数据集、人工标注或特权信息。对齐的“锚点”直接来源于手物交互中自然产生的伪配对。简单来说，无论是人手还是机械手，在抓取同一物体时，其物理交互模式必然存在某种共性。

在接触密集型任务上，TactAlign显著提升了人机策略的迁移效果。在拧灯泡这种高灵巧任务中，仅需不到五分钟的人类触觉数据，就成功实现了零样本迁移。

02

跨越“虚实与场景鸿沟”

解决了数据来源，下一个难题是“环境突变”。在仿真里学得好好的，到了真实世界就翻车；在实验室里能抓水杯，到了水下或手术室就失控。如何让机器人拥有抗干扰的泛化能力？

▎手术室里，机器人学会了看眼色行事

Supervised Mixture-of-Experts for Surgical Grasping and Retraction

https://arxiv.org/abs/2601.21971

手术机器人面临的环境远比工厂流水线复杂：组织会变形、视野会遮挡，任何一个小失误都可能致命。传统手术机器人严重依赖多相机系统和海量演示数据，导致技术落地异常困难。对此，德国国家肿瘤疾病中心的研究团队给出了一个更轻量的答案。

他们提出了一种监督式混合专家（MoE）架构，能像插件一样叠加在任意自主策略之上。令人惊讶的是，仅配合立体内窥镜图像作为唯一输入，叠加MoE后的轻量级Action Chunking Transformer仅需不到150条演示数据，就能学会复杂的“肠道抓取与牵拉”长时序协作任务。在此过程中，机器人不仅要读懂外科医生的视觉提示，准确抓取可变形组织，还要保持稳定的牵拉。

更值得关注的是其泛化表现。面对新场景，通用视觉-语言-动作模型完全失效，标准ACT也频频掉链子；而MoE增强版本不仅在弱光、遮挡及全新抓取位置等干扰下保持稳健，还成功在离体猪组织上实现了零样本泛化，甚至完成了体内猪手术的初步验证。这无疑为手术机器人的临床落地释放了强烈的积极信号。

▎触觉+视觉：让机器人摸得准、刮得稳

Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation

https://arxiv.org/abs/2602.13833

使用工具看似简单，实则需要解决“用哪里”（语义理解）和“用多大力”（物理精度）两个层次的挑战。当前的视觉-语言-动作模型擅长前者却在力控上捉襟见肘，而纯触觉策略虽精度高却不够通用。更棘手的是，大规模采集真实触觉数据的成本极高，且仿真与真实传感器数据之间存在复杂的非线性变形，导致零样本迁移几乎难以实现。

新加坡A*STAR和NUS的研究团队提出了Semantic-Contact Fields（SCFields），将视觉语义与密集接触估计融合到统一的三维表示中。他们设计了一个两阶段的Sim-to-Real学习管线：先在大规模仿真数据上预训练接触先验，再用几何启发式和力优化在少量真实数据上进行伪标注微调。

最终，这个力感知的表示被送入扩散策略作为观测输入。实验证明，SCFields能在未见过的工具实例上实现类别级泛化，大幅超越纯视觉和原始触觉基线方法。用仿真批量学、用真实数据精调，正在成为触觉操作的新范式。

▎水下抓取，不用下水采数据

UMI-Underwater: Learning Underwater Manipulation withoutUnderwater Teleoperation

https://arxiv.org/abs/2603.27012

水下机器人操作面临着独特困境：水体会导致光线散射和颜色严重失真。如果要在多样化场景中采集水下演示数据，不仅需要专业潜水设备和人员，成本更是天文数字。斯坦福大学和哥伦比亚大学的研究者想到了一个巧妙的迂回策略：在水上教，到水下用。

UMI-Underwater系统包含一种基于深度信息的可供性表示。由于深度图在不同光照和水质条件下远比RGB图像稳定，它顺理成章地成为了弥合陆地与水下域间差距的“通用语言”。系统在陆地手持演示数据上训练模型，通过几何对齐即可零样本部署到水下。同时，该系统还配合了一个自监督数据采集管线，让机器人自主在水下试错并记录成功案例。

泳池实验显示，该方法在水下抓取性能和鲁棒性上全面超越了纯RGB方法，甚至能泛化到仅在陆地数据中出现过的物体。海洋探索的自动化大门，正在以更低成本的方式徐徐打开。

03

重塑“底层逻辑”，用机制为模型兜底

除了数据和环境，大语言模型的架构直接套用在机器人上并不完美。研究者们开始回归机器人的物理本质，探寻最优的数据配比、控制闭环与安全机制。

▎VLA模型该用什么数据？89个策略揭晓答案

A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation

https://arxiv.org/abs/2602.01067

视觉-语言-动作（VLA）模型是当前通用机器人策略的主流架构，但在共训练的数据配比上一直缺乏系统性指导。除了机器人的本体数据，到底该掺杂视觉-语言数据、跨本体数据、人类视频，还是离散动作token？Meta AI的研究团队用一场大规模实证研究给出了定论。

这项研究规模惊人：利用4000小时操作数据和5000万视觉-语言样本，训练了89个VLA策略，并进行了超过六万次测试。结论非常清晰：视觉-语言数据和跨本体机器人数据堪称“黄金搭档”，两者联合共训练能显著提升模型对分布偏移、未见任务以及自然语言指令的泛化能力；相比之下，离散动作token则收效甚微。

研究还发现，仅用机器人数据训练会严重退化大模型的视觉语言理解能力，但加入共训练数据后即可有效恢复。这些翔实的结论，为社区构建下一代通用机器人策略提供了宝贵的“数据菜谱”。

▎两次演示、九成成功率：把机器人“滑”进安全区

SID: Sliding into Distribution for Robust Few-Demonstration Manipulation

https://arxiv.org/abs/2605.13428

机器人操作最怕遇到突发状况：物体位置变了、角度偏了或受到外界扰动。此时，仅靠几次演示训练出来的端到端策略几乎必然会“掉出分布”，进而做出不可预测的危险动作。浙江大学的研究团队提出了一种新范式：与其死磕数据，不如在推理时主动把系统“拉回”安全区。

SID框架的核心是一个以物体为中心的运动场。该运动场通过学习规范化的演示，能在机器人偏离正常轨迹时提供大幅度的纠正运动，将系统逐步“滑”回可靠的操作区域。一旦接近目标，运动场会自然衰减，交由轻量级的自我中心执行策略完成精细操作。

这种“全局粗调+局部精调”的解耦设计，让SID在仅有两次演示的极限条件下依然稳健。在六个真实世界任务中，它在分布外初始条件下依然能保持约90%的成功率。这启示我们：少样本操作的瓶颈或许不在于策略不够强，而是缺乏显式管理分布偏移的机制。

▎让灵巧手真正"感知"接触：从多点触觉到动作接地

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

https://arxiv.org/abs/2603.05687

多指灵巧手的接触密集型操作始终是机器人领域的一大难题，这类任务的成败高度依赖于多个接触点的持续演化，而这些状态对物体几何和滑移极为敏感。以往的研究大多把触觉当成“额外输入”，既不显式建模接触状态，也忽视了动作策略与底层控制器的动力学交互，导致策略给出的目标往往无法在物理世界执行。

来自UCSD、Brown和Sony AI的研究团队提出了Contact-Grounded Policy（CGP）视觉-触觉联合策略框架。该框架包含两个核心组件：其一是条件扩散模型，用于预测机器人状态与触觉反馈的耦合轨迹；其二是可学习的“接触一致性映射”，它能将上述的联合预测直接转化为柔顺控制器可执行的目标状态，从而确保控制系统真正落实预测出的接触意图。

在配备高精度触觉传感器的真实和仿真机械手上，CGP在操控、抓取和工具使用等任务中均显著优于现有基线。这项工作指明了方向：触觉不应只是锦上添花的额外观测，必须成为连接AI策略与物理现实的“接地”桥梁。

04

结语

三个方向，九篇论文，一条主线贯穿始终：机器人操作正在从“数据饥渴”走向“样本高效”。

无论是BiDemoSyn通过一次演示合成数千条数据、SID用两次演示实现九成成功率、DexImit从人类视频中自动提取操作知识，还是CGP让灵巧手真正感知接触状态，这些前沿探索都共同指向了一个未来：机器人再也不必在实验室里苦熬千万次演示。

雷峰网&AI科技评论将继续在现场带来更多RSS 2026的精彩内容，如果你想推荐RSS上的其他论文，欢迎联系我们进一步交流探讨 。

一个人读论文太孤单，一群人刷顶会才好玩。

RSS 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

? 进群传送门：扫码进群或添加微信Luyoyo_2026，备注：论文群 + 关注的 AI 方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈