AI Awesome Work | 拆开黑箱，让机器人敢干活

EAI Awesome Work | 拆开黑箱，让机器人敢干活

一个 4B 参数的视觉语言模型，每预测一个动作块就要完整地跑一遍前向——Fast-VLA 说，一个 episode 只想一次就够了，均摊推理时间直接省下 17.1 倍。另一边，有人把 MolmoBot 的 36 层 cross-attention 砍到只留 3 层，在 3000 个评测 episode 上成功率从 46.9% 变成 46.7%，FLOPs 降了 33%。

这两件事发生在同一天，指向同一件事：**VLA 正在从"堆规模"转向"搞清楚内部到底在干什么"**。

本期三条主线：一是可解释性社区集体入场，第一次系统性地把机器人基础模型的"动作条件化接口"剖开了；二是人类视频正式从"补充数据"升格为主数据通路，四篇工作同时在做跨具身迁移；三是安全与评测诚实开始成为硬指标——有人发现 Bench2Drive 的舒适性指标跟"车停了多久"的相关系数高达 0.97，等于在奖励"躺平"。

不是新闻简报，是一次对"具身智能现在到底缺什么"的认真回答。

板块一：黑箱被拆开 —— VLA 的"解剖学"元年

可解释性（mechanistic interpretability）社区这周集体空降 cs.RO。三篇论文出自同一批作者，用 activation patching、线性探针、块稀疏特征分解去问一个此前没人认真问的问题：图像和指令，究竟是从哪条路走进动作的？

把 36 层 cross-attention 砍到 3 层，成功率只掉 0.2 个点

论文链接：https://arxiv.org/abs/2610.20750

Stanford（Mac Schwager 组）领衔 × 可解释性社区联合 | Aiden Swann, Mathilde Papillon, Mac Schwager, Ekdeep Singh Lubana, Atticus Geiger, Thomas Fel, Matthew Kowal 等 16 人

一句话：搞清楚"信息从哪一层流进动作专家"之后，你可以把大部分层直接扔掉，机器人几乎没变差。

摘要翻译：

VLA 被寄望于通用机器人操控，但学界对视觉语言模型主干的内部机制研究很多，对"感知与语义表征如何被转化成动作"却几乎一无所知。本文用机理分析的方式研究三个前沿 VLA 模型（、MolmoAct2、MolmoBot），追踪输入图像与指令影响动作的因果通路。

跨三个模型的 activation patching 实验给出了一个高度一致的结论：因果相关的信息是通过一条很窄的中后段 cross-attention 层带进入动作专家（Action Expert）的，作者称之为**"动作条件化接口"（action-conditioning interface）**。而且这条带上承载的内容随 token 和层深变化：早中层的目标名词 token 表征决定"选哪个物体"，中后层的文本 token 则携带空间信息，patch 它就能改变运动方向。

空间信息存在哪里则因架构而异——MolmoAct2 在指令之后的文本位置上形成任务条件化表征， 则额外把这份信息存在图像 token 位置。

结果/亮点：

指标

结果

MolmoBot 动作 expert 条件化层数

36 →3 层

推理 FLOPs 下降

最高 33%

3000 episode 成功率

46.7% vs 默认 46.9%（基本持平）

结论迁移性

同样的原则在 真机部署上成立

️研发团队：Stanford（Mac Schwager）+ 可解释性社区联合团队（机构据作者公开信息推断）
代码/项目页：未公开

机器人脑子里，"距离"不是一个数字，是一把粗尺+一把细尺

论文链接：https://arxiv.org/abs/2610.20840

同上联合团队 | Mozes Jacobs, Aiden Swann, Thomas Fel, Atticus Geiger 等 19 人

一句话：不只看"能不能读出某个变量"，而是看这个变量在激活空间里长什么形状——关节限位让腕部朝向变成一段开口圆弧，而不是一个圆。

摘要翻译：

机器人操控本质上是几何的，但执行操控的策略内部，世界被表征成了什么形状？已有工作证明了任务相关变量可以从激活中线性读出，可"读得出"只说明变量存在，说明不了它的取值在表征空间里画出什么曲线——它可能是弯曲的、多维的。

本文通过受控扫掠、自然 rollout、线性探针和激活干预，为 VLA 中的七类任务相关概念建立了一套分类学。核心发现是：实际实现的几何（realized geometry）主要是多维的，且被策略所处约束塑造。比如物理关节限位让"腕部朝向"的实现形状是一段开口圆弧而非闭合圆；"到目标的距离"这个单一标量，被实现在两个正交子空间里——一把用于接近阶段的粗尺，一把用于抓取阶段的细尺。

同一批几何在另外两个 VLA 模型的真实机器人数据中重复出现，说明它们既不是模型特有，也不是仿真artifact。作者还展示了沿概念所实现的几何进行 steering 是可行的。

结果/亮点：

指标

结果

建立概念分类学

7 类任务相关概念

几何形态主结论

以多维为主，受物理约束塑造

跨模型复现

在另外 2 个 VLA + 真机数据上复现

可操作性

沿概念几何 steering 可改变行为

️研发团队：Stanford / 可解释性社区联合团队（41 页长文，含 10 页正文 + 8 图）
代码/项目页：未公开

块稀疏特征分解：不到 1.4% 的训练 token，撑起了"失败恢复"行为

论文链接：https://arxiv.org/abs/2610.20767

同上团队 | Aiden Swann, Mozes Jacobs, David Chanin, Atticus Geiger, Thomas Fel, Matthew Kowal 等

一句话：用多维特征（而不是单方向特征）去分解机器人模型的内部表征，得到的可解释接口既能精细操控行为，还能反向定位"这个行为是从哪批训练数据里学来的"。

摘要翻译：

更好的特征发现，能不能同时改善"对机器人行为的内部干预控制"和"训练数据的塑造"？视觉与语言模型的最新研究揭示了多维特征的存在，由此催生了块稀疏特征分解器（Block-Sparse Featurizers, BSF）——每个特征用一个低维子空间表示。

本文研究恢复这种结构能否为 VLA 提供一个可解释的操控接口。结果显示 BSF 能恢复出多个多维的任务相关特征（感知、语言、本体状态、episode 阶段、控制变量等），并通过细粒度 steering 做因果验证：定向改变视觉感知、语义表征或空间定位，会可预测地改变下游动作预测。

最后，作者用基于特征的数据归因，定位某个特定行为（失败恢复）在训练集中的来源——只屏蔽不到 1.4% 的训练 token，就足以移除这个目标行为。

结果/亮点：

指标

结果

恢复的多维特征

感知 / 语言 / 本体状态 / episode 阶段 / 控制变量

数据归因精度

< 1.4%训练 token 屏蔽即消除目标行为

因果验证

改变视觉/语义/空间表征 → 动作可预测改变

️研发团队：Stanford / 可解释性社区联合团队
代码/项目页：未公开

反问一句：VLA 真的听指令吗？"怎么做"级别的指令，其实是失效的

论文链接：https://arxiv.org/abs/2610.21251

Preprint | Sangwu Park, Wonjoong Kim, Yeonjun In, Chanyoung Park

一句话：你说"把杯子轻轻放到左边"，VLA 大概率听不进去——而且把指令写细了，成功率还会降。

摘要翻译：

VLA 被期待能像其语言主干一样遵循指令，但已有工作几乎只关注指定"做什么"（What-level）的指令，而忽略了指定"怎么做"（How-level）的指令。本文的诊断发现：How-level 指令对现有 VLA 不但没帮助，反而降低任务成功率。

作者假设，训练时每个 episode 只配单一指令，限制了 How-level 指令遵循能力；实验表明，用"分段级 enriched 指令"训练确实能让动作对这类指令产生响应，但并不能持续提升任务成功率。

为了在标准 benchmark 之外衡量 How-level 指令遵循，作者提出SIMPLER-IN——成功必须满足只在指令中给出的条件。结果表明，训练获得的响应性无法外推到更难或分布外的 How-level 指令。How-level 指令遵循仍然是一个开放问题。

️研发团队：未标注机构（Preprint）
代码/项目页：未公开

板块一小结

这三篇构成一个完整闭环：先证明信息通路很窄（20750），再刻画通路上承载的表征形状（20840），最后给出可操作的干预与数据归因工具（20767）。把它们和 SIMPLER-IN 放在一起看，信号非常清楚——我们对 VLA 内部的了解速度，已经超过了它遵循复杂指令的能力增长速度。会解释，不等于会听话。

⚡ 板块二：让大模型跑得动 —— 效率、记忆与执行节奏

VLA 的瓶颈正在从"能不能做对"转向"能不能实时做、能不能记住、该不该每次都问大模型"。

Fast-VLA：一个 episode 只想一次

论文链接：https://arxiv.org/abs/2610.21389

Kehong Gong, Guanli Hou, Michael Bi Mi 等（机构未在 arXiv 页面标注）

一句话：任务理解变化很慢，机器人状态变化很快——那就把 4B VLM 只在开头跑一次，把它的 KV 缓存当"任务记忆"反复用。

摘要翻译：

VLA 策略通常把一个数十亿参数的模型放进反馈回路，每预测一个新的动作块就重新计算一遍任务上下文。但任务理解的变化速度远慢于机器人状态的变化速度。

Fast-VLA 的做法是：每个 episode 只调用一次冻结的 4B VLM，把指令和初始视角"情境化"为一份固定的、多层 KV 任务记忆（task memory）。执行期间，一个轻量在线 actor 把学到的"时间索引 + 手臂索引"query 与当前的视觉、本体反馈融合成动作 query，再去这份固定记忆里检索任务上下文并预测动作块——全程不再重跑基础模型。

结果/亮点：

指标

结果

RoboTwin 2.0 Clean / Randomized

92.46% / 92.40%

LIBERO / LIBERO-Plus

95.95% / 79.11%

均摊推理时间（vs 三个持续条件化 baseline）

加速10.9 ~ 17.1 倍

prefill 后在线常驻显存

1.22 GiB

️研发团队：Kehong Gong 等（机构未在 arXiv 页面标注）
代码/项目页：https://garfield-kh.github.io/FastVLA

LTM：把"看不见的过去"压成潜在转移，真机计数成功率 11% → 82.5%

论文链接：https://arxiv.org/abs/2610.21362

北航（Si Liu / Pengwei Wang 组）| Qixin Sun, WenLong Gao, Xiansheng Chen, Si Liu, Pengwei Wang 等

一句话：记住"两帧之间发生了什么转移"，比记住"两帧长什么样"更省、更能表达时间结构。

摘要翻译：

机器人操控常常需要记住那些已经看不见的交互。本文提出潜在转移记忆（Latent Transition Memory, LTM），把历史存为相邻观测之间紧凑的"潜在转移"，而不是帧本身。

在 上实例化为 LTM-，使用冻结的潜在动作编码器 + 轻量 adapter + 因果 KV 缓存实现增量推理，不需要针对记忆的语义标注，也不需要调用外部推理模型。

结果/亮点：

指标

结果

RoboMME

58.54%

LIBERO-Mem

80.5%

演示数据 ×10 扩展

57.67% →87.50%

200-token 记忆预算下

84.00%（无压缩 87.50%）

真机计数任务

11.25% → 82.50%

️研发团队：北京航空航天大学（Si Liu、Pengwei Wang 组）
代码/项目页：https://github.com/buaa-colalab/LTM-pi

PAV：别再问"预测得稳不稳"，问"这一段执行下去还能不能收场"

论文链接：https://arxiv.org/abs/2610.21434

首尔大学（Nojun Kwak 组）| Minkyu Kim, Junhoo Lee, Nojun Kwak 等

一句话：未来的预测不该用来生成动作，而该用来给已生成的动作打分——决定这个动作块你敢执行多长。

摘要翻译：

VLA 生成动作序列以减少重复推理，但"每个序列执行多少"直接决定任务成败。现有自适应方法依赖生成稳定性或预测一致性来做这个决定，可这些信号并不能说明"执行某个候选前缀后，任务还能不能完成"。

本文提出策略对齐的预测式验证器（PAV）：在执行前，先预判候选动作前缀的后果，并在 VLA 内部任务条件化的表征空间里评估它与"成功继续"的兼容性。关键区别在于，未来预测不是用来生成动作，而是用来评估已有提案。为了让模型从终局结果学到局部判断，作者把轨迹级生存监督（survival supervision）与定位先验结合，保留失败 rollout 中的有用行为。

结果/亮点：

指标

结果

验证对象

评测环境

LIBERO、RoboTwin 2.0、真机

核心收益

成功率-查询次数权衡改善，无需重训策略

️研发团队：首尔大学（Nojun Kwak 组，机构据作者公开信息推断）
代码/项目页：未公开

什么时候该叫"慢系统"帮忙？给双系统 VLA 一个可测量的答案

论文链接：https://arxiv.org/abs/2610.21160

北方工业大学 | Shilin Zhang（41 页 preprint）

一句话：把"要不要调用昂贵慢模块"形式化成一个校准决策问题，给出一个量——干预价值（Value of Intervention, VoI）。

摘要翻译：

双系统 VLA 把高频快策略与昂贵慢模块配对，但已有的触发机制缺少共享目标、缺少实测成本，也没有把"调度质量"与"模块质量"分开的标准。本文补上了这套账：把调用形式化为一个校准决策问题，固定比例、固定预算、历史门控三种调度其实都是同一个量——干预价值 VoI——的退化情形。

实测系统的成本比 跨越三个数量级（FiS-VLA 0.95；RoboICL 约 ）。在 这个争议区间上做 14 组 LIBERO 闭环实验：自适应触发的查询分配与阈值规则预测完全一致，但"语言改写"通道无法把查询转化为成功率提升；唯一在两个套件上净收益非负的干预，是撤销失败改写的 revert actuator。

更狠的是：一套四项指标的防泄漏协议，把表观的早期预警 AUC 从0.93 打到 0.62（929 条部署轨迹）。

️研发团队：北方工业大学（Shilin Zhang，独立作者）
代码/项目页：未公开

多教师 on-policy 蒸馏：把三个领域的专家塞进一个 flow VLA

论文链接：https://arxiv.org/abs/2610.21522

Lichao Ni, Yuhan Liu, Pengfei Li, Guanghuan Fang（机构未标注）

一句话：flow-based VLA 的分布错配发生在两个层面——环境观测层和动作生成中间态层，两层都得各自对齐。

摘要翻译：

专用 VLA 策略能获得很强的领域技能，但把多个技能整合进一个共享策略仍然困难。On-policy 蒸馏（OPD）在 student 自身诱导的输入上迁移教师知识，解决部署时的分布错配。对 flow-based VLA，这种错配出现在两个层面：环境观测，以及动作生成的中间状态。

本文提出双层 OPD 框架：student 驱动的环境交互，配合教师沿 student 自己生成的动作流轨迹提供速度监督。冻结的多个领域专家联合监督同一个 student；每轮更新后，student 重新采集环境经验、重新生成动作流轨迹。

结果/亮点：

指标

绝对成功率增益

LIBERO-40

+22.55%

CALVIN 五指令序列

+33.4%

Meta-World MT50

+22.6%

vs Action Loss OPD / Teacher-rollout SFT

再高 3.2 ~ 18.3%

️研发团队：机构未在 arXiv 页面标注
代码/项目页：未公开

板块二小结

有意思的是，这五篇没有一篇在提升"基础能力上限"，全都在做工程化压缩与治理。这是领域成熟的信号：当所有人都在优化"怎么便宜地用已有的强模型"，说明模型本身已经够用了，卡脖子的是部署。

板块三：人类视频成为主数据通路

本周最密集的一条线。四篇工作同时回答同一个问题：怎么把人手的动作，变成机器人能用的监督信号，而不靠人工重标定？

EgoJEPA：扔掉 retargeting，跨具身成本砍掉 47.2%

论文链接：https://arxiv.org/abs/2610.20904

中山大学（Xiaodan Liang 组）等 | Meng Cao, Ian Reid, Xiaodan Liang 等 15 人

一句话：别再手工把人手关节映射到机器人手了——让模型自己学"与本体无关的潜在动作"。

摘要翻译：

第一人称人类视频是昂贵的机器人演示的可扩展替代品，但把其中的操控先验迁移到机器人控制仍然困难。主流的 retargeting 方法通过手工几何映射，把手腕和手指位姿转成特定本体的动作指令——这种映射每换一个机器人就要重新仔细标定，而且会把手部追踪误差直接传播进下游控制管线。

EgoJEPA 提出一个三阶段框架，从第一人称人类视频中学习与本体无关的表征，完全不需要基于规则的 human-to-robot retargeting：

人类动作预训练：以手部运动差异为条件，通过 JEPA 式视觉预测学习"效果感知"（effect-aware）的潜在动作；

基于潜在动作的世界建模：联合预测未来视觉动态与潜在动作，从而把人类先验预训练与机器人特有的控制参数化解耦；

本体特定微调：通过轻量动作适配器适配到不同机器人。

结果/亮点：

指标

结果

5 个真机任务 / 3 种机器人，OOD 平均成功率

74%（retargeting baseline 65%）

跨具身累计 wall-clock 成本

743.2 →392.7 小时，下降47.2%

️研发团队：中山大学（Xiaodan Liang 组）× University of Adelaide（Ian Reid）等（机构据作者公开信息推断）
代码/项目页：未公开

KODA：一段人类第一人称视频，換控制器不用重录

论文链接：https://arxiv.org/abs/2610.21152

上海交通大学 / 上海人工智能实验室 / TeleAI 联合团队 | Zibo Zhou, Siheng Chen, Chenjia Bai, Xuelong Li 等

一句话：把人类视频先转成一份可复用的"标准轨迹记录"，换控制器时只重新生成状态-动作标签，视图和轨迹都不用重来。

摘要翻译：

训练人形全身 VLA 需要昂贵的机器人演示：机器人视角观测要对齐，全身状态-动作标签还要与控制器兼容。第一人称人类演示提供了可扩展的监督，但视角不对齐、运动线索稀疏。已有方法要么仍需机器人数据做适配，要么生成的命令绑定特定控制器、无法复用。

KODA（Kinematics–Observation Data Alignment）的做法是：先用稀疏 tracker + 基于采样的命令优化，生成一条经过仿真校验的全身轨迹；这条轨迹直接决定机载相机的位姿，从而合成对应的机器人视角观测。运动、观测、任务指令共同构成一份标准记录（canonical record）。

部署到某个具体控制器时，KODA 优化命令去跟踪这份存储的运动，记录对应的动作标签与本体状态。换控制器时，标准记录保留，只重新生成全身状态-动作监督，与匹配的机器人演示做协同训练。

结果/亮点：

指标

结果

平台 / 任务

Unitree G1，4 个 loco-manipulation 任务

两种全身控制器（SONIC / HEFT）

人类数据覆盖但机器人数据缺失的条件上，宏平均成功率+45.0 / +46.25 个百分点

扩展性

随人类数据量增加呈上升趋势

️研发团队：上海交通大学（Siheng Chen）× 上海人工智能实验室（Chenjia Bai）× TeleAI（Xuelong Li）联合团队（机构据作者公开信息推断）
代码/项目页：未公开

MoCaP：看一遍路人的日常视频，机器人就会去开柜门了

论文链接：https://arxiv.org/abs/2610.20998

NYU（Sherry Yang 组）| Yiyang Cai, Tatsuya Kamijo, Ninghao Lu, Zijin Hu, Sherry Yang

一句话：从被动人类视频里提取"空间记忆"和"人是怎么靠近物体的"，变成移动操控的导航先验与可行位姿先验。

摘要翻译：

日常活动的被动人类视频让机器人得以接触海量人类经验，无需为每个任务专门录演示。但要用起来，得先从未结构化的视频里恢复知识，并适配到不同的身体上。

MoCaP（Mobile Code-as-Policies）是一个 agentic 框架：从被动人类视频中提取空间记忆，以及人如何为交互做准备的线索，用它们指导导航和"可操控构型"的搜索。在人类经验与当前观测的共同引导下，MoCaP 用闭环 code-as-policy 协调规划与工具使用原语，在机器人自身的几何与运动学约束下求解运动。

结果/亮点：

指标

结果

真机移动操控（2 个任务）

80% / 80%（已有方法无法完成）

目标导航成功率

70% →100%

不利起始位姿下找到可达基座位姿

0% →100%

️研发团队：NYU（Sherry Yang 组，机构据作者公开信息推断）
代码/项目页：https://mocap-7.github.io/MoCAP-page/

TDV：一次人类演示，物体轨迹做中间表示

论文链接：https://arxiv.org/abs/2610.21792

清华大学深圳国际研究生院（Houde Liu 组）| Guoping Pan, Xinmiao Yu, Yi Cheng, Houde Liu 等

一句话：不做像素对齐、不做动作标注，只从人类视频里抽出"物体的 6D 轨迹"，这个中间表示天然跨本体、跨视觉域。

摘要翻译：

模仿学习让机器人能借助人类演示完成复杂任务，但多数方法需要额外遥操作系统、采集成本高。人类视频天然蕴含操控行为知识，却受困于视觉域差异和动作标签缺失。

TDV 提出一个基于轨迹的框架：用即插即用的 6D 位姿估计，从人类视频中提取任务相关物体的轨迹，从而屏蔽无关背景与视角变化。轨迹作为一种与模态无关的中间表示，天然独立于视觉域和本体差异，因而可以高效生成数据。

结果/亮点：

指标

结果

RLBench 7 个任务

接近100%成功率

真机

支持一次性人类演示的跨本体泛化操控

️研发团队：清华大学深圳国际研究生院（Houde Liu 组，机构据作者公开信息推断）
代码/项目页：未公开

板块三小结

这四篇有一个惊人一致的技术直觉：不要直接迁移"动作"，要迁移一个与本体解耦的中间量。谁把中间表示选对了，谁就能把跨具身成本砍一半。EgoJEPA 的 47.2% 成本下降，本质上就是"少标定几次"换来的。

️ 板块四：从"能演示"到"敢部署" —— 安全、异常预警与评测诚实 CarryOn：给冻结的 VLA 套一层"双回路马甲"，违规率 52.6% → 6.1%

论文链接：https://arxiv.org/abs/2610.21453

香港中文大学（Jiaya Jia / Bei Yu 组）| Zixuan Wang, Pengguang Chen, Shu Liu, Bei Yu, Jiaya Jia 等

一句话：通用 VLA 缺的不是能力，是个性化和可靠执行——一个规划回路管偏好，一个执行回路做安全盾与失败恢复。

摘要翻译：

通用 VLA 已经实现了多样的开放世界操控，但真实世界的机器人辅助还需要两个它目前不具备的能力。其一，执行"给我做个三明治"这类指令，需要把子任务分解锚定在持久的用户偏好上，而不是给出一个通用解；其二，可靠部署需要可解释的安全保证——主动预防危险，并在偶发的物理失败后优雅恢复。

CarryOn 是一个为冻结的 VLA 策略设计的双回路马甲：

规划回路：维护持久的用户级与场景级上下文，持续与新观测对齐并通过交互修订，实现跨对话、跨场景的个性化任务选择；

执行回路：主动监督策略 rollout，把动作从被预测为危险的接触中"屏蔽"出去。执行失败时，系统调用可复用的基于控制的恢复技能，并通过反思早期失败来改进这些技能。

结果/亮点：

指标

结果

已做安全微调的 VLA 违规率

52.6% → 6.1%

复用精炼技能后的恢复成功率

13% → 80%

个性化

跨用户、跨场景派发偏好一致的子任务

️研发团队：香港中文大学（Jiaya Jia、Bei Yu 组，机构据作者公开信息推断）
代码/项目页：arXiv 页面 Comments 标注 Project page，具体地址未展开

MAIA：在异常发生之前 28 步就预告，任务成功率白捡 9 个点

论文链接：https://arxiv.org/abs/2610.21686

Yi Qiao, Maolin Zheng, Haoran Sun, Lujia Dong, Wenzhao Lian（机构未标注）

一句话：训练一个"视觉-动作-力"世界模型去预测动作的实际物理后果，异常还没看得见就已经预警了。

摘要翻译：

可靠的富接触操控需要在执行偏差还来得及纠正时就把它们检测出来。但绝大多数监测方法是反应式的——异常只有在变得可见之后才被识别。提前预判很难：视觉观测只能部分揭示物理交互，而规划动作描述的是意图中的运动，不是它的实际物理后果。

MAIA 是一个多模态的异常预判框架：它的 vision-action-force 世界模型学习标称交互动力学，预测规划动作的视觉响应与力响应；一个轻量异常头则预测即将发生的交互异常。为了系统评测，作者还发布了CRIA——一个真实世界多模态数据集，含 2,852 条轨迹、18 个富接触操控任务，带帧级的异常起始与演化标注。

结果/亮点：

指标

已见任务

新任务

bACC

中位提前预警步数

28.0 步

25.1 步

端到端任务成功率（异常感知动作选择）

52.6% →61.5%（无需重训操控策略）

️研发团队：机构未在 arXiv 页面标注（Yi Qiao、Wenzhao Lian 等）
代码/项目页：数据集 CRIA 随论文发布，代码未公开

Comfortably Stuck：Bench2Drive 的"舒适性"指标，其实在奖励"停车不动"

论文链接：https://arxiv.org/abs/2610.21741

慕尼黑工业大学（Ulf Schlichtmann 组）| Thomas Schwarzfischer, Pierpaolo Mori, Daniel Mueller-Gritschneder 等

一句话：一个被广泛使用的闭环自动驾驶 benchmark，其舒适性指标与"车辆静止时长"的相关系数是0.97——也就是说，开得越怂，分数越高。

摘要翻译：

闭环评估被普遍认为比开环更能如实反映端到端（E2E）驾驶模型，而基于 CARLA 的 Bench2Drive 已成为该领域的主导 benchmark。本文指出：它的评估协议本身就包含会扭曲模型得分的陷阱。

Bench2Drive 的舒适性指标改编自 nuPlan，存在若干实现错误，且其分段方案奖励静止不动——它测量的主要是一辆车停了多久，与静止时长的相关系数在八个模型上达到r = 0.97。作者提出一个修正的、基于距离的指标，把相关性压到r = 0.06。在新指标下，原指标所报告的"驾驶得分-舒适性"强权衡，一旦把模型放在相同行驶速度下比较就检测不到了——这说明舒适性是在与"开多快"权衡，而不是与"开多好"权衡。

作者还揭示了两处导航信号供给上的陷阱：默认控制器会用朝向路径目标点的角度替换模型自己的转向输出；评估时供给的目标点可能与模型训练时看到的相差甚远。两者在 UniAD 和 VAD 上的影响差异巨大。

结果/亮点：

指标

结果

原舒适性 vs 静止时长

r = 0.97

修正后指标

r = 0.06

交付物

修正代码将开源，可直接从日志轨迹重算，无需重跑闭环仿真

️研发团队：慕尼黑工业大学（TUM，Ulf Schlichtmann 组，机构据作者公开信息推断）
代码/项目页：承诺开源修正代码

BubbleCBF：用 SDF 造一堆"安全气泡"，二阶系统也能保证可行

论文链接：https://arxiv.org/abs/2610.20895

UC San Diego（Nikolay Atanasov / Jorge Cortes 组）| Mani Amani, Zhirui Dai, Nikolay Atanasov, Jorge Cortes

一句话：位置约束可能要求"减速度不够用"，那就从 SDF 构造无碰撞球体，用气泡的二次几何与重叠关系推出速度相关的安全约束。

摘要翻译：

为二阶动力学系统满足安全约束很难，因为一个位置约束可能要求不可行的减速度。高阶控制障碍函数（CBF）能表达这类系统的安全条件，但可行性取决于系统动力学和可用控制权限。

本文给出一种构造性方法：从符号距离函数（SDF）出发，在位置空间构造无碰撞球（即"气泡"），利用其二次几何与重叠关系构造速度依赖的安全约束；安全集表示为若干交集之并，通过一个二次规划安全滤波器强制执行。在关于动力学、气泡重叠和设计参数的温和假设下，作者证明了该 QP 控制器良定义、对系统状态连续，并使该集合前向不变；还给出了有界输入下的可行性充分条件。

结果/亮点：

指标

结果

理论保证

QP 良定义 + 连续 + 前向不变性

验证平台

差速驱动机器人，未知环境安全自主导航

️研发团队：UC San Diego（Nikolay Atanasov、Jorge Cortes 组）
代码/项目页：https://existentialrobotics.org/bubblecbf/

板块四小结

板块四最有价值的其实不是两篇"加安全层"的工作，而是那篇拆 benchmark 的。当整个社区都在 Bench2Drive 上刷分时，有人发现分数高低主要反映"模型有多敢开"，这不啻于一盆冷水——但它把修正代码直接开源、允许从日志重算，是真正的建设性批评。

板块五：操控的本体功力 —— 灵巧手、接触与非抓取 Evo-DexBench：最强方法只有 38.5%，灵巧操作的"功能迁移"远没解决

论文链接：https://arxiv.org/abs/2610.21180

上海交通大学（Junchi Yan 组）× 上海人工智能实验室（Bo Zhao 组）| Bing Cheng, Fangwei Zhong, Junchi Yan, Bo Zhao 等

一句话：现有 benchmark 给的目标演示太多，你分不清模型是"学会了"还是"背下来了"——Core-Gen 原则把这两件事彻底分开。

摘要翻译：

通用灵巧操控要求策略能把相关任务的知识迁移到只有少量目标演示的新任务上。现有 benchmark 往往提供过多目标演示，且源任务与目标任务的差异不受控，因此无法区分知识迁移与任务记忆。

本文的核心是Core-Gen 原则：Core 任务是共享同一功能交互模式的相关任务，提供源知识；Gen 任务是同一功能族内的新目标，只有少量演示。这个设定才真正检验策略能否复用"功能交互知识"。

Evo-DexBench 同时控制源任务相关性与目标任务暴露量，包含6 个功能族、30 个任务，配 VR 遥操作管线；数据集覆盖每任务 3 个日常场景，共1,248 条多模态演示，由配备 123 个 taxel 的仿真 Shadow Hand 采集。

结果/亮点：

指标

结果

最强方法平均成功率

仅38.5%

Core+Gen 联合训练 vs Core 预训练后微调

+12% / +38%

数据集规模

30 任务 / 1,248 条演示 / 123 taxel 触觉

️研发团队：上海交通大学（Junchi Yan）× 上海人工智能实验室（Bo Zhao）等（机构据作者公开信息推断）
代码/项目页：数据集与 benchmark 已发布

Uni-PNP：抓取与非抓取用一个策略学，未见物体 57.91%

论文链接：https://arxiv.org/abs/2610.21735

北京大学（He Wang 组）× 上海人工智能实验室（Li Yi 组）| Wenxuan Zhu, Jiayi Chen, Li Yi, He Wang 等

一句话：别再"先推一下、再抓起来"地串原语了——一个策略同时学抓和非抓，涌现出"先推倒再抓"这种没人教的复合行为。

摘要翻译：

物体操控常常需要把非抓取动作与抓取结合起来。但已有方法通常分别开发这两种能力，再通过预设的中间目标把不同原语串起来，限制了接触运动与抓取的协同；这种集成方式还对物体与夹爪几何敏感、依赖特定的环境支撑，难以落地。

Uni-PNP 是一个统一策略，跨多样物体与夹爪联合学习抓取式与非抓取式操控以到达目标位姿。做法是：先用大量"物体-夹爪"仿真交互构建的接触动力学数据集，预训练一个几何编码器来预测接触诱导的物体运动；再用两阶段 RL 课程训练策略——从可抓物体过渡到不可抓物体，鼓励发现非抓取交互并将其与抓取整合。

结果/亮点：

指标

结果

已见物体（数百个）

76.39%（+20.52 pp）

未见物体

57.91%（+17.79 pp）

涌现行为

非抓取/抓取重定位、推倒后再抓、抓着借助桌面重定向

️研发团队：北京大学（He Wang 组）× 上海人工智能实验室（Li Yi 组，机构据作者公开信息推断）
项目页：论文内给出（arXiv 页面未展开具体地址）

CQDC-Warp：接触轨迹生成快 27~50 倍，单卡 2048 世界并行

论文链接：https://arxiv.org/abs/2610.21349

北京大学（He Wang 组）| Yanchen Ding, Jiayi Chen, Wei Zhao, Li Yi, He Wang 等

一句话：不预设接触模态序列，只告诉优化器"想让机器人碰哪里"，剩下的几何和摩擦由可微仿真自己算——而且全程 GPU 批量跑。

摘要翻译：

高效合成富接触操控轨迹对下游机器人学习至关重要。基于梯度的规划是一条有希望的路，但联合优化运动与接触决策仍然困难；同时许多现有规划器跑在 CPU 上，吞吐受限。

CQDC-Warp 是一个 GPU 加速的可微准动态仿真器，用于批量 MPC。作者用它研究"接触引导的轨迹优化"：规划前只指定期望的机器人-物体接触，通过软代价加以鼓励，而接触几何与摩擦响应完全由仿真动力学决定，不需要预设接触模态调度。

结果/亮点：

指标

结果

Allegro 手内旋转（17 物体，17,408 次试验）

79.8%（CFree 73.7%，IMPACT 65.2%）

轨迹生成时间

分别快27.0×/50.2×

单张 RTX 4090，2048 并行世界

前向 2.06×10⁵ / 反向 2.25×10⁵ world-step/s

覆盖场景

LEAP/Shadow 手、环境接触利用、双臂、全身控制、Sharpa 手真机重放

️研发团队：北京大学（He Wang 组，机构据作者公开信息推断）
代码/项目页：未公开

TGrasp6D：切面包抓刀柄，递刀给人留出刀柄 —— 零样本 94%

论文链接：https://arxiv.org/abs/2610.20901

普渡大学（Aniket Bera 组）× DEVCOM 美国陆军研究实验室 | Manav Kulshrestha, Damon Conover, Aniket Bera 等

一句话：给一个任务名和一张 RGB-D，VLM 先推理出"该抓哪个语义可供性部位"，再做 6DoF 位姿优化避碰。

摘要翻译：

任务导向抓取（TOG）已成为有目的机器人操控的重要技能。拿到"用刀切面包"的任务，机器人应该抓刀柄；而"把刀递给别人"，则最好让刀柄留出以便安全交接。现有 TOG 方法要么局限于 2D 平面抓取，要么受限于与任务无关的抓取生成器，要么依赖有限的、手工标注的任务专用抓取数据集——这类数据集不可能覆盖所有"抓取-任务"组合。

TGrasp6D 是一个基于视觉语言的方法，以零样本方式生成任务导向的 6DoF 抓取：给定任务和一张物体 RGB-D 图，它推理出适合该任务与物体几何的语义可供性，生成一个初始的任务知情先验；该先验再经过 6DoF 位姿优化做避碰精修，同时保持任务一致性。

结果/亮点：

指标

结果

TaskGrasp 数据集成功率

94%（最强 baseline 74%）

真机

Franka Research 3 上零样本泛化到真实物体

️研发团队：普渡大学（Aniket Bera 组）× DEVCOM ARL
代码/项目页：未公开

板块五小结

Evo-DexBench 给了整个板块一个基准温度：**38.5%。在同一周里，Uni-PNP 在未见物体上做到 57.91%、CQDC-Warp 把手内旋转做到 79.8%、TGrasp6D 把任务导向抓取做到 94%——但这些数字都建立在"任务相对受控"的设定上。Evo-DexBench 存在的意义就是提醒我们：一旦要求"用少量演示迁移到同功能族的新任务"，天花板立刻掉到 38.5%**。灵巧操控的真实水位，比很多论文的 headline 数字要低得多。

本周趋势全景 三条趋势**

趋势一：机理可解释性第一次产生了可量化的工程收益。过去两年，VLA 的可解释性工作大多停留在"我们找到了某个方向"。本周的三篇联合论文直接给出了可交付的东西：剪掉 92% 的条件化层、给出表征几何的分类学、把行为归因到 1.4% 的训练 token。这意味着 VLA 的优化正在从"盲搜超参"转向"按图施工"。

趋势二：跨具身迁移的竞争，本质是中间表示的竞争。EgoJEPA 用潜在动作、KODA 用标准轨迹记录、TDV 用物体 6D 轨迹、MoCaP 用空间记忆——四条完全不同的技术路，共享同一个判断：直接迁移人类动作是死路。谁选的中间表示越靠近"任务语义"、越远离"关节角度"，谁的跨本体成本就越低。EgoJEPA 的 743→393 小时是这条判断的第一个硬证据。

趋势三：社区开始审计自己的尺子。Comfortably Stuck 发现 Bench2Drive 的舒适性指标与静止时长 r=0.97，VoI 那篇把表观 AUC 从 0.93 打到 0.62，SIMPLER-IN 直接说"How-level 指令遵循就是没解决"。这三篇都在做同一件事：拒绝让评估指标继续自我欺骗。这通常是一个领域从"讲故事"走向"要交付"的分水岭。

值得关注的团队

团队

本周信号

Stanford × 可解释性社区（Schwager / Fel / Geiger / Lubana / Kowal）

一天内三篇连发，已在 、MolmoAct2、MolmoBot 三个前沿模型上建立方法论，明显是要把 VLA 机理分析做成体系

北京大学 He Wang 组

Uni-PNP + CQDC-Warp 双线：一条走统一策略，一条走可微仿真基础设施，是"算法+引擎"并重的打法

上海系（上交 Junchi Yan / 上海 AI Lab Bo Zhao、Chenjia Bai）

Evo-DexBench + KODA，一手建 benchmark 定标准，一手做人形数据管线，布局完整

北航 Si Liu / Pengwei Wang 组

LTM 已开源，真机计数 11.25%→82.5%，记忆方向值得跟

UCSD Atanasov / Cortes 组

BubbleCBF 延续其 CBF 安全滤波的系统性工作

反向观察

开源率依然难看。本期 21 篇里，明确给出代码/项目页的只有 4 篇（Fast-VLA、LTM、MoCaP、BubbleCBF），大量工作停留在"code will be released upon acceptance"。可解释性那三篇最有影响力的工作全部未开源——这直接限制了社区复现"剪层"这类可落地结论的能力。

机构标注缺失严重。arXiv cs.RO 页面不显示作者单位，本期有多篇论文的机构只能靠作者公开信息推断。这在追团队、追方向时是个实际障碍。

板块二的五篇全部在"省算力"，没有一篇在提升能力上限。这不必然是坏事，但如果下周仍然如此，说明领域在 VLA 基础能力上遇到了阶段性平台期——效率优化的红利吃完后，还是得回到数据与架构本身。

Mbot具身智能实验室

让尖端科技触手可及，人人皆可探索未来

Mbot基础交流群等你加入，下方扫码联系

具身-杰西

Mbot具身-小助手

Mbot-视频号

Mbot-公众号