新加坡团队发现，机器人操控真正缺的不是更大的模型

2026年初，机器人圈里流传着一个说法：想让AI操控机械臂干活，你要么花大价钱收集海量机器人数据从头训练一个专用模型，要么把大语言模型的智能压缩成一堆看不懂的数字信号。前者烧钱烧时间，后者听起来更离谱，好比让一个精通物理学的教授去拧螺丝，结果教授脑子里那些关于杠杆原理、材料力学的知识全被扔掉了，只留下"往左拧三圈"这种机械指令。

新加坡国立大学Show Lab的研究者们盯着这个矛盾看了很久，然后提出一个听起来简单到有点不可思议的方案：既然VLM（视觉语言模型，能同时理解图片和文字的AI）已经知道什么是杯子、什么是抓握、什么叫"往左移动"，为什么不直接让它用人类能听懂的语言去操控机器人，而不是先把这些语言翻译成一堆矩阵参数？

这篇论文的名字就叫《Show-Harness: Just a VLM Agent Can Play Robots》,标题里那个"Play"用得很妙,既是"操控"也是"玩",暗示着这套系统想做的事情就是让AI像玩游戏一样自然地控制机器人的手臂。

机器人操控卡在哪儿了

先说清楚这个领域到底难在哪。

过去几年主流的解决方案叫VLA模型

VLA：Vision-Language-Action的缩写，字面意思是"视觉-语言-动作"模型，做法是把一个预训练好的视觉语言模型接上一个动作输出层，让它直接学会把摄像头画面和语言指令转换成机械臂关节的具体转动角度或末端位置坐标。

问题出在这个"接上动作输出层"的过程。原本VLM脑子里装着的是关于世界的常识，比如它知道苹果是圆的、易碎的东西要轻拿轻放、抓取细长物体要用捏的姿势而不是整只手掌拍下去。但一旦你逼着它去回归连续的机器人控制信号，这些语义层面的理解就被压缩进了一套针对特定机械臂、特定夹爪的数值映射里。换一个机器人型号，或者换一个任务类型，往往就得重新收集大量真机数据重新训练。

这不是危言耸听。论文里提到的两个代表性VLA基线模型，π0.5和GR00T，在论文的实验里被拿出来做对照组，结果相当扎心。

另一条路子是让VLM待在"上层",只负责说"要做什么",不管"怎么做"。这类系统会让VLM输出一些子目标、关键点坐标或者是可供机器人执行的动作库调用指令，物理执行的部分交给下游一个专门的控制器去处理。这样虽然保住了VLM的语义理解能力,但也带来了新问题:VLM说出一个指令之后,根本看不到这个指令具体是怎么被翻译成物理动作的,一旦执行出了偏差,VLM完全无法介入纠正。这就好比你雇了一个建筑设计师,他只画图纸,不去工地,图纸上一句"这里要留个窗户"具体开多大、开在哪个精确位置全靠工人自己判断,设计师根本不知道现场发生了什么。

Show-Harness团队的核心洞察是:与其在"语义"和"物理"之间二选一,不如设计一个接口,让两边都不用妥协。

语义动作单元:让VLM用它熟悉的语言直接操控物理世界

Show-Harness的核心设计是把机器人的连续控制空间,离散化成一小撮VLM天然能理解的"语义动作单元"。

具体来说,这套动作词汇表里只有寥寥几个符号:MV_FWD（前进一步）、MV_BACK（后退一步）、MV_LEFT/MV_RIGHT（左移/右移）、MV_UP/MV_DOWN（上升/下降）、ROTATE_CW/ROTATE_CCW（顺时针/逆时针旋转）,再加上GRASP（合拢夹爪）、RELEASE（松开夹爪）和DONE（任务完成）。

每次VLM只需要从这十几个选项里挑一个,就像玩一个格子很少的选择题。挑中之后,这个语义决定会被送到一个"embodiment-specific interpreter"

Embodiment-specific interpreter：针对特定机器人本体设计的翻译器,它的工作是把VLM说的"往前走一步"这种模糊指令,精确转换成机械臂6个自由度坐标系里的具体数值变化,比如"末端执行器沿X轴正方向平移2厘米"。

这个翻译器是确定性的,同一个语义单元在同一个机器人上永远对应同一个物理动作,不掺杂任何随机性或学习成分。

这套设计带来了三个直接好处。第一,动作粒度是"增量式"的,每一步只造成一个小幅度、局部的物理变化,这让VLM始终"身处"控制循环里,能通过观察每一步执行后的画面变化来做出下一步修正,而不是一次性输出一个可能整体偏差很大的目标。第二,动作是符号化而非数值化的,具体的物理换算全部下放给翻译器负责,这让面向VLM的那部分接口始终保持紧凑、可解释、且能在不同机器人上复用。第三,动作方向是相对于摄像头视角定义的,这样VLM做空间推理时,可以直接把"我看到目标在画面左边"这种视觉判断映射成"往左移动"这个动作,中间不需要经过复杂的坐标系转换。

这里可以做一个类比。想象你在教一个从没开过车、但精通交通规则和道路判断的老司机开一辆完全陌生的赛车。如果你直接把方向盘转动的角度、油门踏板下压的具体力度这些参数一股脑塞给他,他反而会手足无措,因为这辆车的转向比、刹车灵敏度他压根没概念,强行学这套参数意味着他得先忘掉过去几十年开车积累的直觉判断,把注意力全放在数字上。但如果你告诉他"这辆车有个手柄,推一下就是前进一小段,拉一下是刹车",他立刻就能上手,因为他不需要理解齿轮比,只需要知道每个动作对应的效果,剩下的交给这辆车自己的机械系统去处理。如果不做这层转换会怎样?那就是VLA模型正在发生的事:老司机被迫从零学习一套陌生的数值语言,原本几十年积累的驾驶直觉完全用不上,遇到没见过的车型只能重新学一遍。

架构解剖:一个感知-推理-行动的闭环

围绕这个核心动作接口,Show-Harness搭了一整套"感知-推理-行动"三段式循环架构,每个阶段都可以插拔不同的功能模块。

在感知阶段,系统靠两个插件把原始摄像头画面和机器人内部状态转换成VLM能理解的上下文。一个叫多视角引导,负责告诉VLM该怎么用手上的多个摄像头,比如全局视角提供场景级的空间关系,腕部安装的近距离摄像头则提供精细对齐所需的视觉证据。另一个叫本体感知,把机械臂当前的姿态、抓握状态、离桌面的高度这些内部信号翻译成文字反馈告诉VLM,比如"夹爪距离桌面还有5厘米,建议先下降"。

在推理阶段有更丰富的插件组合。子任务规划让VLM先把一个复杂指令拆解成一串有明确完成标准的子步骤,执行过程中VLM自己判断每个子步骤是否达成,达成了再往下推进。情境化规划则更巧妙一点,面对一些带有分支条件的任务(比如"找到藏在某个杯子底下的方块"),系统不会强迫VLM在一开始就把所有可能性都规划好,而是把不确定的决策推迟到执行过程中,等相关视觉证据出现了再让VLM就地判断该走哪条分支。动作分块允许VLM在目标离得还很远的时候,一次性输出好几个连续动作让系统开环执行,省去频繁调用模型的开销;自适应步长则根据目标是否已经出现在近距离视角里,动态切换用大步幅还是小步幅移动。

在行动阶段,系统还配了动作历史(记住最近几步防止来回震荡)和失败恢复(检测抓空之后自动触发重新抓取)两个机制。

这套模块化设计本身也值得琢磨一下为什么这么搭。你可以把它类比成给一个新手厨师配的智能厨房助手系统。厨师(VLM)知道怎么炒菜的整体流程,但他不知道这个陌生厨房里灶台离手多远、油温计显示的数字代表什么。助手系统负责把"火候差不多了"这种模糊判断翻译成具体的火力档位提示,把"食材还没到锅边"翻译成"再往左移一点",厨师需要做的只是根据这些提示不断微调,而不是事先就把整道菜从头到尾的每一步精确参数都算好。如果没有这套助手系统,厨师要么得靠猜(容易出错),要么每次进新厨房都得先花几天时间摸清楚这个灶台的脾气(等价于每换一个机器人就要重新训练)。

两种模式,一套接口:既能白嫖顶级闭源模型,也能低成本微调小模型

这套接口设计出来最有意思的地方在于,它天然支持两种截然不同的部署方式,而且用的是同一套动作词汇表。

第一种叫零样本模式(ZS)。直接把Gemini-3.1 Pro这类闭源顶级模型接进Show-Harness的框架里,不做任何针对性训练,模型立刻就能操控机械臂完成任务。这意味着未来只要底层模型能力持续进步,机器人操控能力也能跟着水涨船高,不需要每次都重新做机器人数据的适配工作。

第二种叫微调模式(FT)。用几千步真机演示数据,对一个参数量只有20亿的小型开源模型(论文里用的是Qwen3.5-2B)做轻量级微调。这里用的是LoRA

LoRA：Low-Rank Adaptation的缩写,一种参数高效微调技术,不需要更新模型的全部参数,只需要往模型里插入少量低秩矩阵进行训练,大幅降低显存和计算开销。

技术,只更新大约3%的参数,冻结视觉编码器和多模态投影层。论文里提到,整个微调过程在单张H200显卡上不到两小时就能跑完。

这两种模式共享同一套语义动作空间意味着什么?意味着这套接口给出了一条渐进式的升级路径:今天你可以先用闭源大模型验证任务是否可行,等确认思路没问题之后,再花几个GPU小时把能力蒸馏到一个便宜、能本地部署、推理速度快得多的小模型上。论文的图1里就直观展示了这条曲线:从Gemini-3.1 Pro这类需要8到20秒才能推理一步的闭源模型,到经过微调后能跑到26赫兹、33赫兹推理速度的小模型,横跨了整整两个数量级的效率差异,但都挂在同一套Show-Harness接口下面。

真机实验:十个任务、两种机械臂、三重泛化考验

光有架构设计不够,这篇论文花了大量篇幅在真实机械臂上验证效果,而且刻意设计了非常严苛的对照实验。

硬件方面用了两套完全不同的机器人平台。一套是7自由度的Franka Research 3单臂,配一个俯视全局摄像头和一个腕部近距离摄像头。另一套是双臂的AgileX机器人,每只手臂6自由度,配三个摄像头。

任务方面,团队构造了十个"物体-容器"组合任务,涵盖刚性方块、不规则形状的香蕉、会滚动的网球、柔软的泰迪熊玩偶、以及需要精细操作的国际象棋棋子,分别要放进盘子或碗里。对于要微调的开源模型,团队故意只用方块、香蕉、网球做训练数据,把泰迪熊和棋子留作"没见过的分布外测试对象"。

对照组选得也很有代表性,一共三大类:纯VLA基线(π0.5和GR00T,直接把观测和指令映射成低层动作),VLA为核心的智能体(Harness VLA和Goal-VLA,外面套一层规划监控层但核心执行还是VLA),以及代码即策略智能体(CaP-X和RATS,靠生成程序调用API来执行)。

表2的核心结果非常直白。

十个跨任务测试里,零样本模式平均成功率达到89.0%,微调模式达到86.0%,而表现最好的对照组RATS只有57.0%,VLA基线π0.5和GR00T分别只有39.0%和35.0%。

在跨环境测试里(换背景、换光照、换视角、加干扰物、以及最关键的仿真到真机迁移),零样本模式做到了满分100.0%,微调模式88.0%,而两个VLA基线在这项测试里的平均分只有40.0%和34.0%,尤其是仿真到真机这一项,π0.5和GR00T直接是0/20,一次都没成功,而Show-Harness的微调模式靠着完全在仿真里收集的演示数据,在真实Franka机械臂上做到了13/20。

跨机械臂测试(在Franka和AgileX之间切换)里,零样本模式93.0%,微调模式87.0%,而VLA基线只有41.0%和36.0%。

这组数据背后其实藏着一个更深的逻辑。VLA模型之所以在仿真到真机这项测试里全军覆没,本质上是因为它学到的是像素到动作的直接映射,仿真画面和真实画面之间哪怕只是光照、材质纹理上的细微差异,都会让这套映射彻底失灵。而Show-Harness走的是语义路线,VLM判断"目标在画面左侧,该往左移动"这件事本身对视觉细节的依赖没那么苛刻,即便仿真和现实的渲染风格有差距,这个相对空间关系的判断依然成立。这就好比你让一个人根据地标建筑判断方向,哪怕这栋楼的外墙颜色变了、周围多了几棵树,只要建筑的大致轮廓和相对位置没变,他照样能认出方向;但如果你让他死记一套"从这个像素点走到那个像素点"的路径,环境稍微一变,这套记忆立刻失效。

物理适应性和语义适应性:更硬核的能力拷问

如果只做上面那些泛化测试,可能还不够说服人。论文接下来设计了一系列更刁钻的场景,专门去戳这套接口到底能不能应对"没被明确训练过的新需求"。

先看物理适应性方面的几个实验。

精细控制测试里,研究者做了一个近乎"作弊"的操作:面对需要更精细动作的积木堆叠和插销插入任务,他们没有改动VLM和动作接口的任何东西,只是简单地把翻译器里的步长参数从2厘米调小到1厘米。结果零样本模式的成功率从60%直接跳到82%,微调模式从40%涨到65%。作为对比,π0.5用同样的演示数据只能做到18%的成功率,得额外收集精细动作的专门训练数据才能爬到62%。这个对比很能说明问题:因为Show-Harness把"决定往哪个方向走"和"这一步具体走多远"两件事彻底分开了,调整步长这种纯物理层面的参数只需要改翻译器,根本不需要碰VLM本身。这就像你有一台自行车,原本每蹬一圈能骑5米,现在想让它变成每蹬一圈只骑2米以便在狭窄小巷里操控,你只需要换个齿轮比,完全不需要重新教骑车人怎么骑车。而VLA模型的处境更像是,骑车人学的是"蹬一圈手脚该做出什么具体动作",一旦齿轮比变了,这套动作记忆整个作废,得重新练。

旋转外推测试更有意思。团队让机械臂抓取一根摆放角度分别是0度、45度、以及训练时完全没见过的90度的胡萝卜,每个旋转动作单元对应15度的角度变化。零样本模式在所有角度下都稳定发挥,微调模式即便只在0度和45度上训练过,面对没见过的90度依然做到了70%的成功率,而π0.5只有20%。这说明增量式的旋转单元允许模型通过反复叠加"小步旋转"这个动作,去应对训练时从未出现过的大幅度姿态变化,而连续动作回归模型更容易被死死锁在训练时见过的角度范围内。

工作空间偏移测试同样戳中了VLA模型的痛点。当测试位置从核心区域扩展到边界区域时,Show-Harness只出现轻微性能下降,而π0.5的成功率断崖式下跌。这背后的原因和刚才的仿真迁移问题类似,视觉上判断相对空间关系比死记绝对坐标要鲁棒得多。

多臂协同测试里,团队对比了两个各自独立运作的单臂智能体和一个能同时预测双臂动作的联合策略,在"整理桌面"和"传递香蕉"(需要双臂交接)两个任务上,联合决策不仅大幅提升了成功率,还完全消除了两臂之间的碰撞,这说明Show-Harness的接口设计天然支持多臂之间的显式协调。

再看语义适应性方面。

推理密集型任务测试选了两个特别烧脑的场景:从三个倒扣的杯子里找出藏着方块的那一个,以及把散落的字母积木拼成"SHOW"这个单词。零样本模式配合情境化规划插件达到85%成功率,而单独的微调模式和π0.5分别只有10%和0%。有意思的是,当研究者把Gemini生成的子任务指令直接喂给微调模式后,它的成功率跳到了70%,π0.5依然只有5%。这暗示了一件事:Show-Harness的接口设计让VLM原本就有的指令理解和灵活推理能力,在遇到全新任务描述时不会因为语义被压缩进动作空间而丢失。

视频上下文学习测试更是把这套系统的能力边界又往外推了一步。团队让策略模型按照一段人类或机器人示范视频里展示的顺序,把三件物品分别归位。没有示范视频时,零样本模式只能得到20%的成功率,因为指令里根本没说清楚该按什么顺序摆。给了示范视频之后,不管示范来自人类还是机器人,零样本模式都做到了20/20全对,微调模式在配合同一套规划器提取的任务大纲后也达到了95%。

这一连串实验拼起来看,其实回答了一个更根本的问题:一套好的接口设计,到底应该在多大程度上"预留空间"给底层模型自己发挥。Show-Harness没有把每一种可能的任务变体都预先写死进系统里,而是designed了一套足够抽象、足够可组合的基本动作单元,让VLM能够像搭积木一样,用这些基本单元去拼出各种从未被明确设计过的复杂行为。

拆解每一块拼图:消融实验告诉你什么最重要

论文接下来对所有的设计选择逐一做了消融实验,这部分内容读起来像是在拆一台精密仪器,看看拆掉每一个零件后整台机器会发生什么变化。

先看前沿模型选择和思考力度的影响。团队测试了Gemini、GPT、Claude三个模型家族的多款产品,发现零样本表现总体上跟着模型底层能力走,而增加推理时的思考预算主要是减少了执行过程中的冗余步骤,对最终成功率提升有限,却会带来明显更高的时间成本,比如某款GPT模型在高思考力度下要多花3.4倍的时间。更进一步的能力拆解实验发现,规划环节其实不是瓶颈,真正容易出错的地方集中在精细抓取和精确放置这两个环节,而给VLM提供目标物体的边界框标注能进一步提升表现,说明显式的视觉定位提示很有价值。

再看微调骨干模型的规模效应。实验结果显示,2B规模的模型已经能取得相当不错的表现,更大的骨干模型主要在积木堆叠、插销插入这类需要精细动作的任务上有优势;而更小的1B级别模型反而会因为在目标附近做太多琐碎的局部调整而拖长执行时间。有意思的是,在网球这种需要及时纠正滚动物体位置的任务上,小模型反而比大模型表现更好,因为响应速度比动作精度更重要。综合来看,2B这个规模在精度和响应速度之间达到了不错的平衡点。

最后是逐个插件的开关测试,数据非常直观。去掉多视角引导让成功率从96%跌到58%,去掉本体感知从96%跌到68%,去掉子任务规划从96%跌到60%。动作分块如果完全禁用反而能保住96%的成功率但会增加模型调用次数,如果强制全程启用则会把成功率拖到74%,说明选择性分块才是正解:该压缩的时候压缩,该保留细粒度反馈的时候绝不偷懒。自适应步长则显示,纯精细步长虽然精准但容易超时,纯粗糙步长虽然快但容易矫枉过正,只有动态切换才能同时兼顾96%的成功率和平均30步的执行效率。视觉提示插件对常规任务几乎没有影响,但在需要抓取把手这类特定部位的任务上,能把成功率从40%拉到85%。情境化规划插件同样对常规任务无感,但在隐藏物体搜索任务上把成功率从35%提升到85%。动作历史的移除会导致成功率下降并增加超时,原因是缺少历史记录后模型容易在相反方向之间来回震荡。失败恢复机制的移除让成功率跌到72%,主要失败模式是"抓空却没意识到",这在难以抓取的物体上表现得尤其明显。

这些消融实验拼在一起讲的是同一件事:这套系统里没有哪个模块是可有可无的装饰,每一个插件都是为了解决某个具体的、真实存在的失败模式而设计出来的。

动作空间该怎么命名:一个意外有趣的发现

论文里还藏着一个特别值得单独拎出来说的小实验,关于动作单元到底该用什么样的符号来表示。

团队做了一个2乘2的对照设计:一组用带书面说明的语义动作名称(比如MV_LEFT并附上"这个动作会让末端执行器向左平移"的文字说明,也就是论文默认的设置),一组只用语义名称但不附加任何说明,一组用完全任意的符号(比如字母A到F)但附上书面说明,最后一组用任意符号且不给任何说明。

对于最后这种最极端的设置,VLM需要自己去试探这些陌生符号,通过观察执行前后画面的变化来反推每个符号对应的物理效果,并把这套映射记下来供后续使用。

结果显示,任意符号加上明确说明这一组的表现几乎追平了默认设置,而语义名称但不给说明这一组虽然能用但效率打了折扣。这说明真正起决定性作用的其实是那份书面的操作规范,语义化的命名更多是锦上添花的先验提示。而最极端的那一组,在20次试验里只成功了1次,而且模型自己推断出的动作映射表里只有23.3%是正确的,仅仅略高于随机猜测的16.7%。

这个发现挺有意思的,它提醒我们一件容易被忽视的事:让AI通过观察前后画面变化去反推一个抽象符号代表什么物理动作,这件事本身没有听起来那么容易。就像你把一个从没见过键盘的人扔到电脑前,告诉他"按下这几个键会发生一些事,自己试着摸索规律",他大概率会在很长时间里都摸不清楚哪个键对应哪个功能,因为屏幕上发生的变化太多太复杂,很难精确对应到某一次具体的按键动作上。这也是为什么Show-Harness选择用明确的文字规范去锚定每个符号的物理含义,而不是指望VLM靠观察自己悟出来。

GUMI:让人和AI用同一套语言"玩"机器人

论文里还介绍了一个配套工具,叫GUMI

GUMI：GUI Manipulation Interface的缩写,一个基于图形界面的机器人操控与数据采集工具,核心特点是让人类和AI智能体可以用完全相同的一套语义动作单元去操控机器人,不需要专门的遥操作硬件设备。

之所以能做出这样一套工具,本质上是因为这套语义动作空间本身足够离散、足够简单,可以自然地映射成键盘按键或者鼠标点击。人类操作员可以直接用键盘"玩"机械臂,计算机使用智能体可以操作同一套图形界面,通用VLM智能体则直接预测这些动作单元。每一步执行前的观测画面和选中的动作都会被记录下来,形成可以直接用于训练策略模型的数据对。

由于每个语义单元都是被翻译器确定性地转换成物理动作的,采集到的演示数据还可以同时保留对应的底层控制指令和运动轨迹,这意味着一份演示数据既能用来训练语义动作层面的策略,也能用来训练连续控制层面的策略。

这套工具还支持逐步控制、排队式的动作批次执行、单臂和双臂操作、以及人类和智能体混合采集(人类可以在AI执行过程中随时介入纠正)。和依赖专门硬件或者仿真专用控制方式的传统遥操作方案相比,GUMI直接在共享的语义动作空间里记录演示,这意味着同一份演示数据能在不同机器人本体之间复用,只要这些机器人各自的翻译器实现了相同的动作单元集合。而且因为整个操作界面是轻量级的、可以远程访问的图形界面,数据采集甚至不需要操作员和机器人待在同一个物理空间里。

这一点如果放在更大的语境下看,其实挺有想象空间的:传统的机器人数据采集,要么需要昂贵的力反馈手柄,要么需要专门训练的遥操作技师,门槛很高。而GUMI这种设计相当于把机器人操控这件事,从需要专业设备和专业技能的"手艺活",变成了任何懂得基本键盘操作的人都能上手参与的众包式协作。

Q&A

Q1：Show-Harness是什么？

A：Show-Harness是新加坡国立大学Show Lab提出的一套具身智能框架,核心是设计了一套紧凑的语义动作接口,让视觉语言模型可以直接用MV_FWD、GRASP这类离散指令操控机械臂,同时支持闭源大模型零样本部署和小模型轻量微调两种模式。

Q2：Show-Harness和传统VLA模型相比优势在哪？

A：论文实验显示,Show-Harness在跨任务、跨环境、跨机械臂三类泛化测试中平均成功率达到86%到93%,而π0.5、GR00T等VLA基线只有35%到41%,尤其在仿真到真机迁移测试中VLA基线直接0分,Show-Harness做到了13/20。

Q3：GUMI是做什么用的？

A：GUMI是一个基于图形界面的机器人操控与数据采集工具,让人类和AI智能体用同一套语义动作单元操控机器人并采集训练数据,不需要专门的遥操作硬件,支持跨机器人本体复用和人机协同采集。