![]()
“软”的不行,就来“硬”的。
作者丨高景辉
编辑丨董子博
过去两年,具身智能行业在"数据从哪里来"这件事上,最先达成的共识是:用人的数据。
第一人称视频,也就是常说的 EGO 数据,便宜、海量、可以被动获得,人该怎么干活就怎么干活,机器记录下来就行。于是它几乎成了各家机器人基座模型的标配数采方式,"ego 数据有用"早已不需要论证。
但共识只覆盖了一半,另一半的触觉与接触数据,至今仍处于各自摸索的阶段。没有公认的方案,没有统一的格式,甚至没有稳定可采购的供应链。
在这一背景下,今年 IROS 会场出现了一个值得玩味的现象:不止一家公司推出了基于外骨骼手套的数据采集方案。有的先有高自由度灵巧手,再回头补一件配套手套;有的从采集设备切入,反过来推着手的设计走。它们的形态不同,技术取向更是各走各路,但指向的问题是一样的。
于是一个问题浮出水面:为什么要用外骨骼手套采集数据?它凭什么被认为能补上触觉这一层?
带着这个问题,我们和Chestnut Robotics 创始人陶一伟聊了聊。这家公司在 IROS 也带来了自研的外骨骼手套,陶一伟此前先后在 ASML 做高精度装备、在苹果做消费电子,后来负责特斯拉 Optimus 的灵巧手。其对灵巧操作丰富的经验,或许能帮我们更好地理解外骨骼手套这一新的数采范式。
![]()
01
人类数据的两条路,遇到了同一个坎
行业里现在常说的"无本体数据",此前也被叫作“human-centric data”,以人为中心的数据。不管叫什么,核心逻辑都是让采集围绕人来设计,既方便人去采,采的也是人的行为。发展到今天,这条路上已经跑出了两条经过验证的路线。
第一条是EGO数据,也就是第一人称视频。它很符合人的直觉,也符合第一性原理,因为人的双手本就是为复杂的物理世界长出来的,只要录下来,理论上就拿到了一份极高水准的示范。而且它的可扩展性至今无人能敌,因此被大量使用。
但问题在于,靠视觉只能间接和这个世界交互。视频里能提取的是动作的大致轮廓,精确的关节角度和接触信息只能靠推测。而且这种推测有个硬天花板:精度受制于可见性。接触往往发生在手和物体之间,正好被手自己挡住;力更是从头到尾都不在画面里。系鞋带这类任务,毫米级对位、软物体、全程依赖接触反馈,靠视频推得再好也够不着。
一言以蔽之,视频交给模型的,始终是"看得见的手";而这类任务需要的,是"摸得着的手"。
UMI补的正是"摸得着"这一块。操作者只需手里握一只夹爪,靠它去接触物体、完成任务,动作和接触就能被同时记下来。采集效率很高,也第一次把交互真正放进了数据里。
但 UMI 数据和夹爪构型绑得太死,采出来的东西很难迁移到五指灵巧手上。行业对此的判断已经相当一致:夹爪 UMI 的数据不够泛化,不少实验室和数据买家干脆不愿意为此付费。而行业真正缺数据的方向——灵巧操作,恰恰是五指灵巧手的主场。
于是,带触觉的手套又被提了出来。换个角度看,手套本就是"五指版的 UMI":它比夹爪更贴近人手,自由度也高得多,能覆盖的动作空间完全不在一个量级。更何况从人类数据的底层逻辑出发,手套采的数据天然能和 ego 数据配合着用。大量视频打底,再掺进一部分高保真的手套数据,模型的上限会被明显抬高。训练源更多,能兼容的数据类型也更多。
但有意思的地方也在这里。手套的出现比二指 UMI 更早,却迟迟没能成为数采的主流。方向看着没错,为什么这么多年就是没跑起来?
02
“软”的不行,就来“硬”的
此前具身行业里的手套,绝大多数是织物加传感器的组合,整体上来看是"软"的。软带来了贴合和舒适,但也带来了三个从原理上就很难绕过去的问题。
第一,漂移。 织物天生会形变,同一个人今天戴和明天戴,传感器与关节之间的相对位置就可能差出几毫米。这点偏差还会随着穿戴次数不断累积,今天准、明天歪,而且每一次的歪法都不一样。对一套要反复用来训练模型的系统来说,这种不可复现的漂移几乎是致命的。
第二,接触点算不出来。 精细操作里最要紧的信号,是手和物体究竟在哪里接触、以多大的面接上。可接触偏偏发生在会形变的布料和皮肤之间,没有稳定的几何参照。你没法确知是指腹的哪一块咬住了瓶盖的螺纹。这不取决于传感器有多灵敏,在原理上就走不通。
第三,触觉信号质量差。 柔性基底上的触觉传感是公认难题,噪声大、一致性差,信号隔着一层会形变的材料,离模型真正可用还有相当距离。
既然软的不行,那就来硬的。今年 CMU 的一篇工作“ART-Glove”,就开了一个好头。它把手套做硬了:16 个刚性功能面覆盖手指、拇指和手掌,掌内接触的几何第一次被显式地做进了硬件;同时用 22 个解剖学对齐的关节,让这些刚性面跟着人手一起动。
需要注意的是,硬和灵巧并不矛盾。硬的是接触面,软的可以是关节。一旦连接是硬性的、几何是确定的,掌内的接触点就从"测不准的测量问题",变成了"能解算的计算问题";触觉传感器装在刚性表面上,也正好落在它最成熟、最干净的形态里。软的三个难处,就这样被一次性化解。
不过,当下不少外骨骼手套受结构刚度制约,存在触觉位置滑移问题。视觉方案接触信息依靠算法推测,软质手套受硬件原理约束,二者都难以拿到无幻觉的真实3D触觉数据;部分外骨骼方案依然需要靠重定向算法做转换,推导过程容易引入数据失真。
另外,硬也不是没有代价。刚性结构必然约束人手,越复杂的手内操作,其代价就越明显,那要如何取舍呢?陶一伟告诉我们,Chestnut Robotics 的外骨骼手套 Aero UMI 优先保证精度,然后尽可能提升佩戴的舒适度。毕竟 Aero UMI 是专业数采设备,对于模型训练来说精度优先级是最高的。
硬路线还有一道更现实的坎:规模化。 每家公司的灵巧手构型都不一样,每个人的手也都不一样,一件手套不可能同时适配所有的机器手和所有的真人手。接触覆盖、自由度、手型适配、穿戴舒适,这四个目标互相挤压,任何一项的提升都在挤压其余三项。外骨骼手套的竞争,本质上是在这个四向约束里找最优解。
那么,解在哪里?
03
同构:把翻译层整个删掉
Chestnut 给出的解法,关键词是"100% 同构",而且是双向的:外骨骼与人手同构,外骨骼与灵巧手同构。
他们的外骨骼手套和灵巧手,是一起被设计出来的。两者互为镜像,一个关节对着一个关节。再通过标定,把这层对应关系牢牢锁死。这样做的结果是,手套上采到的每一个读数,都能直接落到灵巧手对应的关节上,中间不需要任何一步"重定向"的计算。
这条路线和业内另一种常见做法正好相反。有的公司是先有一款高自由度的灵巧手,再围绕它配一只外骨骼手套,重点放在遥操作上,靠指尖定位,反过来倒推各个关节的角度。Chestnut 是倒过来的:先做同构的外骨骼手套,再根据手套反向设计灵巧手。
顺序一换,解决的问题也变了。因为不做重定向,每个关节都直接读数、直接映射,手套能做到的事,灵巧手就能做到。为了保住这种一致性,手套会绑得贴合一些,哪怕人手本身有细微的晃动,被记录下来之后,灵巧手的晃动方式也是对应的,不会走样。这个"对应"听着朴素,做起来却极难:从二指到五指,设计难度不是乘以五,而更接近乘以五十;在这么高的门槛上,再把整只手做成和人手同构,工程量可想而知。
可如果遇到构型完全不同的灵巧手,这套办法还成立吗?答案被藏在数据的用法里。同构的第一层价值,是让数据先跑起来。当一套采集系统能把人的动作高保真地喂进模型,模型就有机会越练越聪明;等它足够聪明,再迁移到别的形态的手上,难度会低得多。先用同构把数据质量的底子打扎实,泛化是后面顺理成章的事。
比"直接映射"更本质的,是同构还能还原一层"人味"。
人手能做的事,有些是根本说不出来的。开一把拧不开的老锁,人会下意识地上下左右做极小幅度的微调,直到"啪"的那一下找到对的位置;食指不小心受了伤,你照样能用拇指、中指和拇指根部三处夹住瓶盖,把它拧开。这些动作没有公式,讲不出道理,是人在漫长进化里一点点攒下来的手感。如果采集设备和人手不同构,这些下意识的东西极容易在中间那层换算里被磨平、被省略。而一旦手套和人手同构,人怎么自然地干活,数据就怎么被记下来,而且被记录的不只是动作本身,更是人脑想出来的那套解决方案。
也正因如此,不少采购方最看重的,恰恰就是这一点"人味":做出来的东西像不像人一样自然,像不像人一样聪明。顺着这个逻辑往下推,舒适度也就不再只是穿戴体验的问题了。人只有以自然的姿态工作,动作才不会怪;动作不怪,数据才不会变形。舒适度直接决定数据质量,它是一条硬指标,而不是加分项。
这也解释了为什么在优先级上,精度必须排在第一位,舒适性排在第二,成本再往后放。如果一上来就把舒适性放在第一,那大概率会滑回传统软手套的老路,而软手套牺牲的正是精度。
回到最开始那个问题。同构之所以被越来越多人当作最优解,是因为它顺着人类数据的底层逻辑在走:数据来自人,那就让采集尽可能贴着人;而要让贴着人采来的数据能被机器直接使用,最省事的办法,就是让机器的手长得像人的手,让中间那层翻译彻底消失。
用一句话概括就是,这套不做重定向、关节直接映射的设计,可以输出无幻觉的3D触觉数据,规避算法翻译带来的偏差。
04
结语
具身智能正在从"证明某件事能做成",走向"让这件事能被重复无数次"。在演示阶段,一个惊艳的五分钟就够了;可到了规模化采集,真正的分水岭往往是一些很现实的事:手连续运行几小时后会不会烫,传感器用久了会不会漂,换了零件之后表现还能不能一样,同一套系统在第 1000 次和第 1 次是不是同样可靠。
外骨骼手套被重新重视,或许正是因为行业开始认真对待这些现实的问题。视频把机器人的基座模型带到了今天,学术界的挖掘还会继续;但毫米级的接触精度,已经给这条路线划出了边界。
下一阶段真正稀缺的数据,是那些必须通过物理交互才能创造出来的东西——接触、力、滑移、形变,以及一个动作落到世界之后产生的后果。而在这条路上,谁能先把"硬、灵、准、舒适"这几件事平衡好,谁就更可能真正跑通数据这件苦差事。
上车,带你看遍全球 AI 顶会精华
可独家畅览:
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.