上海
为什么机器人能认出你手里的杯子，却拿不稳一个鸡蛋？
这看似是"灵巧度"的问题，但刚刚发表的一篇论文指出，根源可能出在更深的地方——触觉和视觉在用同一个"大脑"处理信息。
李飞飞、Jim Fan、徐丹飞领衔的团队在一项消融实验中发现一个反直觉的现象：给机器人模型 π0.5 加入触觉信号后，任务成功率从 17% 骤降到 6%。加了感知反而更差，这不对劲。
触觉是高频信号，变动脉冲以毫秒计，需要 20Hz 以上的采样率才能发挥作用。而视觉大约 5fps，提供的是一帧一帧的静态语义。把两种时间尺度完全不同的信号强行塞进同一个低频 Transformer，结果不是 1+1=2，而是高频信号打乱了视觉已学会的表征——触觉成了猪队友。
这不是触觉没用，是用错了地方。
三条独立赛道
T-Rex 这个方案的命名挺有意思——既是 Tactile-Reactive Dexterous Manipulation 的缩写，也取"霸王龙"之意。它要解决的问题，正是一双灵巧手如何真正感知世界。
核心思路很简洁：给触觉开一条独立的高速公路。
具体落地是一套混合 Transformer 专家架构（MoT），三个专家各跑各的时钟。潜在专家负责"看路"，处理视觉和语言信息，预测场景变化趋势。动作专家负责"画草图"，以 5Hz 的节奏生成粗略的动作走向。触觉专家在接触发生的瞬间启动，以 20Hz+ 的高频实时读取力与形变信号，在动作草图上做毫秒级修正——力道轻一点、往左偏一毫米。
为了让触觉专家真正读懂信号，团队还设计了一套时空触觉编码器。核心是 VQ-VAE，把过去十几帧的时序力数据压缩成离散的触觉词汇，既能捕捉趋势又能抗传感器漂移。
十二项任务，三成跨越
数据层面也下了功夫。团队构建了 100 小时的触觉同步数据集，涵盖 200 多种日常物品、22 种动作基元、7700 多条运动轨迹。训练策略分三层：先用两万多小时的人类第一视角视频预训练让模型理解手部交互模式，再用 100 小时触觉数据做跨模态对齐，最后仅需少量特定任务示范即可激活专项能力。
效果如何？论文在 12 项精细操作任务上做了严苛测试——翻书页、转移生鸡蛋、擦盘子、挤牙膏、分纸杯、分拣麻将、开锁、填药盒、模拟化学滴定、抽卡片、发扑克牌、拧灯泡。每一项都要求机器人对接触力做动态即时调节。
结果：相较此前最强基线模型，平均成功率提升超过 30%。翻书页、分纸杯等对力度极度敏感的任务，从几乎不可用跃升到初步具备实用价值。消融实验进一步印证了设计方向：切除触觉通道后性能断崖下跌，取消异步机制让触觉与视觉同步同样会劣化。
触觉不是视觉的附庸
这篇文章的意义不止于此。它用一个极具说服力的反例，向整个具身智能行业发出明确信号——万物皆 token、一切进大模型的通用范式，并不天然适用于所有感知模态。视觉和语言是慢变量，适合在同一个 Transformer 里做全局推理；触觉是快变量，关乎物理接触和即时反馈，需要独立的高频闭环控制回路。
这让人联想到神经科学中的双流假说：视觉腹侧通路负责"识别是什么"，背侧通路负责"指导怎么做"。T-Rex 的混合专家架构，某种程度上是在机器人身上复刻了生物演化的高级智慧。
论文也坦言了当前的局限——行为克隆仍受限于示范数据覆盖度，触觉感知限于指尖而非全手掌，传感器标定与漂移仍是工程痛点。但这些属于成长中的烦恼，不妨碍 T-Rex 所确立的范式价值。
别再让机器人光靠"瞪大眼睛看"来干活了。触觉不是视觉的附庸，而是一条独立的、与视觉平起平坐的物理感知通道。
那个 17% 跌到 6% 的反常实验，或许正是机器从"看见世界"走向"感知世界"的关键转折点。
如果这篇文章让你对具身智能的技术路线有了新的认识，顺手点个赞支持一下；同时如果对这类话题感兴趣，不妨点个关注，后续还会继续拆解前沿论文。
-Rex
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
