网易首页 > 网易号 > 正文 申请入驻

让AI「摸懂」物理世界,首个触觉推理模型Touch-R1,入选NeurIPS 2026

0
分享至



看起来像硬质塑料,按下去却十分柔软 —— 当视觉与触觉发生冲突,人类往往会依赖触感修正视觉误区;但现有的多模态模型却常常更相信视觉,从而误判物体的真实物理属性。



图 1 研究概览:Touch-R1 在触觉推理评测基准 TouchReason-Bench 上的表现优于其他代表性多模态大语言模型(左);Touch-R1 依据触觉证据,推翻视觉误判,将材料判断为橡胶(右)

戴盟机器人团队联合厦门大学、南京大学、大湾区大学、复旦大学提出 Touch-R1,将强化学习用于跨传感器触觉推理。论文已被 NeurIPS 2026 接收。团队同时构建 TouchReason-1M 数据集与 TouchReason-Bench 基准,支持训练及评测。



  • 论文标题:Touch-R1: Reinforcing Touch Reasoning in MLLMs
  • 论文地址:https://arxiv.org/abs/2605.27154
  • 项目主页:https://laiyingxin2.github.io/Touch-R1/
  • 代码:https://github.com/laiyingxin2/Touch-R1
  • 模型:https://huggingface.co/laiyingxin/Touch-R1
  • 数据集:https://huggingface.co/datasets/laiyingxin/TouchReason

作为首个触觉锚定物理 R1 模型,该研究首次将强化学习系统性地引入触觉推理模型,让模型学会依据触觉本质,实现可跨传感器的物理推理,将触觉物理认知能力从 “看起来是什么” 转变为 “实际是什么”,为建立更可靠的触觉推理提供新路径。

01|首个触觉锚定物理推理模型,为具身智能建立物理常识

人类判断物体的物理属性,通常先看,再通过触摸确认或修正判断。这种 “感知 — 验证 — 修正” 的循环,是我们与物理世界交互的重要方式。

但当前大模型仍偏重视觉。视觉能识别物体,却难以感知硬度、粗糙度、摩擦、形变和受力,面对透明、反光、被遮挡物体时更加容易失效。测试表明,当视觉与触觉信息冲突时,GPT-4o、Gemini-2.5-Pro 等模型往往更相信 “看起来怎样”,而非 “摸起来怎样”。这样的误判可能导致机器人抓取失败、损伤物品,甚至引发安全风险。

让模型读懂触觉,有三大难点:一是触觉数据稀缺,触觉物理推理数据更少;二是软硬、粗糙等物理属性往往是序数型而非类别型;三是理解不同传感器的信号,使判断保持一致。Touch-R1 针对这三大难点,让模型学会依据触觉证据推理,修正视觉误判。触觉由此不再只是辅助信息,而成为能够改变判断的物理依据。

02|为具身模型首创触觉数据体系,建立触觉推理的完整基础设施

研究团队首先构建了大规模、跨材料、跨传感器的触觉推理数据集 TouchReason-1M,这是为具身模型首创的触觉数据体系,同时融合多传感器视触觉数据、序数属性标签与可验证推理问答。数据集覆盖 1,000 余个日常物体和 9 大类材料,汇集 DM-Tac X、GelSight Mini、Xense 和 Tac3D 四种视触觉传感器。与之前的触觉数据集不同的是,所有物体的数据都在严格控制的标准动作和标准力下进行采集,从而可以进行不同物体的横向对比。



TouchReason-1M 聚焦于视触觉感知,该技术可为大模型触觉推理提供足够高分辨率触觉数据。然而,不同传感器的弹性体、标记点、光路与结构不同,对于同一物体的接触会有天然各异的图像表现。TouchReason-1M 没有简单拼接既有数据,而是统一接触方式:从初始接触按压至 20N,再以标准力完成六种探索动作,并同步记录原始触觉图像、形变、切向变化、深度变化及物体接触视觉图像等数据。TouchReason-1M 总共包含 14,700 条有效触觉序列和 132.3 万个同步数据对,为模型的跨传感器一致性学习建立共同物理参照。



图 3 触觉推理数据集 TouchReason-1M

在模型层,Touch-R1 采用三阶段训练:首先通过预测未来触觉帧,学习接触的动态规律;随后通过结构化问答进行监督微调,形成 “感知 - 比较 - 结论” 的推理链;最后使用面向触觉设计的 GRPO 强化学习。

Touch-R1 进一步把跨传感器触觉感知从 “物理表征对齐” 推进到 “物理属性推理一致”:模型从不同传感器的触觉图像中解析物理属性并进行判断比较,并通过跨传感器一致性奖励对判断结果进行约束,从而消解异构传感器差异,获取真实稳定的物理属性本质。同时,模型还引入序数奖励,帮助模型理解硬度、粗糙度等物理属性的程度关系;结构化格式奖励与触觉触觉输入扰动则确保模型依据触觉证据进行推理,减少仅凭视觉猜答案、“答对但没摸懂” 的捷径。



图 4 Touch-R1 三阶段训练过程

03|将触觉作为推理证据,Touch-R1 九项性能大幅领先

为了验证模型能力,团队同步构建了触觉推理评测基准 TouchReason-Bench,通过 4,800 组问答考察模型的物理属性识别、序数推理、比较推理、跨传感器一致性及视觉 - 触觉冲突处理,并以 200 个训练阶段未见物体考察模型的泛化表现。



图5-TouchReason 问答对的构建流程概览

在该基准上,Touch-R1-7B 在物理属性识别、序数推理、跨传感器一致性等 9 项核心指标上均取得最优成绩,综合分数达 60.1,比触觉专用模型 Octopi-13B 高 18.4 分,比 GPT-4o 高约 24.7 分,比此前最强触觉模型 SToLa 高 12.6 分。



图 6-Touch-R1-7B 在多项核心指标上全面领先

Touch-R1 还展示了如何以触觉修正视觉误判:对于外观看似塑料的物体,模型能够结合触觉形变与力 - 深度曲线,识别物体的柔顺性,据此推翻视觉先验,将材料判断修正为橡胶。这体现了 Touch-R1 最重要的能力 ——模型不只是同时接收视觉和触觉,而是在证据冲突时,判断哪一种信息更值得信任。



图 7-Touch-R1-7B 问答例子

消融实验则进一步确定了 Touch-R1 架构各部分的贡献。冷启动监督微调、标准 GRPO、序数感知奖励、跨传感器物理一致性约束、结构化格式控制等,都为模型性能带来了不同程度的提升。同时,随着模型规模增大,多项指标均得到稳定提升,显示出 Touch-R1 的泛化潜能。



Touch-R1 的价值,远不止赋予模型触觉推理能力。通过数据集、模型与评测基准的完整基础设施,Touch-R1 推动触觉从辅助感知转变为具身基础模型的核心模态。同时,Touch-R1 以跨传感器一致的物理认知为基础,为触觉数据与模型能力的跨硬件迁徙奠定基础,并为材料识别、质量检测、精密装配、易碎品抓取和柔性物体操作等真实物理交互场景提供底层能力。

作者介绍

论文作者来自厦门大学、南京大学、大湾区大学、复旦大学和戴盟机器人。第一作者赖映鑫,目前为厦门大学博士生和戴盟机器人实习生;共同第一作者周亚飞,目前为大湾区大学硕士生和戴盟机器人实习生;通讯作者原玮浩,目前为南京大学副教授和戴盟机器人首席 AI 科学家。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
顺丰速运被暂停参加全军采购活动

顺丰速运被暂停参加全军采购活动

观察者网
2026-11-21 11:18:09
欧盟提议再援乌450亿欧元,冯德莱恩扬言:俄赔偿后乌才需偿还

欧盟提议再援乌450亿欧元,冯德莱恩扬言:俄赔偿后乌才需偿还

军机Nova
2026-11-20 11:19:34
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

华尔街见闻官方
2026-11-21 06:34:34
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

云舟史策
2026-11-19 07:16:32
红果短剧要杀进客厅,直刺腾爱优芒的心脏?

红果短剧要杀进客厅,直刺腾爱优芒的心脏?

文娱春秋Plus
2026-11-20 09:41:17
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
张维为:美国越来越多的年轻人接受社会主义

张维为:美国越来越多的年轻人接受社会主义

看看新闻Knews
2026-11-20 21:36:04
白宫记者:APEC欢迎宴会上 特朗普跳起标志性舞蹈

白宫记者:APEC欢迎宴会上 特朗普跳起标志性舞蹈

看看新闻Knews
2026-11-21 13:01:19
习酒前董事长钟方达被双开,此前被传已去世

习酒前董事长钟方达被双开,此前被传已去世

21世纪经济报道
2026-11-20 21:36:51
浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

醉卧浮生
2026-11-21 11:33:10
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

黎曼猜想真被Claude证明了?陶哲轩邓煜等菲尔兹奖得主回应!

智东西
2026-11-21 07:16:31
数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

可达鸭面面观
2026-11-21 08:21:38
2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

华尔街见闻官方
2026-11-21 10:29:07
郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

极目新闻
2026-11-20 19:43:20
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
2026-11-21 13:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
旅游
亲子
房产
时尚

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

无障碍浏览 进入关怀版