网易首页 > 网易号 > 正文 申请入驻

Fable 5.2睁眼拼魔方,中国AI闭眼搓麻将!人类「手感」首次Token化

0
分享至


新智元报道


毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。

它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。

徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合,Fable 5.2拿下64.9%的成功率,在RoboDojo测试中轻松碾压一众对手,足足是GPT-6 Astra的两倍还多。


就在两个月前,GPT-6 Astra同样秀出了逆天操作——被极客接进双灵巧手后,当场弹起了肖邦夜曲。


看着是不是觉得大模型马上要接管物理世界了?

就在同一份测评里,RoboDojo测试团队把这位「前任榜单状元」Astra搬上真机,去挑战插充电器和插试管。

结果因为只有眼睛、没有触觉,插头明明已经顶歪卡死,它却完全感觉不到阻力。

于是,毫不知情的机械臂顺着视觉指令一路硬怼,当场把真机硬件撞坏了!

研究员吓得赶紧拉闸急停,最终在33次真机测试里,这两项任务一次都没成,成功率直接挂零(0%)。


为什么反差这么大?

因为拼魔方、画画这类活,靠「眼睛」看就够了,可真到了手上干细活,光靠摄像头根本来不及,也看不见。

一方面,杯子刚在指尖打滑,等摄像头拍到画面早就摔碎了。

另一方面,拧瓶盖到底是拧动了还是手指在空转,镜头里看着一模一样,而且接触点还经常被手指自己挡住。

也正因如此,汽车厂里插线束这种活,就因为缺了指尖那一下手感,奥迪坦言全行业自动化率至今还不到10%。

说到底,今天机器人缺的已经不是更好的眼睛,而是灵敏的「手感」。

就在刚刚,蚂蚁灵波科技正式发布并开源通用触觉基座模型LingBot-Touch,一举补上了这块最关键的短板!


项目主页:https://technology.robbyant.com/lingbot-touch

技术报告:https://github.com/Robbyant/lingbot-touch/tree/main/paper

GitHub:https://github.com/Robbyant/lingbot-touch

Hugging Face:https://huggingface.co/collections/robbyant/lingbot-touch

魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-Touch

它头一回把视触觉、磁触觉、压阻式三种不同的触觉信号,统一转换成动作模型拿来就能用的「通用触觉Token」。

这样一来,机器人终于能练出一套换只灵巧手也能接着用的「手感」。

532万参数即插即用

26项精细操作全线暴涨

在真机上,触觉反馈极度讲究时效。

因此,为了不跟视觉和动作模型抢算力,团队直接派出了最轻量的Tiny版,只有532万参数。

由此,接进三大主流动作模型后,参数量只多出0.13%到0.16%,几乎不加负担,却让灵巧手瞬间有了「分寸感」。

拿「抓喷雾瓶喷水」来说,塑料瓶身很滑,纯靠视觉刚一使劲,食指就会打滑脱手。

而接上LingBot-Touch后,指尖刚有一丝滑动就能立刻微调握姿、稳稳扣下扳机,成功率直接由42.50%飙升到87.50%。


再看更考验双臂配合的「挤牙膏」,软管捏轻了挤不出,捏重了又会飙得到处都是。

有了触觉Token帮忙,双臂不仅能稳稳对准窄小刷头,拇指还能顺着管身阻力细腻施压,把牙膏精准挤在刷毛上:


就连开头让视觉大模型撞坏真机的「插孔对准」,换到更精细的「拿钥匙开锁」上也被轻松拿捏。

只见指尖捏住小钥匙,顺着锁孔微弱的碰撞阻力边试探边微调,对准后干脆利落地一把拧开挂锁:


更有意思的是「盲摸麻将」,规则严苛到只要牌面露给镜头看一眼就直接判零分。

灵巧手全程不靠眼睛,指腹轻轻一按就能摸出凹凸花纹、分进不同盘子,成功率直接翻倍冲上70%:


再比如拆开两个叠放的软纸杯,手指挡死了镜头,捏重一点杯子就扁,捏轻了又抽不出来。

但有了触觉Token帮忙,双臂就能顺着指尖微弱的摩擦变化,轻轻一搓抽出内层纸杯。


不止这些日常细活,团队用两款不同构型的灵巧手,搭配四款主流动作模型,一口气实测了26项真机任务和12项仿真操作,接入LingBot-Touch的组合全线夺冠:

  • 三大动作模型全面提分,T-Rex、π0.5和LingBot-VLA平均成功率分别大涨了23.18、21.81和24.81个百分点;

  • 精细操作稳准狠,单页翻书冲上91.25%,按压弹出SD卡飙到92%,搬运软纸杯最高拿下了100%满分;

  • 12项仿真操作高分通关,转盘子、转笔成功率双双超97%,纯视觉0分的「端托盘平衡滚球」也拿下了67.7%。







左右滑动查看



5000小时真实触觉数据

灵巧手拿来就能用

既然触觉这么管用,为什么通用大模型这么难训?主要卡在「传感器各说各话」和「极度缺真实数据」上。

先看硬件,目前主流的三类触觉传感器,底层原理完全不同:

  • 视触觉是在指尖藏个小相机拍软胶形变,能看清极细微的接触,适合拧瓶盖,但受帧率限制反应不够快;

  • 磁触觉靠软磁材料受力改变磁场,擅长感知多方向力与滑动,适合拉拉链、插插头,但怕周围磁场干扰;

  • 压阻式则是材料受压后电阻改变,能低成本铺满手指和手掌,代价是分辨率有限。

这就导致同样是压住杯壁,三类传感器记录的是三种完全不通的「方言」,换只手就得推倒重训。

更头疼的是缺真实数据,过去全靠人遥操作机械臂去采,又慢又贵,根本喂不饱大模型。

为了解决数据难题,蚂蚁灵波想了个巧办法——让真人戴上轻便的触觉手套,在日常生活里直接采集「人类手感」!

这样一来,拧瓶盖、擦桌子、插插头,人手怎么发力,手套就怎么记。

最终靠着人手戴手套与真机遥操作结合,团队攒下全球最大的近5000小时(4983小时)、13.3亿帧真实触觉数据,其中足足三分之二来自人类手套。

但人手和灵巧手长得并不一样,采来的数据对机器人管用吗?

对此,实测给出了让人惊喜的答案——人手攒下的「手感」,居然能零样本直接迁移给全新的灵巧手!

要知道,预训练里的磁触觉数据100%来自人类手套,模型压根没见过测试用的新款磁触觉灵巧手。

可团队把触觉模型参数完全冻住、直接装上这只新灵巧手后,π0.5的平均成功率立刻由48%飙升到74.17%,搬运软纸杯更是由58%跳到了90%!


这意味着,读懂物理接触的本事已经跨越了硬件形态,原封不动地由人手传给了灵巧手。

统一三类触觉信号

靠预测受力练出真手感

那在底层,怎么把三种传感器、人手和灵巧手的数据装进同一个模型?灵波团队抓住了最核心的共性:

不管传感器测的是图像、磁场还是电阻,最后回答的都是同四个问题——手指碰在哪、用了多大力、力往哪边走、有没有在滑。

既然问题一样,团队就把「理解接触」单独拎出来,分三步做成了一个通用基础模型。


第一步,按原理分别「收件」。

具体来说,团队给三类传感器各设一个极简入口,转成统一格式后再交给同一个触觉主干网络学习,同类原理的新硬件直接就能接进来。

第二步,把所有指尖放进同一张「地图」(5D-RoPE)。

光格式统一还不够,不同灵巧手的触点排布也千差万别。

因此,团队把所有触点统一映射到三维指尖球面坐标里,并随机微调疏密和位置,防止模型死记硬背单一硬件的排布。

第三步,做一道「补全接触」的题(Tactile-JEPA)。

为什么要专门设计这道题?因为抓握物体时,超过90%的触点其实啥也没碰到,读数全是零值和底噪。

如果照搬视觉模型遮住一块去还原原始读数,模型只要全填零就能白拿90分。

结果在四千小时数据下,传统方案的跨模态检索前5名召回率只有3.06%和8.69%!

于是LingBot-Touch借鉴了图灵奖得主LeCun推崇的JEPA架构,直接遮住高达90%的区域。

在此基础上,它不让模型去还原零值底噪,而是去推断被遮住的地方怎么受力,一举把检索召回率拉升到了49.32%!


盲摸定位准至0.12毫米

触觉也能Scaling

这套架构对物理接触的感知到底有多准?

为此,在五项物理接触测试中,团队允许主流开源模型FTP-1外挂硬件专用适配器,而LingBot-Touch全程锁死权重,一分参数都不改。

即便让了对手一手,LingBot-Touch依然把指尖盲摸定位误差由对手的2.19毫米压到了0.12毫米,在新款磁触觉灵巧手上也压到了0.16毫米。

同时,指尖三维力感知误差也降低了约65%,装进同一个动作大脑测5项真机任务,平均成功率以82.2%对67.5%大幅胜出。

更重要的是,团队在五千小时量级上观察到触觉也存在Scaling现象,跑出了两个关键趋势:


一方面,三类不同传感器的数据混在一起训,所有指标全面压过单打独斗,各条硬件路线的数据终于汇到一处,跑出了「1+1+1>3」的效果。

另一方面,随着数据堆到近5000小时,轻量级Tiny版在4000小时后逐渐饱和,而容量更大的Small版还在持续上涨。

这说明,模型越大、数据越多,机器人的「手感」就越强!

硬件不必统一,智能可以共享

LingBot-Touch的价值,其实不止于让机器人多了一种感觉。

要知道,触觉是典型的「物理原生模态」——文字、图像在网上随处可见,数字世界的大模型却从没真正「摸」过东西,这也是开头Astra插头卡死都浑然不觉的原因。

再加上传感器原理各不相同,触觉长期分散零碎,一直没能形成统一的表征。

如今,LingBot-Touch证明了,哪怕是最依赖硬件的触觉,也可以提炼出统一的表征。

这在触觉上得到了验证,进一步看,完全可以展开到具身智能整体。

之所以物理操作难以泛化,很大一部分正卡在硬件上:本体、灵巧手、传感器路线各异,好不容易攒下的经验,全被锁在了各自的硬件里。

对此,蚂蚁灵波的思路非常明确:硬件不必统一,智能可以共享。

它要做的,是硬件和场景之间的那一层智能——把不同本体、不同传感器积累的物理经验,转成可以共享的统一表征,再以开源、可拆分的方式提供出去。

今年,灵波已先后开源了负责看得更清楚的空间感知模型、负责想得更明白的世界模型,以及负责干得更利索的跨本体动作模型。

这次开源的LingBot-Touch,不仅补上了「具身原生」大脑全栈2.0里摸得更灵敏的那一块,也把同一套方法用到了最依赖硬件的触觉上——触觉能走通,说明这套方法同样能用到其他新的感知方式上。


落到产业上,这层共享智能直接帮上下游省下了重复造轮子的精力。

对触觉传感器厂商来说,过去每推出一款新传感器,都得自己采数据、从头训一套触觉模型,动作模型才能用得上,门槛高、周期长。

现在,新硬件直接接进LingBot-Touch就能产出通用的触觉Token,厂商可以把精力集中到精度、耐用性和成本上,产品也更容易被各家机器人用起来。

对灵巧手和整机厂来说,最大的变化则是选型终于自由了。

一只手上,不同部位要的东西本来就不一样:指尖负责捏、拧、搓这些精细动作,需要高分辨率看清细微接触;手掌主要负责托和握,更需要大面积、低成本地感知受力。

最理想的做法,自然是按部位各取所长,但在过去,一只手上用两种传感器,就得配两套触觉模型分别去训,开发和维护成本都要多出一份。

现在,同一个LingBot-Touch就能读懂不同原理的触觉信号,「指尖视触觉+手掌压阻阵列」这样的高性价比组合,终于可以放心装上手、真正用起来了。

目前,蚂蚁灵波已经联合多家机器人本体厂商与行业伙伴,把这套具身大脑能力带进零售药房、仓储物流和工厂产线落地干活。

回头看,大模型能在数字世界爆发,靠的是海量文字和图像可以被统一学习、反复复用。

如今,连最依赖硬件的「手感」都能被预训练、被复用,物理智能终于也有了像语言智能那样越积越厚的可能。

硬件可以百花齐放,智能却能在同一层上不断生长。

机器人真正走进千行百业的拐点,或许就从这里开始。

编辑:摩西 桃子


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
第一次世界大战是德国发动的,德国失败了。第二次世界大战是德国、日本、意大利发动的,结果失败了。

第一次世界大战是德国发动的,德国失败了。第二次世界大战是德国、日本、意大利发动的,结果失败了。

回京历史梦
2026-11-17 02:25:04
波司登高端线首发遇冷:LV设计师请到了,队伍去了山姆抢加拿大鹅

波司登高端线首发遇冷:LV设计师请到了,队伍去了山姆抢加拿大鹅

木禾商业财经
2026-11-17 09:24:56
假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

娱乐故事
2026-11-16 21:08:06
0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

我爱英超
2026-11-17 07:45:15
首节崩!勇士一度落后31分吞三连败 无库战力全无伦德博格刷28+8

首节崩!勇士一度落后31分吞三连败 无库战力全无伦德博格刷28+8

颜小白的篮球梦
2026-11-17 11:31:24
大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

江启
2026-11-17 01:20:29
开拓者98-106输球,杨瀚森正负值却+11!出场7分钟,追平NBA两纪录

开拓者98-106输球,杨瀚森正负值却+11!出场7分钟,追平NBA两纪录

球场没跑道
2026-11-17 12:06:03
还有谁?央视最高规格致敬C罗,一整期节目全是他,催泪告白:有一种英雄主义叫C罗

还有谁?央视最高规格致敬C罗,一整期节目全是他,催泪告白:有一种英雄主义叫C罗

球盲百小易
2026-11-17 00:59:04
财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

楠楠自语
2026-11-17 00:02:50
本次菲律宾担任东盟轮值主席国期间,未谈妥南海行为准则

本次菲律宾担任东盟轮值主席国期间,未谈妥南海行为准则

新民周刊
2026-11-16 13:39:18
骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

篮球大视野
2026-11-17 10:51:24
考不上北大就穿在身上,北大399元羽绒服火出圈,卖断货“一衣难求”

考不上北大就穿在身上,北大399元羽绒服火出圈,卖断货“一衣难求”

小鱼儿会飞了
2026-11-17 07:27:16
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
东京发生持刀伤人事件致1人死亡 嫌疑人被捕

东京发生持刀伤人事件致1人死亡 嫌疑人被捕

新华社
2026-11-16 21:22:48
79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

79岁路都走不稳还开演唱会捞金,全网恶评如潮,她却扬言回馈粉丝

背包旅行
2026-11-17 12:11:31
特朗普宣布即将访华:将与中俄元首会晤,也可能与金正恩委员长会面

特朗普宣布即将访华:将与中俄元首会晤,也可能与金正恩委员长会面

澎湃新闻
2026-11-17 08:20:33
3岁女童被生父女友捂死案将于18日宣判

3岁女童被生父女友捂死案将于18日宣判

黄河新闻网吕梁
2026-11-17 08:48:18
为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

坠入二次元的海洋
2026-11-17 12:06:40
22岁模特外拍被奸杀,闺蜜被骂成蛇蝎,真凶宣判竟当庭发笑

22岁模特外拍被奸杀,闺蜜被骂成蛇蝎,真凶宣判竟当庭发笑

悬疑故事屋
2026-11-17 13:54:11
终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

终于明白为啥年轻人说最近的就业环境有点可怕了!评论区一针见血

另子维爱读史
2026-11-16 21:52:15
2026-11-17 15:04:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16703文章数 67238关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

头条要闻

顾军被公诉 通报批其大肆收钱敛财、搞权色交易

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

财政部:中加双方同意探索扩大双边贸易

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

本地
房产
手机
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

5381亩之后,三亚绿谷,等一个500强!

手机要闻

华为麒麟9050显示技术揭秘!普通视频也能变全彩:画质、防窥双升级

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版