网易首页 > 网易号 > 正文 申请入驻

让机器人学会挤牙膏!智在无界首发隐式触觉世界模型

0
分享至


首次将触觉数据引入大规模模型预训练。

作者 |钟宸

编辑 |漠影

机器人前瞻7月28日报道,今日,通用具身基础模型公司智在无界BeingBeyond正式发布全球首个隐式触觉世界动作模型Being-H0.8。

据悉,Being-H0.8首次将触觉模态引入大规模模型预训练,并将视觉、触觉、动作以及未来状态变化统一到同一隐空间(latent space)。

这使机器人能够进一步理解“世界因此发生了怎样的变化”,从而形成对物理交互过程更加完整的认知与预测能力。

智在无界是业内率先提出以大规模人类视频数据来训练通用具身基础模型框架的团队。

据悉,智在无界建立了人类交互数据库UniHand 3.0,该数据库覆盖自然物体交互、长时程任务、丰富手部动作及多样化场景,汇聚了超过50万小时的第一人称视频数据,该公司还与数十家数据合作伙伴建立合作。

智在无界称,其已完成从数据管线、模型预训练、后训练、评测到端侧部署的全栈基础设施建设。

01.

模型部署双机械臂平台,可挤牙膏、摘葡萄

Being-H0.8被部署在两个双机械臂平台上。

第一个平台采用两台珞石(ROKAE)AR5机械臂,并支持更换不同的灵巧手以进行跨具身评估(Cross-embodiment evaluation)。

这一平台包括拥有16个主动驱动自由度和21个总自由度的LinkerHand L25,以及采用腱绳驱动(Tendon-driven)、拥有12个主动驱动自由度和22个总自由度的DexHand 021。

其中,L25的每个指尖均集成了12×6的压阻式压力传感器(Piezoresistive pressure array),而DexHand 021则集成了指尖视触觉传感器(Visuotactile sensors)。

第二个平台则由两个RealMan RM65机械臂组成,这些机械臂配备了Inspire夹爪以及Daimon DM-TAC W2M触觉传感器。

在智在无界提供的视频中,机械臂可通过触觉感知完成挤牙膏、找出包中隐藏物品、写毛笔字等操作。


▲机械臂挤牙膏(来源:智在无界)


▲机械臂寻找水杯(来源:智在无界)


▲机械臂写毛笔字(来源:智在无界)


▲机械臂摘葡萄(来源:智在无界)

02.

三大新突破,提出慢快动作专家

据悉,Being-H0.8相较于前代Being-H0.7的核心突破,是首次将触觉模态系统性地引入隐式世界模型架构,它也是首个结合大规模人类视频与触觉信息开展预训练的具身基础模型。


触觉的加入,使模型能够感知视觉难以直接观测的接触状态、受力变化与物体约束,从而完成仅依赖视觉难以稳定解决的接触密集型任务。


为了充分利用高频触觉反馈,Being-H0.8进一步提出慢快动作专家(Slow-Fast Action Expert)。

在标准的完整动作块生成机制之上,该模型引入了一条轻量级的快速更新流:系统首先在每个动作时域(horizon)开始时计算一次“世界—动作上下文”并进行缓存。

随后,在时域内少数几个锚点(anchor)处,注入最新观测到的本体状态与触觉反馈,动态生成或修正当前正在执行的动作片段。

针对触觉数据规模较小的瓶颈,智在无界自研了面向大规模无标注人类视频的密集触觉伪标签系统TactoHand

该系统无需为数据采集者配备触觉手套或额外传感器,即可从普通人类视频中推断手部与物体交互过程中密集空间点的接触概率和连续接近度(continuous proximity),可为视频补充触觉监督。


而在Being-H0.8中,智在无界提出了第二代统一动作空间TopoHand,为人类手部、灵巧手和平行夹爪提供统一的运动学接口。

TopoHand采用固定拓扑的“螺旋手”(screw-hand)表征,由20个语义关键点和20个规范关节变量组成,并以手腕为中心建立统一坐标系:

x轴指向中指指尖在手掌平面上的投影方向,z轴与手掌法线方向一致,y轴则用于构成右手坐标系。

在这一表示下,不同本体特有的关节命名、机械结构和网格拓扑均被隔离在策略接口之外。

由此,该模型不再直接依赖某一具体机器人或人手模型的原始关节定义,而是在统一的语义拓扑和运动学空间中学习操作规律

相比第一代UAS,TopoHand实现了控制变量层面的兼容,使大规模人类视频中的操作先验能够更加高效地迁移到多种机器人本体,并显著提升跨本体预训练的效率与可扩展性。

03.

建立人类交互数据库,规模达50万小时

为了训练Being-H0.8,智在无界收集了超过50万小时的原始第一人称人类视频资料。

智在无界称,这是迄今为止规模最大的人类视频数据集,而且该数据集中的每个样本都可以被追溯到其来源。


该数据库将原始的第一人称视频数据转化为结构化的具身训练数据,其中包括以交互为核心的视频片段、时间上连贯的手部动作轨迹,以及3D空间信息。

智在无界称,其数据筛选管线(Curation pipeline)去除了冗余的Episode(任务轨迹片段)与Segment(子片段),在保留具身学习所需的“以操作为中心”(Manipulation-centric)结构的同时,使UniHand 3.0数据集在多样性特征分布上更接近通用多模态视频。


该管线专为大规模自然环境(In-the-wild)数据设计,大幅减少了严重跟踪错误、手型扭曲以及不可用的轨迹。其自动化质量控制阶段更可在预训练前检测出超过92%的错误任务轨迹片段。

智在无界称,其还实现了异构机器人数据的标准化处理。为了管理这种异构性(Heterogeneity),该公司将每个数据源拆分为可复用的平台级具身规范(Platform-level embodiment specification)与数据集级元数据(Dataset-level metadata)。

如此一来,标准化过程就被简化为两个可控的步骤:首先将不同的机器人平台映射到统一的具身接口(Shared embodiment interface),随后再开展针对特定数据集的标定、同步与校验(Calibration,synchronization,and validation)。


对于每个受支持的平台,规范的URDF文件(Canonical URDF)定义了机械臂的运动学(Kinematics)、双臂几何关系(Bimanual geometry)、关节命名(Joint conventions),以及手腕或末端执行器坐标系(Wrist or end-effector frames)。

而通过机器人几何结构、记录的元数据以及视觉观测结果所恢复出的标定参数,智在无界能够将原始的状态与动作数据映射到URDF这一统一规范中。

并且,每个完成对齐的数据集都会经过数据完整性、跨流同步性(Cross-stream synchronization)、运动学一致性以及语言-视频匹配度(Language–video agreement)的检查。

未通过校验的样本会被直接过滤,或被送入专门的重处理流程;而高质量的任务轨迹片段则采用几何一致的变换(geometry-consistent transformations)进行增强,以保持图像、状态、动作和语言之间的一致性。

04.

结语:从“看得见”迈向“摸得准”,

产业化拐点或临近

从Being-H0.8的发布可以看出,“触觉感知”与“跨具身泛化”正成为具身智能基础模型走向通用化的关键突破口

智在无界通过TactoHand解决触觉数据规模化难题,借由TopoHand打破不同机器人硬件的统一动作表征壁垒,再辅以UniHand 3.0这一规模化的数据库,为行业提供了一套从底层算法、数据清洗到硬件落地的完整范式。

随着隐式世界模型对物理交互规律理解的持续深化,“视觉+触觉”进一步推动机器人走出实验室与特定工况,在居家服务、复杂工业精细操作等真实场景中展现出更高的泛化性与鲁棒性。

具身智能从“看得见”迈向“摸得准、控得精”的产业化拐点,或许比预想中来得更快。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东3名干部被查,1名干部被处分

广东3名干部被查,1名干部被处分

新浪财经
2026-07-30 11:31:30
深夜,两次救市,世界暂时获救

深夜,两次救市,世界暂时获救

新浪财经
2026-07-31 06:47:19
整个亚洲无影厅可完美播映《奥德赛》

整个亚洲无影厅可完美播映《奥德赛》

看看新闻Knews
2026-07-30 12:38:11
浙江白拿苹果姐社死!开20万SUV拿走苹果不付钱,不怕警察随便告

浙江白拿苹果姐社死!开20万SUV拿走苹果不付钱,不怕警察随便告

天天热点见闻
2026-07-26 14:36:49
造价超130多亿美元、重达11.2万吨的核动力航母即将入列,俄罗斯表示:技术至少领先世界20年

造价超130多亿美元、重达11.2万吨的核动力航母即将入列,俄罗斯表示:技术至少领先世界20年

橙色书卷
2026-07-28 23:06:08
方媛带娃回安徽,两个小公主甜美又乖巧,站在土路上都像拍大片

方媛带娃回安徽,两个小公主甜美又乖巧,站在土路上都像拍大片

生命之泉的奥秘
2026-07-30 21:14:01
吹牛逼吹出一个协会

吹牛逼吹出一个协会

微言微评
2026-07-31 08:08:12
比赛还没开打,申花先遭当头一棒,十足坏消息,取胜辽宁铁人悬了

比赛还没开打,申花先遭当头一棒,十足坏消息,取胜辽宁铁人悬了

零度眼看球
2026-07-31 08:50:39
撞脸邱淑贞走红上海女警回应:大家对我的喜欢,是对这身警服信赖

撞脸邱淑贞走红上海女警回应:大家对我的喜欢,是对这身警服信赖

韩小娱
2026-07-31 08:35:19
29岁《海滩救护队》女星豹纹深V装翻车,胸部意外滑出忙遮挡,本人喊冤:我真不是故意的

29岁《海滩救护队》女星豹纹深V装翻车,胸部意外滑出忙遮挡,本人喊冤:我真不是故意的

追星雷达站
2026-07-30 01:49:43
上海发布中心城区高温橙色预警

上海发布中心城区高温橙色预警

界面新闻
2026-07-31 08:48:57
人如果“过度”节俭,舍不得吃,舍不得穿,那你省下来的其实不是钱,而是一个廉价的人生。钱就像水是流动的,会花钱,才是人生最彻底意义

人如果“过度”节俭,舍不得吃,舍不得穿,那你省下来的其实不是钱,而是一个廉价的人生。钱就像水是流动的,会花钱,才是人生最彻底意义

背包旅行
2026-07-30 16:00:31
下周立秋,有1个好消息,2个坏消息,3个多注意,早知早受益

下周立秋,有1个好消息,2个坏消息,3个多注意,早知早受益

叮当当科技
2026-07-30 16:06:56
找老婆就要找这样的女人,温婉又有福气

找老婆就要找这样的女人,温婉又有福气

娱你同欢
2026-07-28 22:07:09
印尼付清尾款反手“退货”:48架生产线不要了,韩国军工遭滑铁卢

印尼付清尾款反手“退货”:48架生产线不要了,韩国军工遭滑铁卢

素衣读史
2026-07-30 05:38:02
伊朗五指断四指,中东代理人变天!

伊朗五指断四指,中东代理人变天!

寰球经纬所
2026-07-30 16:41:25
俞敏洪抛出惊人言论:我有两个大学男同学已经死了,都是家庭条件很好,但俩人没有抵抗挫折和不幸的能力

俞敏洪抛出惊人言论:我有两个大学男同学已经死了,都是家庭条件很好,但俩人没有抵抗挫折和不幸的能力

心理观察局
2026-06-03 07:17:10
伊朗猛烈打击约旦,当地人却调转矛头,希望美国人早日离开

伊朗猛烈打击约旦,当地人却调转矛头,希望美国人早日离开

坚果甜瓜
2026-07-31 08:48:30
1992年,邓颖超生命最后一刻,耗尽力气喊出"李鹏"不是丈夫周恩来

1992年,邓颖超生命最后一刻,耗尽力气喊出"李鹏"不是丈夫周恩来

历史人文2
2026-07-31 05:30:03
佛山女子养生馆拔罐刮痧后,背上长满“小疙瘩”!医生紧急提醒:以为在“排毒”其实在“染毒”!

佛山女子养生馆拔罐刮痧后,背上长满“小疙瘩”!医生紧急提醒:以为在“排毒”其实在“染毒”!

佛山电视台小强热线
2026-07-30 21:54:25
2026-07-31 10:56:49
机器人前瞻
机器人前瞻
智东西AI媒体矩阵品牌。机器人前瞻,机器人产业新媒体,专注报道全球机器人创新。
746文章数 13关注度
往期回顾 全部

科技要闻

苹果财报亮眼:产品卖得太好 芯片开始不够

头条要闻

龙正才被查 曾在问政节目公开承认公车私用:见怪不怪

头条要闻

龙正才被查 曾在问政节目公开承认公车私用:见怪不怪

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

李小璐澄清夜宿门,被网友质疑想洗白

财经要闻

打新日确认!宇树科技IPO冲刺“冰与火”

汽车要闻

FREELANDER神行者8下线 8月10日开启预售/海外版同步推进

态度原创

旅游
艺术
时尚
房产
数码

旅游要闻

长江十年行|高原湖泊绽芳华

艺术要闻

奇瑞上海总部大楼的“伤疤”火了,号称空中社区!

今年夏天最好看的4件套装,高级又气质!

房产要闻

这个大平层,彻底打破了海口核心资产认知!

数码要闻

延迟大降8ns!微星新增BIOS高效模式:标准内存跑出顶级ULL性能

无障碍浏览 进入关怀版