网易首页 > 网易号 > 正文 申请入驻

突破瓶颈,中科硅纪Si 0.5:实现人手到灵巧手的毫秒级跨本体映射

0
分享至

具身智能领域,"灵巧操作"被视为核心目标,但当前大多数机器人末端仍是只有1自由度的二指夹爪。人手适配33种抓取模态,二指夹爪仅能实现其中一种;使用工具、拧瓶盖、旋转物体等任务对其是物理上的不可能。与此同时,Shadow Hand、CASIA Hand 等五指灵巧手已具备6至20余个自由度,硬件全面成熟。但高自由度意味着控制策略复杂度呈指数级上涨,必须依赖大量数据来训练——而数据恰恰是当前最大的瓶颈:

1、数据稀缺:现有数据集大部分源自二指夹爪,仅少量五指灵巧手数据集中在简单抓握任务上,33种抓取模态的复杂操作数据严重缺乏——而这正是训练灵巧控制策略的基础条件。

2、缺少通用"翻译层":人手与灵巧手骨骼结构完全不同,不同灵巧手之间运动学也千差万别,人手行为无法简单映射,转换需逐平台定制。上游采集规模有限,下游应用难以爆发。

01.

人手到跨本体灵巧手,中科硅纪补上关键一环

灵巧手赛道进入快速发展期,上游(人类视频采集设备如ego)和下游(灵巧手硬件)都在迭代变革,但中间一直存在这一道难以跨越的技术鸿沟——如何把人手动作实时转化为灵巧手的可执行指令?中科硅纪在最新的研究MoReL(模块化残差强化学习框架)中,补上了这关键的一环:

依托单目 RGB 摄像头,MoReL实现将人手动作毫秒级实时映射到多款主流灵巧手上。结构差异巨大的灵巧手无需重新适配规则,同一框架即可完成通用的跨本体映射任务。

中科硅纪作为一家孵化自人工智能国家队--中科院自动化所的企业,一直聚焦于机器人上肢的精细化类人灵巧操作能力,近期刚刚发布的全球首个类人灵巧操作具身大小脑模型——CasiaHand Brain-Si 0.5,系统性构建了面向高自由度五指灵巧手的六大基座模型。而MoReL正是这一框架下实现人手到跨本体灵巧手重定向的关键技术,为整个大小脑模型体系的数据通路提供了底层支撑。

MoReL 的意义显而易见:它作为CasiaHand Brain-Si 0.5中工程化的“翻译层”,将复杂的跨本体映射问题拆解优化,为打通人手动作到灵巧手行为之间的断层提供了关键技术。

02.

MoReL 如何启用灵巧手?手指独立学 + 整手统一协调


MoReL系统框架


传统方法的困境:

过去的动作重定向技术长期卡在“实时性、高精细和跨平台适配”这三个矛盾上:

  • 优化式方法:依赖显式运动学模型,通过在线迭代优化求解关节角,精度高但计算量大,延迟高达数十毫秒,严重制约实时性;
  • 学习式方法:通过神经网络直接映射,推理速度快但对数据需求巨大,容易丢失局部精细动作和手指协同;

此外,重定向规则本身也存在矛盾——规则越精细,越依赖某一款灵巧手结构,换平台后需要重新适配大部分逻辑;规则越通用,动作细节和协调性又容易下降。

MoReL 的关键突破:

MoReL 的核心思路是借助强化学习和模块化设计,避免整手硬学难题,将任务拆分成“手指级学习+全手修正”两步,最终实现毫秒级实时响应下的精细跨平台操作能力。

框架架构:模块化手指策略 + 残差协调修正

1、手指级模块化策略:每根手指负责独立的“人手到灵巧手”动作映射。输入是该手指的人手姿态参数(通过 MANO 格式表示手的形状和姿态),输出是机器人对应手指的控制动作。

模块化优势:每根手指模块在自身局部优化范围内工作,无需全手网络学习复杂耦合动作,使方法更易适配和收敛。

2、全手级残差协调模块:单独的手指模块输出初始动作后,加入残差修正器,用以整合全手的操作协同需求,保障整体和局部的控制一致性。

最终动作 = 手指初始输出 + 残差修正量。


MoReL的两阶段训练流程


强化学习驱动:两阶段训练策略

第一阶段(手指级训练):局部奖励引导各手指学会基本的运动模式和操作规律。

第二阶段(全手级训练):冻结手指网络,只训练残差模块,让全手动作获得整体协同性修正。

这种分阶段设计避免了“一开始就要解决所有问题”的难题,以更平滑的方式让网络独立精确与协同一致两方面均达到要求。

奖励设计:兼顾精细操作和运动稳定性


核心奖励组成


MoReL 的奖励函数不仅仅看最终“姿态像不像”,更兼顾任务执行的关键属性:

  • 空间对齐:机器人动作应接近人手的关键特征;
  • 动作连续性:避免突变、跳步等抖动动作;
  • 运动学合理性:保证动作在灵巧手物理范围内有效。

同时,由于 MoReL 不依赖数据标注昂贵的多相机动捕系统,仅需普通 RGB 摄像头和 WiLoR 算法提取 MANO 表示,便可生成可用训练数据,大幅降低数据门槛。

03.

多平台验证:仿真 + 实机测试


在多种灵巧手平台上的动作重定向效果


1、仿真实验

在 CASIA Hand、Shadow Hand、Schunk SVH、Allegro Hand 四种结构差异显著的灵巧手上完成验证,展现了 MoReL 的跨平台通用性。

结果:不同平台下动作维持了较高精确度与稳定性,无需为每个平台单独设计规则。

2、实机操作

在真实机器人场景中验证了五类精细任务(如指尖抓取、动态交接),全面测试系统的动态稳定性、局部精细控制以及跨任务适配能力。

结果:相比传统方法,MoReL 在多类任务中整体优于或接近现有最优对比方法,尤其在动态任务切换和复杂接触任务中表现出更好的稳定性和动作连续性。

04.

商业价值:卡位数据通路的中间层

在灵巧手产业链条中,上游和下游的技术发展已进入快速成熟期。上游,单目摄像头采集方式已极大降低成本,可快速完成大规模人手视频录制,数据规模化没有物理瓶颈。下游,五指灵巧手硬件持续迭代,人形机器人和工业柔性装配需求的爆发,使得灵巧手的市场迎来增长窗口。

业内预测,到2027年国内高自由度灵巧手的出货量将达到16-18万只,相较2025年增长近10倍。但中间关键环节——人手视频到灵巧手可执行动作的跨本体映射——一直是一道难以补全的断层,直到 MoReL 的出现。

MoReL 为多款灵巧手提供了一个通用“翻译层”。通过单套框架,它将复杂的跨本体映射问题高效解决,实现了低时延推理、精细操作保留以及跨平台适配。它没有单纯站在优化式方法或学习式方法的一边,而是重新组织了灵巧手重定向的结构——用强化学习策略网络替代在线迭代优化解决实时性,用模块化手指策略保留局部精细动作,用残差协调模块弥补协同不足,再通过结构化奖励让动作既对齐、又平滑、还符合机器人自身运动学约束。这套设计本质上回答了一个工程上非常现实的问题:能不能用一套更通用的框架,让不同灵巧手都能快速获得可用的人手动作重定向能力?

这一能力在三个核心方向上带来直接价值:

对于遥操作,这意味着操作员使用普通摄像头就能实时控制灵巧手完成精细任务,获得更低时延、更自然的操控反馈,极大降低了高精度遥操作的门槛,让远程医疗、危险环境作业、工业装配等核心场景具备更高的可使用性。

对于模仿学习,这意味着人类示范可以更高效地转化为机器人可执行数据。此前,基于灵巧手硬件的数据采集难以形成足够大的规模,采集成本高昂。而 MoReL 的框架将数据采集门槛拉低到"普通工作环境旁置/头戴一个摄像头即可",让人手视频数据转化为灵巧手可用数据从"昂贵"变成"可行"。这种规模化能力将直接推动灵巧操作策略的实际落地。

对于多平台部署,MoReL 的通用性降低了硬件迭代的适配难度。对灵巧手厂商而言,一旦引入 MoReL,无论灵巧手的自由度结构如何变化,同一套框架无需重新设计,仅需针对新平台进行训练即可完成适配,直接为硬件配置标准化映射能力。CasiaHand Brain-Si 0.5所构建的行业最全类人灵巧操作数据集之所以能够实现"以人手为基准,跨平台迁移不惧本体更换",正是因为有MoReL这样的跨本体映射技术作为底层引擎。

这项技术不仅补全了人手到灵巧手的数据通路,更重新定义了灵巧操作的产业效率和商业价值。如果说灵巧操作的最终目标是让机器人能够从人类动作中快速获得技能,那么 MoReL 解决的正是其中最关键的一环——把人的手部动作,实时、稳定、细致地变成机器人真正能执行的动作。

作为CasiaHand Brain-Si 0.5类人灵巧操作具身大小脑模型的关键组件,MoReL 解决的不只是技术问题,它正在用一套通用框架打通整个行业链路——而这条数据通路能否跑通,可能直接决定灵巧手从实验室走向规模化的节奏。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
沈梦辰成功追星张凌赫,杜海涛吃醋自称杜顶赫,沈梦辰紧急安抚

沈梦辰成功追星张凌赫,杜海涛吃醋自称杜顶赫,沈梦辰紧急安抚

娱乐寡姐
2026-06-30 23:33:27
原新华社记者唐师曾,现病情危重处于“生命的边缘”

原新华社记者唐师曾,现病情危重处于“生命的边缘”

转型Media人
2026-06-29 23:12:15
世界杯观感:德国足球还在为勒夫还债,没有灵魂的球队注定走不远

世界杯观感:德国足球还在为勒夫还债,没有灵魂的球队注定走不远

涛哥侃球
2026-06-30 12:44:30
500亿交了昂贵学费!京东的外卖败局,给所有企业敲了警钟?

500亿交了昂贵学费!京东的外卖败局,给所有企业敲了警钟?

新浪财经
2026-06-30 13:36:58
1换1!送走一个玻璃人,再来一个玻璃人,勇士真要这么玩?

1换1!送走一个玻璃人,再来一个玻璃人,勇士真要这么玩?

球毛鬼胎
2026-06-30 17:00:26
举国之力也找不到完整夏朝,为何?网友的神预言正在被考古证实

举国之力也找不到完整夏朝,为何?网友的神预言正在被考古证实

抽象派大师
2026-06-24 16:34:57
1天4个瓜!国外生子、被抓进去、自曝怀双胎、韩红最让人意外

1天4个瓜!国外生子、被抓进去、自曝怀双胎、韩红最让人意外

三石记
2026-06-25 11:54:09
社评:福克斯新闻的道歉打了谁的脸

社评:福克斯新闻的道歉打了谁的脸

环球网资讯
2026-06-30 23:37:15
什么情况?曝CBA状元大热门石奎未报名参加2026年选秀大会

什么情况?曝CBA状元大热门石奎未报名参加2026年选秀大会

狼叔评论
2026-06-30 20:30:06
毕业即失业!这10个理工类烂专业,分数再高也别乱报

毕业即失业!这10个理工类烂专业,分数再高也别乱报

户外阿毽
2026-06-30 00:25:16
负债突破3万亿,14亿人养不起中国电网?外媒:100年无法回本

负债突破3万亿,14亿人养不起中国电网?外媒:100年无法回本

哄动一时啊
2026-06-30 19:26:29
狂降10℃!降温时间定了

狂降10℃!降温时间定了

新浪财经
2026-06-30 21:15:11
98年深圳一男子花600万入股中国平安,20年后,分红金额把他惊呆

98年深圳一男子花600万入股中国平安,20年后,分红金额把他惊呆

历史八卦社
2025-05-16 23:44:19
韩国足协恐怕要跟国际足联撕破脸了…

韩国足协恐怕要跟国际足联撕破脸了…

理想闲谈
2026-06-30 11:18:06
一年陪睡300次真相大白后,45岁张娜拉现状曝光,丝毫不感到意外

一年陪睡300次真相大白后,45岁张娜拉现状曝光,丝毫不感到意外

史行途
2026-06-30 15:31:34
日元崩了!一美元兑162日元,全日本开始不安,可这剧本看着眼熟

日元崩了!一美元兑162日元,全日本开始不安,可这剧本看着眼熟

菁菁子衿
2026-06-30 19:47:30
中央再发铁令!领导干部出现这15种情形 , 将不能再担任现职!

中央再发铁令!领导干部出现这15种情形 , 将不能再担任现职!

职场资深秘书
2026-06-30 18:29:35
梁文峰身家要破万亿?中国首富恐要换人了

梁文峰身家要破万亿?中国首富恐要换人了

次元君情感
2026-06-23 16:48:02
2026高考成绩公布后,张桂梅式教育被批,再次证明:父母放任不管的代价,远比想象中更残酷......

2026高考成绩公布后,张桂梅式教育被批,再次证明:父母放任不管的代价,远比想象中更残酷......

LULU生活家
2026-06-27 18:18:30
刘涛去上海出差,想着好久没见孙俪,发微信约晚饭。孙俪回得很快:见面可以,只能中午,四点前必须散。

刘涛去上海出差,想着好久没见孙俪,发微信约晚饭。孙俪回得很快:见面可以,只能中午,四点前必须散。

新浪财经
2026-06-28 02:18:47
2026-07-01 00:55:00
机器人大讲堂 incentive-icons
机器人大讲堂
立德机器人平台,是一个集媒体品牌、智库咨询、投资孵化、引智招商为一体的机器人垂直领域服务平台
6764文章数 4592关注度
往期回顾 全部

科技要闻

iPhone18 Pro遭泄密!印度代工商惹祸

头条要闻

坎贝尔承认:中国是最成功渡过难关的国家

头条要闻

坎贝尔承认:中国是最成功渡过难关的国家

体育要闻

德国足球,脸都不要了

娱乐要闻

黄晓明沦陷!羡慕周杰伦能降住昆凌

财经要闻

万亿“寒王”,历史时刻

汽车要闻

奇瑞风云A9探店 五个理由一定来看看

态度原创

本地
亲子
家居
艺术
军事航空

本地新闻

贵州小城的新目标:举办“村超”世界杯!

亲子要闻

写了赋能孩子压根不看,还要坚持下去吗?

家居要闻

传奇筑 日常诗

艺术要闻

18幅 现当代著名画家作品

军事要闻

以色列防长:穆杰塔巴已被列入死亡名单

无障碍浏览 进入关怀版