网易首页 > 网易号 > 正文 申请入驻

Manus 实现英伟达仿真环境与真实场景下的触觉反馈

0
分享至

触觉反馈的重要性

灵巧操作领域的研究依赖于通过遥操作采集的演示数据。无论是在艾萨克仿真平台(Isaac Sim)中,还是在实体硬件设备上,当操作人员操控多指机械手抓取物体时,仅依靠视觉反馈,不足以还原机械手与物体之间的物理交互过程。握力、打滑现象以及接触发生的时机,都无法通过视觉直接观测。这就限制了操作人员在遥操作过程中对这些信号做出的反应,进而影响最终生成运动轨迹的精度。而触觉反馈恰好能够弥补这一短板,让操作人员能够切身感知正在发生的接触行为。


MANUS 如何接入英伟达 Isaac 生态系统

MANUS Metagloves Pro 触觉手套采集操作人员的手部运动,并将数据传输至 MANUS 核心程序(MANUS Core)。该程序会把原始信号处理为三类数据:原始传感器数据、关节位置数据以及关节角度数据(人体工学数据)。开发者可根据目标机械手的实际需求,选择重定向流程的抽象层级,既可以直接使用传感器数值,也可以采用解析后的关节角度开展工作。

在 Isaac 仿真平台内部,运行于 Isaac 遥操作模块下的重定向器接收来自 MANUS Core 的数据,并转换为适配目标机械手运动学特性的控制指令。机械手硬件会向 Isaac Sim 提供统一机器人描述格式(URDF)文件,保证仿真模型与真实物理结构保持一致。因此,无论目标是虚拟仿真机械手,还是接入同一环境的实体机械手,重定向过程都可以保持较高精度。

通过触觉反馈实现闭环控制

机械手产生的接触事件,无论是来自 Isaac Sim 仿真环境,还是实体硬件采集得到,都可以通过手套以触觉反馈的形式回传给操作人员。操作人员无需依靠视频画面来判断抓取是否成功,当机械手手指触碰到物体时,就能够感受到振动。由此形成了人类操作意图与机械手响应之间的控制闭环,提升了操作人员在遥操作过程中调节握力、调整物体手持位置的能力。

助力数据采集与仿真到现实迁移

Isaac Lab 将遥操作会话生成的数据作为操作策略的训练素材。由于采集演示数据时启用了触觉反馈,相比单纯动作捕捉得到的数据,生成的运动轨迹能够体现出更具针对性的接触与抓取调整。这对于仿真到现实迁移十分关键:基于已经包含接触力信息的演示样本训练得到的策略,所使用的数据更加贴近实体机器人在仿真环境之外实际会遇到的工况。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
恨不得手里有针!高价买演唱会票,却被前排充气增高坐垫挡死,观演矛盾频发,多地演唱会明确将其列为禁带品

恨不得手里有针!高价买演唱会票,却被前排充气增高坐垫挡死,观演矛盾频发,多地演唱会明确将其列为禁带品

新快报新闻
2026-08-16 00:17:21
和平!李在明提议结束朝鲜战争

和平!李在明提议结束朝鲜战争

IN朝鲜
2026-08-16 12:24:10
37岁王大雷不满山东泰山:为何不公布我受伤了?球迷不知真相瞎猜

37岁王大雷不满山东泰山:为何不公布我受伤了?球迷不知真相瞎猜

念洲
2026-08-16 13:30:10
极目深度|河南一打满补丁的县委大院即将迈入“古稀之年”:69间土坯房补了又补,38年前就有改造计划一再搁置,上千名满月宝宝来此打卡领红包

极目深度|河南一打满补丁的县委大院即将迈入“古稀之年”:69间土坯房补了又补,38年前就有改造计划一再搁置,上千名满月宝宝来此打卡领红包

极目新闻
2026-08-16 17:13:16
电影《牛来》票房已破30万,观众:因好奇半夜买的票,看完后坐了3分钟没缓过来劲;影院:看海报还可以就排了一场,没想到卖了这么多票

电影《牛来》票房已破30万,观众:因好奇半夜买的票,看完后坐了3分钟没缓过来劲;影院:看海报还可以就排了一场,没想到卖了这么多票

潇湘晨报
2026-08-15 15:42:48
李爱民遗体已找到,确认不幸离世

李爱民遗体已找到,确认不幸离世

上观新闻
2026-08-16 13:53:29
电影《牛来》进入2026年国产动画票房榜前10

电影《牛来》进入2026年国产动画票房榜前10

界面新闻
2026-08-16 16:07:00
三分7中0!没三分+没组织能力!全世界都“抛弃”的后卫,郭士强却当成宝

三分7中0!没三分+没组织能力!全世界都“抛弃”的后卫,郭士强却当成宝

大卫的篮球故事
2026-08-16 18:42:18
乌媒:乌克兰出现由日本人组成的战斗分队,参与俄乌冲突,与俄军作战

乌媒:乌克兰出现由日本人组成的战斗分队,参与俄乌冲突,与俄军作战

扬子晚报
2026-08-16 10:31:45
中国股市:一份“不能买”的股票名单,献给1.5亿股民的真诚忠告

中国股市:一份“不能买”的股票名单,献给1.5亿股民的真诚忠告

股经纵横谈
2026-08-16 17:35:26
20000mAh !小米新品正式上架

20000mAh !小米新品正式上架

科技堡垒
2026-08-16 12:12:37
以色列太狠,真主党被炸出断代史!

以色列太狠,真主党被炸出断代史!

寰球经纬所
2026-08-14 20:53:06
被立案调查后,郭德纲再传坏消息,德云社也跟着遭殃,有大麻烦了

被立案调查后,郭德纲再传坏消息,德云社也跟着遭殃,有大麻烦了

180视角
2026-08-16 11:04:40
西平命案嫌疑人逃亡十日始末:并不存在的“村霸”,和收割了无辜者的谣言风暴丨红星调查

西平命案嫌疑人逃亡十日始末:并不存在的“村霸”,和收割了无辜者的谣言风暴丨红星调查

红星新闻
2026-08-16 20:04:34
我曾包养过一个女人12年,再次遇见她时,她开口第一句话让我愣住

我曾包养过一个女人12年,再次遇见她时,她开口第一句话让我愣住

千秋文化
2026-08-16 19:56:49
随着王艺迪复仇成功,日女乒全军覆没,没想到日媒评价十分清醒,有差距

随着王艺迪复仇成功,日女乒全军覆没,没想到日媒评价十分清醒,有差距

格斗社
2026-08-16 20:10:01
俄罗斯首次曝光第六代战机计划:“空中指挥所”功能已率先在双座苏-57上开展实测,或借AI实现瞬息之间指挥十几架不同无人机协同突击

俄罗斯首次曝光第六代战机计划:“空中指挥所”功能已率先在双座苏-57上开展实测,或借AI实现瞬息之间指挥十几架不同无人机协同突击

极目新闻
2026-08-16 14:04:36
连续下跌超10年的中字头股票,有的已横盘不动,有的还在创新低

连续下跌超10年的中字头股票,有的已横盘不动,有的还在创新低

财经智多星
2026-08-16 15:33:17
美国在菲的9个基地,马科斯一句全给锁了:台海有事,美军靠不住

美国在菲的9个基地,马科斯一句全给锁了:台海有事,美军靠不住

墨印斋
2026-08-16 09:29:35
炸裂!暴涨1400%,贾跃亭一夜翻身

炸裂!暴涨1400%,贾跃亭一夜翻身

新浪财经
2026-08-16 17:40:29
2026-08-16 23:00:49
AXIS
AXIS
虚拟现实,扩展现实
630文章数 1关注度
往期回顾 全部

科技要闻

210亿美元,黄仁勋投了马斯克

头条要闻

西平命案嫌疑人逃亡时曾将5旬妇女拖进地 死者非"村霸"

头条要闻

西平命案嫌疑人逃亡时曾将5旬妇女拖进地 死者非"村霸"

体育要闻

因莫比莱:普通人的平凡故事

娱乐要闻

李小冉疑承认离婚 多次强调“一个人”

财经要闻

事关8万亿养老金!长周期考核落地中

汽车要闻

杨洋成001号车主 岚图追光S正式上市

态度原创

游戏
艺术
家居
教育
军事航空

LPL第三赛段:出最多的钱,挨最毒的打!IG击败WBG,挺进骑士之路

艺术要闻

这位日本人写的草书,揭露了“书道”起源,网友评:笔笔都像王羲之!

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

高考巧合背后:18 岁小伙4月4日出生,高考考444分,选择殡葬专业

军事要闻

伊朗:对每名入境美国军人悬赏50亿土曼

无障碍浏览 进入关怀版