网易首页 > 网易号 > 正文 申请入驻

可实现三重空间感知:Ai2 开源具身机器人 AI 模型 MolmoAct

0
分享至

IT之家 8 月 16 日消息,研究机构 Ai2 现已在 GitHub 开源了旗下 MolmoAct 机器人“行动推理模型”(Action Reasoning Model,ARM)模型,该模型主要运用于具身机器人场景,号称可以解决机器人在三维空间中的动作规划与理解问题。

据介绍,与传统仅依赖文字描述推导动作的视觉语言行动模型(VLA)不同,MolmoAct 旨在克服语言难以完整表达三维环境深度和距离关系的不足。因此 MolmoAct 在第一阶段会首先生成由 VQVAE 预训练得到的空间感知 Token,相应 Token 同时包含几何结构与位置信息,可用于评估物体间的距离,并为后续规划提供基础。

而在第二阶段,模型会在图像空间中生成一系列路径点,作为任务的中间目标,直观展示动作展开的顺序。第三阶段,路径点会被转化为机器人末端执行器或机械爪的低层马达指令,并根据机器人运动学配置进行动作解码。

研究团队指出,在名为 SimplerEnv 的模拟测试环境中,MolmoAct-7B 在训练集未见过的任务中达到了 72.1% 的成功率,优于 Physical Intelligence、谷歌、微软和英伟达等实验室的对照模型。在 LIBERO 模拟平台的多任务与终身学习测试中,经过高效参数微调,平均成功率提升至 86.6%。同时,相比业界 AI 机器人大模型,MolmoAct 的训练成本更低:预训练仅使用了 2630 万样本和 256 颗 H100 GPU,大约 1 天即可完成;微调则只需 64 颗 H100,约 2 小时即可完成。

此外,为降低机器人操作风险并提升可解释性,MolmoAct 在执行动作前会将内部规划的运动轨迹叠加到输入图像上,用户可以直接查看并修正动作方案。同时,用户还可以通过平板等设备使用手绘方式标注目标姿态或路径,模型会即时整合这些标注进行一系列调整。

目前,Ai2 已在 GitHub 同步开源了 MolmoAct-7B 的完整资源(https://github.com/allenai/MolmoAct),官方强调,这些资源与工具可以帮助其他研究团队在不同机器人平台和任务中充分验证与优化。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深扒之下,终于发现原来王诗龄不仅是“假公主”,还是“假豪门”

深扒之下,终于发现原来王诗龄不仅是“假公主”,还是“假豪门”

橙星文娱
2026-11-14 18:50:40
为什么保罗乔治在76人不行,到凯尔特人就活了?

为什么保罗乔治在76人不行,到凯尔特人就活了?

篮球星播客
2026-11-16 13:48:43
气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

气象局预警!11月可能迎来史上超强厄尔尼诺,家家户户早做打算

浩渺青史
2026-11-17 04:33:30
这跟耍流氓啥区别?Lisa美国演出辣眼,和男伴贴身热舞,爸妈捧场

这跟耍流氓啥区别?Lisa美国演出辣眼,和男伴贴身热舞,爸妈捧场

不写散文诗
2026-11-14 19:53:27
安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

回京历史梦
2026-11-05 00:00:04
50克大金镯子,暴跌27000元

50克大金镯子,暴跌27000元

封面新闻
2026-11-16 18:50:03
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

职场资深秘书
2026-11-16 14:27:40
阿里字节接连出招,WorkBuddy水深火热中

阿里字节接连出招,WorkBuddy水深火热中

人人都是产品经理社区
2026-11-16 16:23:46
伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

以色列飛飛
2026-11-16 08:30:21
朴树得病很多年了!

朴树得病很多年了!

八卦疯叔
2026-11-16 10:00:58
中共中央书记处书记、国务委员王小洪到四川调研

中共中央书记处书记、国务委员王小洪到四川调研

政知新媒体
2026-11-16 21:47:40
国企迎来倒闭潮?同为“铁饭碗”的电力企业,还能够稳定多久呢?

国企迎来倒闭潮?同为“铁饭碗”的电力企业,还能够稳定多久呢?

午夜搭车a
2026-11-16 16:09:56
多队争抢皮特森!单场60+12+7大杀器有望回归CBA,硬解能力太抢手

多队争抢皮特森!单场60+12+7大杀器有望回归CBA,硬解能力太抢手

林小湜体育频道
2026-11-16 23:37:45
2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

2026年养老金调整通知晚发,退休人员从1月1日起的补发会少吗?

墨兰史书
2026-11-16 04:25:04
14场6罚!洁癖型中锋!恭喜湖人逃过一劫

14场6罚!洁癖型中锋!恭喜湖人逃过一劫

篮球实战宝典
2026-11-16 22:01:48
特朗普知道大势已去,决心办一件实事,世界目光聚焦到欧洲

特朗普知道大势已去,决心办一件实事,世界目光聚焦到欧洲

听风看局
2026-11-16 20:57:17
电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

史之铭
2026-11-17 03:45:50
她大概是全地球最“恨”马云的女人,那年支付宝抽奖拿下一个亿,她乐坏了,立马辞掉国企工作满世界飞

她大概是全地球最“恨”马云的女人,那年支付宝抽奖拿下一个亿,她乐坏了,立马辞掉国企工作满世界飞

背包旅行
2026-10-27 12:12:27
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
2026-11-17 05:19:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379641文章数 607735关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

房产
旅游
时尚
手机
游戏

房产要闻

6.6亿!海口卖地!

旅游要闻

别只知道奢香夫人,毕节这个古屯,才是水西故事里不能忽略的一页

大风降温,穿羊羔毛啊!

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

小伙表示连玩7天《GTA6》 这下PS5可惨了

无障碍浏览 进入关怀版