网易首页 > 网易号 > 正文 申请入驻

可实现三重空间感知:Ai2 开源具身机器人 AI 模型 MolmoAct

0
分享至

IT之家 8 月 16 日消息,研究机构 Ai2 现已在 GitHub 开源了旗下 MolmoAct 机器人“行动推理模型”(Action Reasoning Model,ARM)模型,该模型主要运用于具身机器人场景,号称可以解决机器人在三维空间中的动作规划与理解问题。

据介绍,与传统仅依赖文字描述推导动作的视觉语言行动模型(VLA)不同,MolmoAct 旨在克服语言难以完整表达三维环境深度和距离关系的不足。因此 MolmoAct 在第一阶段会首先生成由 VQVAE 预训练得到的空间感知 Token,相应 Token 同时包含几何结构与位置信息,可用于评估物体间的距离,并为后续规划提供基础。

而在第二阶段,模型会在图像空间中生成一系列路径点,作为任务的中间目标,直观展示动作展开的顺序。第三阶段,路径点会被转化为机器人末端执行器或机械爪的低层马达指令,并根据机器人运动学配置进行动作解码。

研究团队指出,在名为 SimplerEnv 的模拟测试环境中,MolmoAct-7B 在训练集未见过的任务中达到了 72.1% 的成功率,优于 Physical Intelligence、谷歌、微软和英伟达等实验室的对照模型。在 LIBERO 模拟平台的多任务与终身学习测试中,经过高效参数微调,平均成功率提升至 86.6%。同时,相比业界 AI 机器人大模型,MolmoAct 的训练成本更低:预训练仅使用了 2630 万样本和 256 颗 H100 GPU,大约 1 天即可完成;微调则只需 64 颗 H100,约 2 小时即可完成。

此外,为降低机器人操作风险并提升可解释性,MolmoAct 在执行动作前会将内部规划的运动轨迹叠加到输入图像上,用户可以直接查看并修正动作方案。同时,用户还可以通过平板等设备使用手绘方式标注目标姿态或路径,模型会即时整合这些标注进行一系列调整。

目前,Ai2 已在 GitHub 同步开源了 MolmoAct-7B 的完整资源(https://github.com/allenai/MolmoAct),官方强调,这些资源与工具可以帮助其他研究团队在不同机器人平台和任务中充分验证与优化。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄乐最新私密照爆出, 难怪黄仁勋把持不住!

黄乐最新私密照爆出, 难怪黄仁勋把持不住!

仕道
2026-11-17 11:11:01
就在今天!灰熊3号秀创造了一个NBA历史纪录

就在今天!灰熊3号秀创造了一个NBA历史纪录

篮球大视野
2026-11-17 16:10:44
重磅官宣!美国商务与司法部联合声明:黄乐不是间谍

重磅官宣!美国商务与司法部联合声明:黄乐不是间谍

起点财经
2026-11-17 15:47:51
突发!大反转!黄仁勋果然翻盘!

突发!大反转!黄仁勋果然翻盘!

财经要参
2026-11-17 15:20:05
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

星语者056
2026-11-17 08:46:25
中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

曹说体育
2026-11-17 11:37:11
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
克里米亚大桥被炸,勒庞承诺如当选继续援乌

克里米亚大桥被炸,勒庞承诺如当选继续援乌

名人苟或
2026-11-17 14:46:21
浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

大风新闻
2026-11-17 08:52:07
薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

起点财经
2026-11-17 08:46:25
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

醉卧浮生
2026-11-17 11:13:22
谁才是英伟达真正的主人?一张图看懂股东结构

谁才是英伟达真正的主人?一张图看懂股东结构

互联网大观
2026-11-17 15:16:16
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

移动挡拆
2026-11-17 10:44:16
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

云头条
2026-11-17 05:07:23
2026-11-17 17:43:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379751文章数 607736关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

本地
数码
时尚
教育
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

端侧AI走进卧室,联发科Genio 420加速智能家居进化

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

教育要闻

看似容易,想要做对却不容易

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版