网易首页 > 网易号 > 正文 申请入驻

22.9%成功率:4B世界模型上机器人,先别急着拔遥控器

0
分享至

把香蕉放到盘子里,这句话对人来说不值一提。对机器人来说,它要拆成一串动作:找到香蕉、找到盘子、选一个接近角度、合上夹爪、移到盘子上方、松开、再确认结果。视觉、空间推理、运动、结果,四件事必须串起来。


NVIDIA Cosmos 3 Edge 是 Cosmos 3 家族里约 4B 参数的成员。它的工作流不止于多模态观察,还包括动作轨迹、世界理解、未来预测和动作推理。这里有个区分值得记住:视觉语言模型描述世界现在长什么样,世界动作模型(WAM)则把动作和世界可能怎么变联系起来。

“把手往右移”不是可直接执行的电机控制。机器人指令是随时间变化的数值表示,按机器人和控制接口不同,可以编码平移、旋转、关节目标或夹爪状态。轨迹在概念上就是一连串按时间排布的目标点。Cosmos 3 使用跨具身的共享几何表示,涵盖平移、旋转和操作状态,所以输出可以不止是一句描述动作的话,还能给出动作轨迹。

为什么要用动作块

Cosmos 3 Edge 的机器人策略材料提到,所引用工作流每次推理生成 32 个动作。系统不去为每一个微小移动都请求一次大模型推理,而是预测一段运动,交给控制器执行。

Jetson AI Lab 的指南描述了在 Jetson Thor 上用 640 × 360 的观察生成动作,并通过反复重规划保持与任务对齐。模式是这样的:观察当前场景,预测接下来一块动作,开始执行,收集新观察,重规划下一块。

底层机器人控制需要的更新频率,往往远高于大模型能生成的频率。动作块的作用就是把这两个时间尺度接上。单步策略并非不可能,这里要解决的实际问题是:别让每一次底层控制更新都去等一次慢吞吞的大模型调用。

1.53 秒与 2.13 秒

把摄像头观察发到远端 GPU,会带来网络延迟、带宽要求和连接依赖。端侧推理让策略离机器人的观察和执行器更近。

在相关部署示例中,经过后训练的 Cosmos 3 Edge 策略跑在 Jetson AGX Thor 上。报告的动作块生成耗时约 1.53 秒,而每个动作块对应约 2.13 秒的机器人运动。这给系统留出了一个窗口:当前运动还没结束,下一块已经可以准备。

报告里的 15 Hz 是动作执行速率,不是每秒做 15 次完整模型推理。动作分块加滚动时域控制,才让持续运动和重规划同时成立。这些时间数字描述的是被引用的那次部署,不是每一台 Jetson、每一台机器人。

Jetson 的角色也在变。早先的边缘视觉应用多是识别导向:摄像头、Jetson、检测器、物体标签。物理 AI 在机器人执行下一个动作之前,加上了任务推理和动作生成。它不再只是一台“看见”的设备,而可以成为理解观察、支撑决策的板载平台。软件兼容性仍取决于模块和 JetPack 版本,要按实际设备选对应的栈。

22.9% 这个数字

能生成动作,不等于下载一个模型、插上一只机械臂,就得到一个自主工人。

NVIDIA 关于端侧机器人控制后训练的文章报告,所引用的后训练策略在 RoboLab 闭环任务上的成功率为 22.9%。该评估包含 120 个语言条件操作任务。这个结果属于特定基准和特定配置,不是所有机器人应用的通用成功率。

策略仍然需要任务和具身相关的数据与后训练。已发布的 Cosmos3-Edge-Policy-DROID 使用的是 DROID 数据集。换机械臂、换摄像头位置、换动作空间、换任务,都可能需要大幅适配。世界动作模型提供的是基础能力,不是通用机器人控制器。物理世界不会因为提示词写得漂亮就变得配合。

从跑通模型到搭出有用的系统,可以分成五层:

  • 世界理解:认出桌上的香蕉。
  • 世界预测:把候选动作和场景可能的变化联系起来。
  • 动作生成:产出一段建议的运动序列。
  • 闭环控制:在机器人上执行这段运动。
  • 物理反馈:发现抓取失败、物体被移动或其他变化,然后重新观察和规划。

最后一层尤其难。真实世界是动态的,充满扰动。再精细的仿真,也无法复现每一次微小接触、传感和机械细节。

值得关注的不是 4B 这个参数相对小,而是世界理解和动作推理能进入机器的板载工作流。机器人观察周围的物理环境,边缘计算机对看到的东西做推理、预测后果、支撑下一个动作。AI 成为机器的一部分,而不只是摆在旁边的服务器。

但“能在边缘跑”和“能可靠控制物理世界”仍是两件不同的成就。22.9% 这个数字把区别摆在了明面上。往前走需要更好的机器人数据和演示、更强的动作预测、更快的推理、更好的闭环控制、安全机制,以及仿真与真实世界的双重评估。

有用的循环还是那五步:观察、理解、预测、行动、再观察。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

幻梦人生
2024-12-08 04:05:03
警校退学潮:比考不上更可怕的事,考上了你才发现根本不合适

警校退学潮:比考不上更可怕的事,考上了你才发现根本不合适

糖逗在娱乐
2026-11-02 06:31:49
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
某女网红认为恨日本人的人价值观有问题:该恨的是以前的帝国主义

某女网红认为恨日本人的人价值观有问题:该恨的是以前的帝国主义

律法刑道
2026-09-01 09:02:43
射阳7个月蚀退120米,江苏海岸会被吞没吗?

射阳7个月蚀退120米,江苏海岸会被吞没吗?

黑哥讲现代史
2026-11-17 07:20:47
让二追二!国足10战巴林保持不败,赛后邵佳一被喊下课,原因曝光

让二追二!国足10战巴林保持不败,赛后邵佳一被喊下课,原因曝光

侃球熊弟
2026-11-17 20:10:42
5年才发现两家孩子被抱错,双方含泪换子,可孩子的话却让人心疼

5年才发现两家孩子被抱错,双方含泪换子,可孩子的话却让人心疼

无处遁形
2026-11-16 22:06:41
美股收盘:道指盘中狂泻千点,收跌1.64%;费城半导体指数暴力翻红,ARM涨超4%;光通信股反弹,康宁涨超2%

美股收盘:道指盘中狂泻千点,收跌1.64%;费城半导体指数暴力翻红,ARM涨超4%;光通信股反弹,康宁涨超2%

中新经纬
2026-11-18 06:12:07
晚旗报:英格兰队人才济济已达巅峰,有望明年夺国家联赛冠军

晚旗报:英格兰队人才济济已达巅峰,有望明年夺国家联赛冠军

懂球帝
2026-11-17 23:00:12
赖文峰与楚铃带着儿子六宝一起到江西南昌的滕王阁,笑起来很开朗

赖文峰与楚铃带着儿子六宝一起到江西南昌的滕王阁,笑起来很开朗

手工制作阿歼
2026-11-17 01:32:50
特殊时期邓小平到江西劳动,保护他的拖拉机厂长罗朋,在邓公重新出山后去了哪里

特殊时期邓小平到江西劳动,保护他的拖拉机厂长罗朋,在邓公重新出山后去了哪里

磊子讲史
2026-11-11 15:53:38
韩国双胞胎姐妹,一个嫁到中国一个嫁到日本,5年后生活相差很大

韩国双胞胎姐妹,一个嫁到中国一个嫁到日本,5年后生活相差很大

白云故事
2025-08-12 10:50:04
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

生思孰虑
2026-11-17 17:01:18
黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

秋风妃
2026-11-15 21:39:48
当年紫金矿业25亿拿下刚果铜矿,现在10年过去,赚到了多少?

当年紫金矿业25亿拿下刚果铜矿,现在10年过去,赚到了多少?

青史卷中人
2026-11-18 01:34:17
中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

台州交通广播
2026-11-17 01:10:51
美俄大运先后落地深圳,自带全套安保没几国能做到,门槛有多高?

美俄大运先后落地深圳,自带全套安保没几国能做到,门槛有多高?

罗富强说
2026-11-17 11:40:58
中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

福建睿平
2026-05-25 08:01:59
北京长城饭店将焕新重启,万豪旗下艾迪逊有望进驻

北京长城饭店将焕新重启,万豪旗下艾迪逊有望进驻

小蜜情感说
2026-11-18 04:53:44
2026-11-18 09:32:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
201文章数 112关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
健康
本地
旅游
公开课

亲子要闻

宝宝气人但是聪明的4个行为

情绪真能让健康人"伤心至死"?

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版