网易首页 > 网易号 > 正文 申请入驻

4B参数塞进Jetson,机器人能自己看懂世界了?

0
分享至

机器人要在真实世界里干活,能不能不等云端那一趟来回?这是物理AI(Physical AI)落地的第一道坎。英伟达给出的答案之一,是把世界模型直接搬到边缘设备上——Cosmos 3 Edge,一个约40亿参数的边缘优化世界模型。


它把多模态理解、图像与视频生成、机器人动作能力塞进了同一个模型。CAVEDU 的 Cosmos 系列第一篇,讲的就是这个模型是什么、在 Jetson 上怎么部署、推理性能如何,以及从视觉输入到决策的那条路径。

为什么非要放在 Jetson 上

现实中的机器人没法总等云端往返。抓一个正在移动的物体,或者对突然出现的行人做出反应,延迟和连接可靠性都是硬性系统要求。Jetson 的思路是把推理挪到传感器和执行器旁边,软件栈支持在设备上部署开放模型,不同硬件档位对应不同的内存和算力需求。

但本地推理本身不等于安全保证。模型、控制器、传感器和时序必须协同工作,缺一环都不行。

一个检查点,两条服务路径

Cosmos 3 Edge 是英伟达全模态 Cosmos 3 家族里面向边缘的成员。按描述,它由一个2.4B 多模态推理器加一个基于扩散的生成模块组成,合计约 4B 参数。支持的工作流包括文本、图像、视频理解,图像与视频生成,以及分块的机器人动作轨迹。

同一个检查点支持两种服务方式:

  • vLLM:通过兼容 OpenAI 的聊天接口做文本、图像、视频推理,从完整检查点里加载 2.4B 推理器。Jetson AI Lab 还单独发布了 Cosmos3-Edge-Reasoner。
  • vLLM-Omni:通过其视频接口跑生成和机器人动作工作流,可按负载单独部署,也可与推理器并行。

完整检查点和只部署推理器的资源需求并不相同,选配置前得先看 Jetson AI Lab 的模型指南。

性能数字怎么看

Jetson AI Lab 给出的测试条件是:vLLM 流式聊天接口、BF16、批大小 1、最多 128 个输出 token、贪心解码。单流解码受内存带宽限制,这也解释了 Thor 上结果相近的原因。到八路并发时,Thor T5000 的聚合吞吐约为 293 tokens/s,AGX Orin 约为 171 tokens/s。

这些是基准配置下的数字,不是应用性能保证,也不是端到端的机器人控制速率。

从看到杯子到做出决定

输入可以是文本提示、图像、短视频、机器人视角的观测,也可以选择性地以动作为条件。vLLM 路径返回文本,vLLM-Omni 支持生成图像、视频和动作块。动作块的结构取决于所选策略和配置,别默认所有端点共享同样的动作维度或时间跨度。

一条物理AI推理流水线,概念上分四步:

  1. 准备兼容的 Jetson 和软件栈。预构建的 Docker 容器能省掉依赖配置的麻烦,但容器和模型仍要与硬件、内存、软件版本对上。
  2. 提供多模态观测。摄像头给出机器人的视觉输入,帧或视频观测喂给模型,DeepStream 这类工具可支撑传感器处理管线。
  3. 对场景做推理。设想一段视频:有人把咖啡杯推向桌沿。目标检测器认出人、桌子和杯子,世界理解模型则去推理它们之间的关系,预测杯子可能掉落。这是示意场景,不是实测的成功拦截演示。
  4. 把结果接到下游决策。应用可以用 NVIDIA Agent Toolkit 这类工具组织决策和下游调用。一个假设性的决定可能是让机械臂伸向杯子,但真实执行仍需要机器人专属的控制、时序和验证。

作者也提到,小的 SO-ARM 速度足够慢,想看清、理解并真正接住掉落的杯子依然很难。Reachy Mini 的交互是另一个可尝试的方向。

和 Cosmos 3 Nano 差在哪

按描述,Edge 是约 4B、聚焦边缘部署、多模态推理和机器人策略的模型;16B 的 Nano 则面向资源更充裕的推理和后训练工作流。至于 8GB 的 Orin Nano,Jetson AI Lab 报告的是 Transformers BF16 多模态推理器配置,这不意味着整个 4B 模型的生成和机器人动作功能都能以同样方式跑在同一硬件上。

把模型跑起来只是开始。下一篇文章要接的是:观测如何变成动作决策,这些决策又怎么随着世界变化而更新。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

威尔逊:成为伟大冠军需要让人有点讨厌,面对赵心童时我只想重创他

世界体坛观察家
2026-11-16 17:08:49
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

环球网资讯
2026-11-14 07:45:05
有性生活和没性生活,区别竟然这么大!第一条就扎心了!

有性生活和没性生活,区别竟然这么大!第一条就扎心了!

医学原创故事会
2026-11-05 23:50:03
美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

美专家:中国已经提前准备好,开战后的第一件事,先废掉美国空军

真的好爱你
2026-11-16 13:37:42
内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

内讧?贝林怒斥皇马队友欧国联假摔!试图将其拽起+狂喷:别演戏了

我爱英超
2026-11-16 10:05:25
世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

世界经济奇观:腾飞的伊拉克,20年gdp增长1200%,民主的力量!

触摸史迹
2026-11-13 17:17:41
便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

便秘救星来了!早上蒸一碗,半小时立马跑厕所,大肚子瞬间变平坦

王二哥老搞笑
2026-11-16 18:41:26
《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

《天下足球》7分钟致敬C罗!令人动容,球迷:为何无梅西的专题?

汪星人哟
2026-11-16 20:38:45
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

斯托伊科维奇正式出任山东泰山主帅,克雷桑瞄准金靴,黄政宇迎爆发契机,中场大核急需补强,李源一或转会辽宁铁人

老周观体育
2026-11-16 21:02:21
美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

美国股指期货跌幅扩大 纳斯达克100指数期货跌超1.5%

每日经济新闻
2026-11-16 20:28:04
兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

铭记历史呀
2026-09-20 16:15:46
难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

难以置信!刘德华公开承认差不多一年没戏拍了,直言“为了生活”明年将主攻演唱会

火山詩话
2026-11-16 04:59:33
11月16日俄乌:最大规模的乌克兰无人机袭击

11月16日俄乌:最大规模的乌克兰无人机袭击

山河路口
2026-11-16 20:32:41
35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

35页PPT疯传:洛阳女子1女谈3男,每天卡时间,都已谈婚论嫁

烈史
2026-05-30 13:23:41
葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

懂球帝
2026-11-16 18:54:29
岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

岛内官宣!赖清德硬推这人来深圳参加APEC,国台办直接画下红线

天气观察站
2026-11-16 04:16:43
英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

英伟达这一仗打完,美方至少50年内都无法在芯片上锁死中国。

回京历史梦
2026-11-14 09:08:15
2026-11-16 22:23:00
字节漫游指南
字节漫游指南
有态度网友ytd
239文章数 134关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
艺术
亲子
家居
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

亲子要闻

宝宝气人但是聪明的4个行为

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版