网易首页 > 网易号 > 正文 申请入驻

给机器人打造推理大脑!英伟达开源7B世界基础模型,还推出两款全新GPU

0
分享至

智东西8月12日报道,今日,全球图形顶级会议SIGGRAPH 2025正式开幕,一如既往,英伟达连发多款硬核新品,推出两款全新工作站GPU、RTX PRO服务器,以及用于物理AI的NVIDIA Omniverse软件库、NVIDIA Cosmos世界基础模型和NVIDIA Metropolis平台更新。

新发布的Cosmos模型包括一款70亿参数的全新推理视觉语言模型(VLM)——NVIDIA Cosmos Reason,它能让机器人和视觉AI agents能够像人类一样利用先验知识、物理理解和常识进行推理。NVIDIA Cosmos Transfer-2模型可加速从3D仿真场景或空间控制输入中生成逼真的合成数据,还有针对速度进行进一步优化的Cosmos Transfers精简版。

全新NVIDIA RTX PRO 4000 Blackwell SFF版本和NVIDIA RTX PRO 2000 Blackwell GPU,采用第四代RT Core和第五代Tensor Core,功耗更低,尺寸仅为传统GPU的一半,将于今年晚些时候上市。

与上一代架构相比,RTX PRO 4000 SFF的AI性能提升多达2.5倍,光线追踪性能提升多达1.7倍,带宽提升多达1.5倍,在同样70W TDP的情况下效率更高。

RTX PRO 2000针对主流设计和AI工作流程进行了优化,与上一代相比,3D建模速度提高至1.6倍,计算机辅助设计(CAD)性能提高至1.4倍,渲染速度提高至1.6倍,图像生成速度提高多达1.4倍,文本生成速度提高多达2.3倍。

▲NVIDIA RTX PRO 2000 Blackwell

思科、戴尔科技、HPE、联想、超微将提供搭载NVIDIA RTX PRO 6000 Blackwell服务器版GPU的大容量新型2U主流服务器,覆盖多种配置,可加速Agentic AI、内容创作、数据分析、图形、科学模拟、工业和物理AI的企业工作负载。

RTX PRO服务器系列提供全系列机架式设计,可支持2个、4个或8个NVIDIA RTX PRO 6000 Blackwell GPU,非常适合运行使用AI推理模型执行复杂任务并实现自动化的AI agents。

配备8个RTX PRO 6000 GPU的4U规格服务器现已上市。2U主流RTX PRO服务器预计将于今年晚些时候上市。

一、全新Omniverse SDK和库:无缝模拟机器人,3D仿真现实世界

全新NVIDIA Omniverse软件开发套件(SDK)和库可用于构建和部署工业AI和机器人模拟应用。

新Omniverse SDK推出了MuJoCo(MJCF)和通用场景描述(OpenUSD)之间的数据互操作性,帮助超过25万名MJCF机器人学习开发者无缝模拟各平台的机器人。

新Omniverse NuRec库和AI模型引入Omniverse RTX光线追踪3D高斯溅射(3DGS)技术。这种渲染技术可帮助开发者利用传感器数据,以3D形式捕捉、重建和模拟现实世界。

NVIDIA Isaac Sim 5.0和NVIDIA Isaac Lab 2.2开源机器人模拟和学习框架已在GitHub上提供。Isaac Sim包括NuRec神经渲染和基于OpenUSD的全新机器人和传感器模式,可帮助机器人开发者弥合仿真与现实之间的差距。

GitHub地址:github.com/isaac-sim/IsaacSim

Omniverse NuRec渲染已集成到拥有超过15万名开发者的开源模拟器CARLA中。波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel、Skild AI正在采用Omniverse库、Isaac Sim和Isaac Lab来加速其AI机器人开发,亚马逊设备与服务公司正在使用它们来支持新的制造解决方案。

为了帮助开发者充分利用这些软件库及先进技术,NVIDIA宣布推出为高要求工作负载而设计的AI基础设施。

NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和仿真等各种机器人开发工作负载提供统一架构。NVIDIA DGX Cloud现已在微软Azure Marketplace上提供,为Omniverse开发提供了一个全托管平台,可简化从云端大规模流式传输基于OpenUSD和NVIDIA RTX的应用,从而最大限度地减少基础设施编排和管理。

二、Cosmos模型下载量超200万次,新增开源7B推理VLM

NVIDIA Cosmos世界基础模型的下载量已超过200万次,使开发者可使用文本、图像和视频提示生成用于大规模训练机器人的各种数据。新发布的模型在合成数据生成速度、准确性、语言支持和控制等方面取得进步。

即将发布的Cosmos Transfer-2简化了提示,并能从地面实况3D仿真场景或空间控制输入(如深度、分割、边缘和高清地图)中快速生成逼真的合成数据。

Cosmos Transfer精简版将70个步骤的蒸馏过程简化成一步,使得在NVIDIA RTX PRO服务器上运行模型的速度大大提升。

Lightwheel、Moon Surgical和Skild AI正在使用Cosmos Transfer通过大规模模拟各种条件来加速物理AI训练。

此前视觉语言模型(VLM)尚无法解决多步骤任务,也无法处理模糊性或新奇的体验。

NVIDIA Cosmos Reason是一款可定制的开源推理VLM,拥有70亿参数,面向用于物理AI和机器人开发。

它可以让机器人和视觉AI agents像人类一样推理,利用先验知识、物理理解和常识来理解现实世界并付诸行动,因此可用于数据管理、机器人规划和视频分析等场景。

该模型可用于机器人和物理AI应用,包括:

(1)数据管理和注释,帮助开发者自动对海量、多样化的训练数据集进行高质量管理和注释。

(2)机器人规划和推理,在机器人VLA模型中充当大脑,进行有意识、有条理的决策,使机器人能解读环境,并在收到复杂命令后,将其分解为任务,并运用常识执行,即使在不熟悉的环境中。

(3)视频分析AI agents基于可用于视频搜索和总结的NVIDIA Blueprint构建,可从海量视频数据中提取有价值的见解并进行根本原因分析。

NVIDIA机器人团队和NVIDIA DRIVE团队正在使用Cosmos Reason进行数据整理和筛选、注释以及VLA后训练。Uber正在使用它来为辅助驾驶训练数据添加注释和字幕。

NVIDIA Cosmos-Reason1-7B模型可在新发布的RTX PRO 4000 SFF上无缝运行,为边缘设备、紧凑型工作站和工业系统提供出色的物理AI推理能力。

三、NVIDIA Metropolis五连更,让物理AI应用开发更轻松

NVIDIA Metropolis平台简化了视频分析AI agents和服务从边缘到云的开发、部署和扩展。开发者可利用该平台更快地为其设施构建视觉感知,以提高生产力,并提高各环境的安全性。

NVIDIA Metropolis的五项关键更新,有望推进开发者更快、更轻松地构建物理AI应用。

(1)Cosmos Reason VLM:最新版Cosmos Reason可实现针对Metropolis用例的上下文视频理解和时间事件推理。小参数量使其易于从边缘到云端部署,非常适合自动化交通监控、公共安全、视觉检查和智能决策。

(2)VSS Blueprint 2.4:VSS 2.4可轻松快速地通过Cosmos Reason来增强现有视觉AI应用,具有一组扩展应用编程接口,为用户直接提供了更大的灵活性,使其能够选择特定的VSS组件和功能来通过生成式 AI 增强计算机视觉管线。

(3)全新视觉基础模型:NVIDIA TAO工具套件包括一套全新视觉基础模型,以及高级微调方法、自监督学习和知识蒸馏功能,能够优化边缘与云环境中的物理AI解决方案部署。NVIDIA DeepStream SDK具备一个全新推理生成器,可无缝部署TAO 6模型。

(4)NVIDIA Isaac Sim扩展:NVIDIA Isaac Sim参考应用中的新扩展工具有助于解决视觉AI开发中的常见挑战,例如有限的标注数据和罕见的边缘场景。这些工具可以模拟人机交互,生成丰富的目标检测数据集,并创建基于事件的场景和图像-字幕对,来训练VLM并加速开发,提高AI在现实世界条件下的性能。

(5)扩展硬件支持:所有Metropolis组件均可在NVIDIA RTX PRO Blackwell GPU、NVIDIA DGX Spark桌面超级计算机以及用于物理AI和人形机器人的NVIDIA Jetson Thor平台上运行,用户可从边缘到云端进行开发与部署。

Cosmos Reason 1和NVIDIA TAO 6.0均已开放下载。

四、展示多项创新研究,覆盖模拟、AI渲染、3D内容生成

NVIDIA研究人员在SIGGRAPH上展示了模拟、AI渲染和3D内容生成方面的进展,可能有助于虚拟世界创建、机器人开发和自动驾驶汽车训练。

一篇论文探讨了从2D图像或视频重建物理感知3D几何体的挑战。虽然许多模型可以根据视频片段估计3D物体,但生成的3D形状通常缺乏结构稳定性。即使在视觉上与真实物体非常接近,生成的形状也可能存在比例略微不均匀或细节缺失的问题,从而影响其物理真实感。

例如,用2D素材构建的椅子3D模拟模型,如果放入物理精准的模拟环境中,可能会塌陷,因为AI模型是基于视觉估算3D结构,而非实际测量结果。这篇论文介绍的方法有助于确保生成的3D形状能够真实还原现实世界的物理特性,从而支持创建用于物理AI训练的虚拟世界。

另一篇论文介绍了一种通过物理上精确的运动赋予模拟角色生命的技术。研究人员将运动生成器与基于物理的跟踪控制器相结合,为复杂的动作(例如跑酷运动员的特技)生成逼真的合成数据。这些数据可以帮助开发虚拟角色或训练现实世界的人形机器人,使其具有现实世界训练数据中很少见的敏捷运动技能。

其他论文探讨了模拟光和材料的复杂性。

一个项目展示了如何创建AI助手来增强材质细节。它利用扩散模型和基于可微分物理的渲染器,为创作者提供了一种在3D对象表示上轻松修改材质纹理贴图的方法,使创作者能用简单的文本提示创建更丰富、更逼真的虚拟世界。研究团队演示了如何使用该模型快速添加逼真的物体细节,例如风化或老化的痕迹。这些细节使用传统渲染方法创建起来非常耗时。

在光模拟领域,一篇论文解决了可微分渲染中的挑战,引入了一种强大的可微分可见性查询,可以更快、更准确地从图像和视频中重建3D几何体。一个示例是将正向渲染和逆向渲染结合在一起,快速从虚拟世界中提取参数,这些参数对于在合成数据集上精确训练物理AI模型至关重要。

结语:押注物理AI,将信息世界与物理世界打通

NVIDIA正在为其GPU开辟一个更广阔的市场,而它嗅到的下一个风向便是将计算机图形和AI能力进一步结合的物理AI。而无论是图形和仿真创新,还是加速AI计算,都是NVIDIA的优势所在。

物理AI已逐渐成为现代机器人、自动驾驶汽车、智慧城市、设施和工业流程的基础,它依赖于神经图形、合成数据生成、基于物理的模拟仿真、强化学习和AI推理的融合。

在SIGGRAPH 2025期间,NVIDIA展示了包括NVIDIA Omniverse库、NVIDIA Cosmos世界基础模型、RTX PRO Blackwell GPU及服务器在内的一系列软硬件基础设施如何为物理AI和机器人工作负载提供动力。

为了帮助机器人和物理AI开发者推进3D和模拟技术的采用,NVIDIA还宣布OpenUSD课程和认证,以满足对USD专业知识的需求,并宣布与Lightwheel进行开源合作,将机器人策略训练和评估框架集成到NVIDIA Isaac Lab中,具备并行强化学习训练功能,以及机器人操作和运动的基准测试和仿真就绪资产。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
绝不中立!阿根廷总统:以色列若沦陷,整个西方将遭遇灭顶之灾

绝不中立!阿根廷总统:以色列若沦陷,整个西方将遭遇灭顶之灾

面包夹知识
2026-07-03 13:54:23
人过六十,这四个地方千万别去,不是迷信,是过来人的血泪教训

人过六十,这四个地方千万别去,不是迷信,是过来人的血泪教训

来去自如的小章
2026-07-04 19:44:21
14.1亿人里到底多少人在负债过日子?数据被揭开 结果比想象更扎心

14.1亿人里到底多少人在负债过日子?数据被揭开 结果比想象更扎心

牛锅巴小钒
2026-06-29 17:38:24
辛纳大胜德约丢盘,小拉法被日黑马逆转,丰塞卡脆败,大坂战萨巴

辛纳大胜德约丢盘,小拉法被日黑马逆转,丰塞卡脆败,大坂战萨巴

网球之家
2026-07-04 12:48:03
7月2日俄再次大规模轰炸基辅:明知无效,为何不停手?

7月2日俄再次大规模轰炸基辅:明知无效,为何不停手?

高博新视野
2026-07-03 21:00:02
糯康临刑吐露实情,金三角毒枭不惧武警枪械,唯独忌惮尘封密令

糯康临刑吐露实情,金三角毒枭不惧武警枪械,唯独忌惮尘封密令

唠叨说历史
2026-07-03 17:01:04
放弃4230万年薪!僵持4天仍未签约,原来哈登拖签真相骗了全网!

放弃4230万年薪!僵持4天仍未签约,原来哈登拖签真相骗了全网!

夕落秋山
2026-07-04 16:35:36
内马尔4场仅上20分钟!安帅高情商回应!球迷:C罗听了也愿打替补

内马尔4场仅上20分钟!安帅高情商回应!球迷:C罗听了也愿打替补

听我说球
2026-07-04 08:41:36
男篮输日本主因,阵中少了三个关键人,有他们在不会惨败19分

男篮输日本主因,阵中少了三个关键人,有他们在不会惨败19分

兵哥篮球故事
2026-07-04 12:17:05
心理学:如果一个人对家人一点就炸、说话不留情,对外人却稳重克制、彬彬有礼,不是双面性格,根源追下来就是这两个字

心理学:如果一个人对家人一点就炸、说话不留情,对外人却稳重克制、彬彬有礼,不是双面性格,根源追下来就是这两个字

心理观察局
2026-07-04 06:41:19
世界杯头号卧底!阿根廷 1.2 亿水货拖垮全队!卫冕冠军险被淘汰

世界杯头号卧底!阿根廷 1.2 亿水货拖垮全队!卫冕冠军险被淘汰

澜归序
2026-07-04 09:31:48
伊朗军队泣不成声,惧怕美以都被炸死了,现在都是不怕美以的

伊朗军队泣不成声,惧怕美以都被炸死了,现在都是不怕美以的

农夫史记
2026-07-04 21:11:19
奥运冠军庄晓岩曝丑闻:辽足训练中心教练刘某学,睡队员家长

奥运冠军庄晓岩曝丑闻:辽足训练中心教练刘某学,睡队员家长

南海浪花
2026-07-02 19:00:39
Lisa出席曼谷活动,实锤Lisa的嘴巴和眼睛一样宽,打脸洗白的粉丝

Lisa出席曼谷活动,实锤Lisa的嘴巴和眼睛一样宽,打脸洗白的粉丝

芊手若
2026-07-04 05:48:32
车企总经理直播被骂到哽咽下播

车企总经理直播被骂到哽咽下播

电动知家
2026-07-03 22:56:55
人有没有血栓,喝水就知道?体内有血栓的人,喝水常有这4个表现

人有没有血栓,喝水就知道?体内有血栓的人,喝水常有这4个表现

健康之光
2026-07-04 19:55:04
2026高考惊现“神仙卷面”!英文字迹像打印体,阅卷老师:高分

2026高考惊现“神仙卷面”!英文字迹像打印体,阅卷老师:高分

菁妈育儿
2026-07-04 15:09:01
2026最新中国大学排名

2026最新中国大学排名

山东教育
2026-07-04 16:38:22
太阳报:小贝之子身穿阿根廷球衣看世界杯引争议

太阳报:小贝之子身穿阿根廷球衣看世界杯引争议

懂球帝
2026-07-04 17:13:06
销量猛增23%却遭“五连告”:小米的至暗时刻,亦是转型的成人礼

销量猛增23%却遭“五连告”:小米的至暗时刻,亦是转型的成人礼

家电派
2026-07-03 18:04:11
2026-07-04 23:28:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12176文章数 117119关注度
往期回顾 全部

科技要闻

韬定律论文V2版,充工程细节和实测数据

头条要闻

一家三口新疆自驾游突遇山洪 母子避险被冲走失联多日

头条要闻

一家三口新疆自驾游突遇山洪 母子避险被冲走失联多日

体育要闻

揭法国锋线最大优势 有人比姆巴佩还快?

娱乐要闻

白鹿打戏抠图惹非议 连累丞磊遭扒皮

财经要闻

韩国股市杠杆失控:450亿美元资金狂飙

汽车要闻

方程豹钛9内饰曝光 用上了长联屏设计/下半年上市

态度原创

家居
教育
时尚
数码
健康

家居要闻

传奇筑 日常诗

教育要闻

UCAS补录全攻略:clearing其实是速度和信息差之战!

别再说"露肩衣服 "难驾驭!看看这几组日常穿搭,大方有回头率

数码要闻

中国空调在欧洲卖爆 多品牌正加急补货

听说少吃点能抗衰老?专家讲解!

无障碍浏览 进入关怀版