网易首页 > 网易号 > 正文 申请入驻

给机器人打造推理大脑!英伟达开源7B世界基础模型,还推出两款全新GPU

0
分享至

智东西8月12日报道,今日,全球图形顶级会议SIGGRAPH 2025正式开幕,一如既往,英伟达连发多款硬核新品,推出两款全新工作站GPU、RTX PRO服务器,以及用于物理AI的NVIDIA Omniverse软件库、NVIDIA Cosmos世界基础模型和NVIDIA Metropolis平台更新。

新发布的Cosmos模型包括一款70亿参数的全新推理视觉语言模型(VLM)——NVIDIA Cosmos Reason,它能让机器人和视觉AI agents能够像人类一样利用先验知识、物理理解和常识进行推理。NVIDIA Cosmos Transfer-2模型可加速从3D仿真场景或空间控制输入中生成逼真的合成数据,还有针对速度进行进一步优化的Cosmos Transfers精简版。

全新NVIDIA RTX PRO 4000 Blackwell SFF版本和NVIDIA RTX PRO 2000 Blackwell GPU,采用第四代RT Core和第五代Tensor Core,功耗更低,尺寸仅为传统GPU的一半,将于今年晚些时候上市。

与上一代架构相比,RTX PRO 4000 SFF的AI性能提升多达2.5倍,光线追踪性能提升多达1.7倍,带宽提升多达1.5倍,在同样70W TDP的情况下效率更高。

RTX PRO 2000针对主流设计和AI工作流程进行了优化,与上一代相比,3D建模速度提高至1.6倍,计算机辅助设计(CAD)性能提高至1.4倍,渲染速度提高至1.6倍,图像生成速度提高多达1.4倍,文本生成速度提高多达2.3倍。

▲NVIDIA RTX PRO 2000 Blackwell

思科、戴尔科技、HPE、联想、超微将提供搭载NVIDIA RTX PRO 6000 Blackwell服务器版GPU的大容量新型2U主流服务器,覆盖多种配置,可加速Agentic AI、内容创作、数据分析、图形、科学模拟、工业和物理AI的企业工作负载。

RTX PRO服务器系列提供全系列机架式设计,可支持2个、4个或8个NVIDIA RTX PRO 6000 Blackwell GPU,非常适合运行使用AI推理模型执行复杂任务并实现自动化的AI agents。

配备8个RTX PRO 6000 GPU的4U规格服务器现已上市。2U主流RTX PRO服务器预计将于今年晚些时候上市。

一、全新Omniverse SDK和库:无缝模拟机器人,3D仿真现实世界

全新NVIDIA Omniverse软件开发套件(SDK)和库可用于构建和部署工业AI和机器人模拟应用。

新Omniverse SDK推出了MuJoCo(MJCF)和通用场景描述(OpenUSD)之间的数据互操作性,帮助超过25万名MJCF机器人学习开发者无缝模拟各平台的机器人。

新Omniverse NuRec库和AI模型引入Omniverse RTX光线追踪3D高斯溅射(3DGS)技术。这种渲染技术可帮助开发者利用传感器数据,以3D形式捕捉、重建和模拟现实世界。

NVIDIA Isaac Sim 5.0和NVIDIA Isaac Lab 2.2开源机器人模拟和学习框架已在GitHub上提供。Isaac Sim包括NuRec神经渲染和基于OpenUSD的全新机器人和传感器模式,可帮助机器人开发者弥合仿真与现实之间的差距。

GitHub地址:github.com/isaac-sim/IsaacSim

Omniverse NuRec渲染已集成到拥有超过15万名开发者的开源模拟器CARLA中。波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel、Skild AI正在采用Omniverse库、Isaac Sim和Isaac Lab来加速其AI机器人开发,亚马逊设备与服务公司正在使用它们来支持新的制造解决方案。

为了帮助开发者充分利用这些软件库及先进技术,NVIDIA宣布推出为高要求工作负载而设计的AI基础设施。

NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和仿真等各种机器人开发工作负载提供统一架构。NVIDIA DGX Cloud现已在微软Azure Marketplace上提供,为Omniverse开发提供了一个全托管平台,可简化从云端大规模流式传输基于OpenUSD和NVIDIA RTX的应用,从而最大限度地减少基础设施编排和管理。

二、Cosmos模型下载量超200万次,新增开源7B推理VLM

NVIDIA Cosmos世界基础模型的下载量已超过200万次,使开发者可使用文本、图像和视频提示生成用于大规模训练机器人的各种数据。新发布的模型在合成数据生成速度、准确性、语言支持和控制等方面取得进步。

即将发布的Cosmos Transfer-2简化了提示,并能从地面实况3D仿真场景或空间控制输入(如深度、分割、边缘和高清地图)中快速生成逼真的合成数据。

Cosmos Transfer精简版将70个步骤的蒸馏过程简化成一步,使得在NVIDIA RTX PRO服务器上运行模型的速度大大提升。

Lightwheel、Moon Surgical和Skild AI正在使用Cosmos Transfer通过大规模模拟各种条件来加速物理AI训练。

此前视觉语言模型(VLM)尚无法解决多步骤任务,也无法处理模糊性或新奇的体验。

NVIDIA Cosmos Reason是一款可定制的开源推理VLM,拥有70亿参数,面向用于物理AI和机器人开发。

它可以让机器人和视觉AI agents像人类一样推理,利用先验知识、物理理解和常识来理解现实世界并付诸行动,因此可用于数据管理、机器人规划和视频分析等场景。

该模型可用于机器人和物理AI应用,包括:

(1)数据管理和注释,帮助开发者自动对海量、多样化的训练数据集进行高质量管理和注释。

(2)机器人规划和推理,在机器人VLA模型中充当大脑,进行有意识、有条理的决策,使机器人能解读环境,并在收到复杂命令后,将其分解为任务,并运用常识执行,即使在不熟悉的环境中。

(3)视频分析AI agents基于可用于视频搜索和总结的NVIDIA Blueprint构建,可从海量视频数据中提取有价值的见解并进行根本原因分析。

NVIDIA机器人团队和NVIDIA DRIVE团队正在使用Cosmos Reason进行数据整理和筛选、注释以及VLA后训练。Uber正在使用它来为辅助驾驶训练数据添加注释和字幕。

NVIDIA Cosmos-Reason1-7B模型可在新发布的RTX PRO 4000 SFF上无缝运行,为边缘设备、紧凑型工作站和工业系统提供出色的物理AI推理能力。

三、NVIDIA Metropolis五连更,让物理AI应用开发更轻松

NVIDIA Metropolis平台简化了视频分析AI agents和服务从边缘到云的开发、部署和扩展。开发者可利用该平台更快地为其设施构建视觉感知,以提高生产力,并提高各环境的安全性。

NVIDIA Metropolis的五项关键更新,有望推进开发者更快、更轻松地构建物理AI应用。

(1)Cosmos Reason VLM:最新版Cosmos Reason可实现针对Metropolis用例的上下文视频理解和时间事件推理。小参数量使其易于从边缘到云端部署,非常适合自动化交通监控、公共安全、视觉检查和智能决策。

(2)VSS Blueprint 2.4:VSS 2.4可轻松快速地通过Cosmos Reason来增强现有视觉AI应用,具有一组扩展应用编程接口,为用户直接提供了更大的灵活性,使其能够选择特定的VSS组件和功能来通过生成式 AI 增强计算机视觉管线。

(3)全新视觉基础模型:NVIDIA TAO工具套件包括一套全新视觉基础模型,以及高级微调方法、自监督学习和知识蒸馏功能,能够优化边缘与云环境中的物理AI解决方案部署。NVIDIA DeepStream SDK具备一个全新推理生成器,可无缝部署TAO 6模型。

(4)NVIDIA Isaac Sim扩展:NVIDIA Isaac Sim参考应用中的新扩展工具有助于解决视觉AI开发中的常见挑战,例如有限的标注数据和罕见的边缘场景。这些工具可以模拟人机交互,生成丰富的目标检测数据集,并创建基于事件的场景和图像-字幕对,来训练VLM并加速开发,提高AI在现实世界条件下的性能。

(5)扩展硬件支持:所有Metropolis组件均可在NVIDIA RTX PRO Blackwell GPU、NVIDIA DGX Spark桌面超级计算机以及用于物理AI和人形机器人的NVIDIA Jetson Thor平台上运行,用户可从边缘到云端进行开发与部署。

Cosmos Reason 1和NVIDIA TAO 6.0均已开放下载。

四、展示多项创新研究,覆盖模拟、AI渲染、3D内容生成

NVIDIA研究人员在SIGGRAPH上展示了模拟、AI渲染和3D内容生成方面的进展,可能有助于虚拟世界创建、机器人开发和自动驾驶汽车训练。

一篇论文探讨了从2D图像或视频重建物理感知3D几何体的挑战。虽然许多模型可以根据视频片段估计3D物体,但生成的3D形状通常缺乏结构稳定性。即使在视觉上与真实物体非常接近,生成的形状也可能存在比例略微不均匀或细节缺失的问题,从而影响其物理真实感。

例如,用2D素材构建的椅子3D模拟模型,如果放入物理精准的模拟环境中,可能会塌陷,因为AI模型是基于视觉估算3D结构,而非实际测量结果。这篇论文介绍的方法有助于确保生成的3D形状能够真实还原现实世界的物理特性,从而支持创建用于物理AI训练的虚拟世界。

另一篇论文介绍了一种通过物理上精确的运动赋予模拟角色生命的技术。研究人员将运动生成器与基于物理的跟踪控制器相结合,为复杂的动作(例如跑酷运动员的特技)生成逼真的合成数据。这些数据可以帮助开发虚拟角色或训练现实世界的人形机器人,使其具有现实世界训练数据中很少见的敏捷运动技能。

其他论文探讨了模拟光和材料的复杂性。

一个项目展示了如何创建AI助手来增强材质细节。它利用扩散模型和基于可微分物理的渲染器,为创作者提供了一种在3D对象表示上轻松修改材质纹理贴图的方法,使创作者能用简单的文本提示创建更丰富、更逼真的虚拟世界。研究团队演示了如何使用该模型快速添加逼真的物体细节,例如风化或老化的痕迹。这些细节使用传统渲染方法创建起来非常耗时。

在光模拟领域,一篇论文解决了可微分渲染中的挑战,引入了一种强大的可微分可见性查询,可以更快、更准确地从图像和视频中重建3D几何体。一个示例是将正向渲染和逆向渲染结合在一起,快速从虚拟世界中提取参数,这些参数对于在合成数据集上精确训练物理AI模型至关重要。

结语:押注物理AI,将信息世界与物理世界打通

NVIDIA正在为其GPU开辟一个更广阔的市场,而它嗅到的下一个风向便是将计算机图形和AI能力进一步结合的物理AI。而无论是图形和仿真创新,还是加速AI计算,都是NVIDIA的优势所在。

物理AI已逐渐成为现代机器人、自动驾驶汽车、智慧城市、设施和工业流程的基础,它依赖于神经图形、合成数据生成、基于物理的模拟仿真、强化学习和AI推理的融合。

在SIGGRAPH 2025期间,NVIDIA展示了包括NVIDIA Omniverse库、NVIDIA Cosmos世界基础模型、RTX PRO Blackwell GPU及服务器在内的一系列软硬件基础设施如何为物理AI和机器人工作负载提供动力。

为了帮助机器人和物理AI开发者推进3D和模拟技术的采用,NVIDIA还宣布OpenUSD课程和认证,以满足对USD专业知识的需求,并宣布与Lightwheel进行开源合作,将机器人策略训练和评估框架集成到NVIDIA Isaac Lab中,具备并行强化学习训练功能,以及机器人操作和运动的基准测试和仿真就绪资产。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
森林狼队主帅谈凯文·加内特重返明尼苏达的“特别”意义:非凡

森林狼队主帅谈凯文·加内特重返明尼苏达的“特别”意义:非凡

好火子
2026-04-14 00:36:21
十大元帅,只有一个人,真正在前线指挥过我军全部主力打仗

十大元帅,只有一个人,真正在前线指挥过我军全部主力打仗

史之铭
2026-04-12 17:34:11
反映66盏路灯不亮,却被威胁“先拘留15天”:湖南男子的真实遭遇

反映66盏路灯不亮,却被威胁“先拘留15天”:湖南男子的真实遭遇

听心堂
2026-04-12 14:50:13
茶水是心梗“加速器”?医生:不想心脏出问题,这几种茶一定少喝

茶水是心梗“加速器”?医生:不想心脏出问题,这几种茶一定少喝

健康之光
2026-03-28 16:00:09
紧急提醒!人民币突然大涨!有存款的家庭,今年钱更值钱了!

紧急提醒!人民币突然大涨!有存款的家庭,今年钱更值钱了!

次元君情感
2026-04-13 03:13:34
煮米饭别只加清水!酒店不外传秘诀,粒粒蓬松超好吃

煮米饭别只加清水!酒店不外传秘诀,粒粒蓬松超好吃

开心美食白科
2026-04-09 09:43:04
期望越高失望越大!盘点最拉胯的5名球员,史密斯没悬念排第一

期望越高失望越大!盘点最拉胯的5名球员,史密斯没悬念排第一

郝小小看体育
2026-04-13 10:58:14
美伊和谈?强权傲慢下的荒诞闹剧!

美伊和谈?强权傲慢下的荒诞闹剧!

小眼睛小世界
2026-04-13 06:16:10
开国上将闹离婚:结发40年竟遭发妻死命举报,六名子女为何如释重负

开国上将闹离婚:结发40年竟遭发妻死命举报,六名子女为何如释重负

睡前讲故事
2026-04-07 14:43:34
纯电车别瞎买!2026年最新质量榜:仅33款达标,Model Y、元UP上榜

纯电车别瞎买!2026年最新质量榜:仅33款达标,Model Y、元UP上榜

西莫的艺术宫殿
2026-04-11 03:56:18
大众汽车官宣,停产纯电车型!

大众汽车官宣,停产纯电车型!

新浪财经
2026-04-11 15:06:14
身材走样,步行者哈利伯顿在带状疱疹“痛苦经历”中坦白体重增加

身材走样,步行者哈利伯顿在带状疱疹“痛苦经历”中坦白体重增加

好火子
2026-04-14 00:38:17
越南也建高铁了,时速350公里,使用德国技术!为何没与我国合作

越南也建高铁了,时速350公里,使用德国技术!为何没与我国合作

老范谈史
2026-04-13 18:09:39
越来越多的人查出肠癌!医生含泪苦劝:冰箱久置的这4物是帮凶

越来越多的人查出肠癌!医生含泪苦劝:冰箱久置的这4物是帮凶

岐黄传人孙大夫
2026-03-17 23:25:03
嫣然天使儿童医院确定搬迁,拖欠租金已和房东达成一致;院方:12月前所有业务原址正常开展

嫣然天使儿童医院确定搬迁,拖欠租金已和房东达成一致;院方:12月前所有业务原址正常开展

大风新闻
2026-04-13 18:07:34
谈判破裂,川普的“二道封锁”,德黑兰错过了最后的台阶

谈判破裂,川普的“二道封锁”,德黑兰错过了最后的台阶

难得君
2026-04-13 17:20:42
理性讨论!如广东新大外到位,四大外援谁将被裁?

理性讨论!如广东新大外到位,四大外援谁将被裁?

郝小小看体育
2026-04-14 00:17:48
统一台湾的最大障碍,不是美国和台独,而是“中华民国”这个称号

统一台湾的最大障碍,不是美国和台独,而是“中华民国”这个称号

丞丞故事汇
2026-03-30 11:39:12
乌克兰撤退至苏梅州的新防线,承认俄军兵力装备占优

乌克兰撤退至苏梅州的新防线,承认俄军兵力装备占优

桂系007
2026-04-13 23:51:50
刘强东拿下深蓝汽车,爆了!

刘强东拿下深蓝汽车,爆了!

财经三分钟pro
2026-04-13 16:15:21
2026-04-14 01:51:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
11568文章数 117028关注度
往期回顾 全部

科技要闻

"抄作业"近四年,马斯克版微信周五上线

头条要闻

上海女子2个月内结2次婚 生下的孩子却是第3个男人的

头条要闻

上海女子2个月内结2次婚 生下的孩子却是第3个男人的

体育要闻

一支球队不够烂,也是一种悲哀

娱乐要闻

初代“跑男团”合体,邓超、鹿晗缺席

财经要闻

谈判未完全关闭?3国力促美伊重启谈判

汽车要闻

不止命名更纯粹 领克10/10+要做纯电操控新王

态度原创

本地
手机
数码
公开课
军事航空

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

手机要闻

华为PuraXMax官宣!大阔折手机来了

数码要闻

壹号本ONEXStation i1迷你主机发售,18999元

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普:今晚10点封锁伊朗 对北约非常失望

无障碍浏览 进入关怀版