网易首页 > 网易号 > 正文 申请入驻

给机器人打造推理大脑!英伟达开源7B世界基础模型,还推出两款全新GPU

0
分享至

智东西8月12日报道,今日,全球图形顶级会议SIGGRAPH 2025正式开幕,一如既往,英伟达连发多款硬核新品,推出两款全新工作站GPU、RTX PRO服务器,以及用于物理AI的NVIDIA Omniverse软件库、NVIDIA Cosmos世界基础模型和NVIDIA Metropolis平台更新。

新发布的Cosmos模型包括一款70亿参数的全新推理视觉语言模型(VLM)——NVIDIA Cosmos Reason,它能让机器人和视觉AI agents能够像人类一样利用先验知识、物理理解和常识进行推理。NVIDIA Cosmos Transfer-2模型可加速从3D仿真场景或空间控制输入中生成逼真的合成数据,还有针对速度进行进一步优化的Cosmos Transfers精简版。

全新NVIDIA RTX PRO 4000 Blackwell SFF版本和NVIDIA RTX PRO 2000 Blackwell GPU,采用第四代RT Core和第五代Tensor Core,功耗更低,尺寸仅为传统GPU的一半,将于今年晚些时候上市。

与上一代架构相比,RTX PRO 4000 SFF的AI性能提升多达2.5倍,光线追踪性能提升多达1.7倍,带宽提升多达1.5倍,在同样70W TDP的情况下效率更高。

RTX PRO 2000针对主流设计和AI工作流程进行了优化,与上一代相比,3D建模速度提高至1.6倍,计算机辅助设计(CAD)性能提高至1.4倍,渲染速度提高至1.6倍,图像生成速度提高多达1.4倍,文本生成速度提高多达2.3倍。

▲NVIDIA RTX PRO 2000 Blackwell

思科、戴尔科技、HPE、联想、超微将提供搭载NVIDIA RTX PRO 6000 Blackwell服务器版GPU的大容量新型2U主流服务器,覆盖多种配置,可加速Agentic AI、内容创作、数据分析、图形、科学模拟、工业和物理AI的企业工作负载。

RTX PRO服务器系列提供全系列机架式设计,可支持2个、4个或8个NVIDIA RTX PRO 6000 Blackwell GPU,非常适合运行使用AI推理模型执行复杂任务并实现自动化的AI agents。

配备8个RTX PRO 6000 GPU的4U规格服务器现已上市。2U主流RTX PRO服务器预计将于今年晚些时候上市。

一、全新Omniverse SDK和库:无缝模拟机器人,3D仿真现实世界

全新NVIDIA Omniverse软件开发套件(SDK)和库可用于构建和部署工业AI和机器人模拟应用。

新Omniverse SDK推出了MuJoCo(MJCF)和通用场景描述(OpenUSD)之间的数据互操作性,帮助超过25万名MJCF机器人学习开发者无缝模拟各平台的机器人。

新Omniverse NuRec库和AI模型引入Omniverse RTX光线追踪3D高斯溅射(3DGS)技术。这种渲染技术可帮助开发者利用传感器数据,以3D形式捕捉、重建和模拟现实世界。

NVIDIA Isaac Sim 5.0和NVIDIA Isaac Lab 2.2开源机器人模拟和学习框架已在GitHub上提供。Isaac Sim包括NuRec神经渲染和基于OpenUSD的全新机器人和传感器模式,可帮助机器人开发者弥合仿真与现实之间的差距。

GitHub地址:github.com/isaac-sim/IsaacSim

Omniverse NuRec渲染已集成到拥有超过15万名开发者的开源模拟器CARLA中。波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel、Skild AI正在采用Omniverse库、Isaac Sim和Isaac Lab来加速其AI机器人开发,亚马逊设备与服务公司正在使用它们来支持新的制造解决方案。

为了帮助开发者充分利用这些软件库及先进技术,NVIDIA宣布推出为高要求工作负载而设计的AI基础设施。

NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和仿真等各种机器人开发工作负载提供统一架构。NVIDIA DGX Cloud现已在微软Azure Marketplace上提供,为Omniverse开发提供了一个全托管平台,可简化从云端大规模流式传输基于OpenUSD和NVIDIA RTX的应用,从而最大限度地减少基础设施编排和管理。

二、Cosmos模型下载量超200万次,新增开源7B推理VLM

NVIDIA Cosmos世界基础模型的下载量已超过200万次,使开发者可使用文本、图像和视频提示生成用于大规模训练机器人的各种数据。新发布的模型在合成数据生成速度、准确性、语言支持和控制等方面取得进步。

即将发布的Cosmos Transfer-2简化了提示,并能从地面实况3D仿真场景或空间控制输入(如深度、分割、边缘和高清地图)中快速生成逼真的合成数据。

Cosmos Transfer精简版将70个步骤的蒸馏过程简化成一步,使得在NVIDIA RTX PRO服务器上运行模型的速度大大提升。

Lightwheel、Moon Surgical和Skild AI正在使用Cosmos Transfer通过大规模模拟各种条件来加速物理AI训练。

此前视觉语言模型(VLM)尚无法解决多步骤任务,也无法处理模糊性或新奇的体验。

NVIDIA Cosmos Reason是一款可定制的开源推理VLM,拥有70亿参数,面向用于物理AI和机器人开发。

它可以让机器人和视觉AI agents像人类一样推理,利用先验知识、物理理解和常识来理解现实世界并付诸行动,因此可用于数据管理、机器人规划和视频分析等场景。

该模型可用于机器人和物理AI应用,包括:

(1)数据管理和注释,帮助开发者自动对海量、多样化的训练数据集进行高质量管理和注释。

(2)机器人规划和推理,在机器人VLA模型中充当大脑,进行有意识、有条理的决策,使机器人能解读环境,并在收到复杂命令后,将其分解为任务,并运用常识执行,即使在不熟悉的环境中。

(3)视频分析AI agents基于可用于视频搜索和总结的NVIDIA Blueprint构建,可从海量视频数据中提取有价值的见解并进行根本原因分析。

NVIDIA机器人团队和NVIDIA DRIVE团队正在使用Cosmos Reason进行数据整理和筛选、注释以及VLA后训练。Uber正在使用它来为辅助驾驶训练数据添加注释和字幕。

NVIDIA Cosmos-Reason1-7B模型可在新发布的RTX PRO 4000 SFF上无缝运行,为边缘设备、紧凑型工作站和工业系统提供出色的物理AI推理能力。

三、NVIDIA Metropolis五连更,让物理AI应用开发更轻松

NVIDIA Metropolis平台简化了视频分析AI agents和服务从边缘到云的开发、部署和扩展。开发者可利用该平台更快地为其设施构建视觉感知,以提高生产力,并提高各环境的安全性。

NVIDIA Metropolis的五项关键更新,有望推进开发者更快、更轻松地构建物理AI应用。

(1)Cosmos Reason VLM:最新版Cosmos Reason可实现针对Metropolis用例的上下文视频理解和时间事件推理。小参数量使其易于从边缘到云端部署,非常适合自动化交通监控、公共安全、视觉检查和智能决策。

(2)VSS Blueprint 2.4:VSS 2.4可轻松快速地通过Cosmos Reason来增强现有视觉AI应用,具有一组扩展应用编程接口,为用户直接提供了更大的灵活性,使其能够选择特定的VSS组件和功能来通过生成式 AI 增强计算机视觉管线。

(3)全新视觉基础模型:NVIDIA TAO工具套件包括一套全新视觉基础模型,以及高级微调方法、自监督学习和知识蒸馏功能,能够优化边缘与云环境中的物理AI解决方案部署。NVIDIA DeepStream SDK具备一个全新推理生成器,可无缝部署TAO 6模型。

(4)NVIDIA Isaac Sim扩展:NVIDIA Isaac Sim参考应用中的新扩展工具有助于解决视觉AI开发中的常见挑战,例如有限的标注数据和罕见的边缘场景。这些工具可以模拟人机交互,生成丰富的目标检测数据集,并创建基于事件的场景和图像-字幕对,来训练VLM并加速开发,提高AI在现实世界条件下的性能。

(5)扩展硬件支持:所有Metropolis组件均可在NVIDIA RTX PRO Blackwell GPU、NVIDIA DGX Spark桌面超级计算机以及用于物理AI和人形机器人的NVIDIA Jetson Thor平台上运行,用户可从边缘到云端进行开发与部署。

Cosmos Reason 1和NVIDIA TAO 6.0均已开放下载。

四、展示多项创新研究,覆盖模拟、AI渲染、3D内容生成

NVIDIA研究人员在SIGGRAPH上展示了模拟、AI渲染和3D内容生成方面的进展,可能有助于虚拟世界创建、机器人开发和自动驾驶汽车训练。

一篇论文探讨了从2D图像或视频重建物理感知3D几何体的挑战。虽然许多模型可以根据视频片段估计3D物体,但生成的3D形状通常缺乏结构稳定性。即使在视觉上与真实物体非常接近,生成的形状也可能存在比例略微不均匀或细节缺失的问题,从而影响其物理真实感。

例如,用2D素材构建的椅子3D模拟模型,如果放入物理精准的模拟环境中,可能会塌陷,因为AI模型是基于视觉估算3D结构,而非实际测量结果。这篇论文介绍的方法有助于确保生成的3D形状能够真实还原现实世界的物理特性,从而支持创建用于物理AI训练的虚拟世界。

另一篇论文介绍了一种通过物理上精确的运动赋予模拟角色生命的技术。研究人员将运动生成器与基于物理的跟踪控制器相结合,为复杂的动作(例如跑酷运动员的特技)生成逼真的合成数据。这些数据可以帮助开发虚拟角色或训练现实世界的人形机器人,使其具有现实世界训练数据中很少见的敏捷运动技能。

其他论文探讨了模拟光和材料的复杂性。

一个项目展示了如何创建AI助手来增强材质细节。它利用扩散模型和基于可微分物理的渲染器,为创作者提供了一种在3D对象表示上轻松修改材质纹理贴图的方法,使创作者能用简单的文本提示创建更丰富、更逼真的虚拟世界。研究团队演示了如何使用该模型快速添加逼真的物体细节,例如风化或老化的痕迹。这些细节使用传统渲染方法创建起来非常耗时。

在光模拟领域,一篇论文解决了可微分渲染中的挑战,引入了一种强大的可微分可见性查询,可以更快、更准确地从图像和视频中重建3D几何体。一个示例是将正向渲染和逆向渲染结合在一起,快速从虚拟世界中提取参数,这些参数对于在合成数据集上精确训练物理AI模型至关重要。

结语:押注物理AI,将信息世界与物理世界打通

NVIDIA正在为其GPU开辟一个更广阔的市场,而它嗅到的下一个风向便是将计算机图形和AI能力进一步结合的物理AI。而无论是图形和仿真创新,还是加速AI计算,都是NVIDIA的优势所在。

物理AI已逐渐成为现代机器人、自动驾驶汽车、智慧城市、设施和工业流程的基础,它依赖于神经图形、合成数据生成、基于物理的模拟仿真、强化学习和AI推理的融合。

在SIGGRAPH 2025期间,NVIDIA展示了包括NVIDIA Omniverse库、NVIDIA Cosmos世界基础模型、RTX PRO Blackwell GPU及服务器在内的一系列软硬件基础设施如何为物理AI和机器人工作负载提供动力。

为了帮助机器人和物理AI开发者推进3D和模拟技术的采用,NVIDIA还宣布OpenUSD课程和认证,以满足对USD专业知识的需求,并宣布与Lightwheel进行开源合作,将机器人策略训练和评估框架集成到NVIDIA Isaac Lab中,具备并行强化学习训练功能,以及机器人操作和运动的基准测试和仿真就绪资产。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
算是踢到铁板了!这届日本亚运会,给全世界好好上了一课:没有中国,生意很难做

算是踢到铁板了!这届日本亚运会,给全世界好好上了一课:没有中国,生意很难做

扶苏聊历史
2026-09-10 14:58:19
终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

终于有经济学家批评体制内退休金太高、加剧代际矛盾,评论区炸锅

慧翔百科
2026-06-23 08:47:02
中秋节,小S一家伦敦被偶遇,网友:许雅钧很面善,Lily气质出众

中秋节,小S一家伦敦被偶遇,网友:许雅钧很面善,Lily气质出众

我是李小七23
2026-09-26 11:13:33
30岁女星意大利完婚,白裙白装现场照曝光,男方小3岁

30岁女星意大利完婚,白裙白装现场照曝光,男方小3岁

浅遇时光
2026-09-25 02:50:29
美国欢迎晚宴的国宴菜单公布,恰逢中国中秋节,但是月饼不再出现

美国欢迎晚宴的国宴菜单公布,恰逢中国中秋节,但是月饼不再出现

光电科技君
2026-09-24 23:26:47
一语成谶,52岁黄渤确诊入院仅冰山一角,这一病症才是他所恐惧的

一语成谶,52岁黄渤确诊入院仅冰山一角,这一病症才是他所恐惧的

林雁飞
2026-09-04 14:06:23
俄罗斯迎来单日最大损失,莫斯科历史上第一次遭到弹道导弹打击,FP-7鹈鹕弹道导弹首战,俄罗斯一夜损失数十亿美元。

俄罗斯迎来单日最大损失,莫斯科历史上第一次遭到弹道导弹打击,FP-7鹈鹕弹道导弹首战,俄罗斯一夜损失数十亿美元。

古古聊军事
2026-09-21 22:10:06
毛岸英遗孀刘思齐有多美?19岁少女时期珍贵留影,清纯可人又活泼灵动

毛岸英遗孀刘思齐有多美?19岁少女时期珍贵留影,清纯可人又活泼灵动

颜威爱历史
2026-09-04 06:45:15
1951:2,俄罗斯防空战打出全球范本!

1951:2,俄罗斯防空战打出全球范本!

汉唐智库
2026-09-23 01:14:23
“月饼卖不动”“美心月饼打六折”上热搜,一个200多亿元市场的体面与生意

“月饼卖不动”“美心月饼打六折”上热搜,一个200多亿元市场的体面与生意

中国基金报
2026-09-25 00:39:20
本·拉登藏了9年都没被发现!5米高墙加铁丝网严防死守,没想到最后因晾衣绳上13件长袍和4条尿布暴露

本·拉登藏了9年都没被发现!5米高墙加铁丝网严防死守,没想到最后因晾衣绳上13件长袍和4条尿布暴露

磊子讲史
2026-09-14 17:39:07
游本昌一家六口现状曝光,原来患癌又康复的妻子,早被他铺好后路

游本昌一家六口现状曝光,原来患癌又康复的妻子,早被他铺好后路

揽星河的笔记
2026-09-25 16:45:03
“祝福祖国”花坛礼赞盛世华章,长安街10组立体花坛亮相

“祝福祖国”花坛礼赞盛世华章,长安街10组立体花坛亮相

新京报
2026-09-26 11:21:21
中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

圆圆神神神
2025-08-09 21:49:27
你的身边有没有三观尽毁的事?

你的身边有没有三观尽毁的事?

侃神评故事
2026-09-26 09:15:09
那晚我住女朋友家,她妈说你俩今晚敢睡一个被窝,我就掀你们被子

那晚我住女朋友家,她妈说你俩今晚敢睡一个被窝,我就掀你们被子

千秋文化
2026-04-16 20:08:23
库里两年1.16亿续约勇士!队记暗示愿在金州退役 勇蜜:拿钱就无冠了

库里两年1.16亿续约勇士!队记暗示愿在金州退役 勇蜜:拿钱就无冠了

颜小白的篮球梦
2026-09-26 10:36:47
王思聪法国带妹K歌,4美女环绕累靠墙一脸沧桑

王思聪法国带妹K歌,4美女环绕累靠墙一脸沧桑

橙星文娱
2026-08-16 13:03:47
一个人能无耻到啥程度?网友:朋友之间千万不能借钱,借了就没朋友了

一个人能无耻到啥程度?网友:朋友之间千万不能借钱,借了就没朋友了

带你感受人间冷暖
2026-09-24 00:05:26
2026-09-26 14:00:50
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12667文章数 117170关注度
往期回顾 全部

科技要闻

拖了近10年,特斯拉Semi终于量产!

头条要闻

刘欢早前曾身患"不死癌症":严重时走路不能超过100米

头条要闻

刘欢早前曾身患"不死癌症":严重时走路不能超过100米

体育要闻

奇迹之子,亚运七金王,张展硕的19岁秋天

娱乐要闻

痛心!63岁歌手刘欢因病去世

财经要闻

盖茨:AI已强大到足以造成"10亿人死亡"

汽车要闻

可城可野可旅行 捷途旅行者 7 双车预售14.99万起

态度原创

手机
亲子
艺术
本地
公开课

手机要闻

iQOO 16影像堆料 5000万像素大底主摄 蓝厂旗舰同款算法

亲子要闻

孕期感染为何会增加宝宝自闭症风险?Nat Neurosci | 新型离体脑模型揭开 IL‑17A 扰乱皮层发育的真相

艺术要闻

新效果图曝光!抖音深圳第二总部,设计有点意外

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版