Cosmos 3、人形机器人和自动驾驶出租车工具领衔 NVIDIA 最新技术攻势。
![]()
NVIDIA 发布了一系列旨在加速物理 AI 系统开发的广泛技术,进一步向人形机器人、自动驾驶汽车、半导体制造和工业自动化领域拓展。
在台北 GTC 大会上,该公司的最新发布包括:面向物理 AI 的开放基础模型 Cosmos 3、基于其 Isaac GR00T 平台打造的新型参考人形机器人、用于机器人和工业 AI 的开源智能体工具,以及与台积电合作的全新 AI 赋能半导体制造计划。
这些发布共同凸显了 NVIDIA 为物理 AI 构建全栈生态系统的战略,覆盖从合成数据生成、仿真模拟到真实世界部署的各个环节。
NVIDIA 创始人兼首席执行官黄仁勋表示:“得益于多模态推理语言、视觉和世界模型的突破,物理 AI 的大爆发近在眼前。”
他补充道:“Cosmos 3 系列开放的前沿全模态模型,让开发者在构建能够感知、推理、规划并在物理世界中行动的机器人、自动驾驶汽车和视觉 AI 方面,实现了代际飞跃。”
构建物理智能
此次发布的核心是 Cosmos 3,NVIDIA 将其描述为全球首个完全开放的全模态模型,能够在单一系统中理解并生成文本、图像、视频、环境声音和动作。
该模型基于混合 Transformer 架构,融合了推理与内容生成能力。NVIDIA 称,Cosmos 3 可作为视觉语言模型、用于模拟物理环境的世界模型,或充当机器人动作模型的基础。
公司表示,该模型在世界生成、机器人动作策略和视觉理解等多个开放模型基准测试中名列前茅。Cosmos 3 提供多个版本,包括用于高精度机器人和自动驾驶汽车应用的 Cosmos 3 Super,以及用于更快推理的 Cosmos 3 Nano。
![]()
NVIDIA 还发布了一系列开源的物理 AI 技能与工具,允许 AI 智能体跨机器人、视觉 AI、自动驾驶、医疗健康和工业数字孪生等场景执行任务。这些工具将复杂的开发工作流转化为可重复、可由智能体执行的过程,能够自动化数据生成、仿真模拟、训练和部署。
从实验室到工厂
针对机器人研究人员,NVIDIA 推出了 Isaac GR00T 参考人形机器人,这是一个开放的参考设计,集成了宇树 H2 Plus 人形机器人、Sharpa 灵巧手、Jetson Thor 板载计算平台以及 Isaac GR00T 软件栈。
该平台旨在通过将硬件、仿真模拟、训练和部署整合到单一系统中,简化人形机器人的开发。包括艾伦人工智能研究所(Ai2)、苏黎世联邦理工学院、斯坦福机器人中心和加州大学圣迭戈分校在内的研究机构计划使用该平台。
NVIDIA 还通过与台积电的合作,将 AI 更深入地引入半导体制造领域。
这家芯片制造商正使用 NVIDIA CUDA-X 库和 AI 模型进行计算光刻、晶体管仿真、工艺控制、晶圆检测和晶圆厂调度。据 NVIDIA 称,台积电在提升计算效率的同时,还利用 NVIDIA Metropolis 和 TAO 工具套件提升了对纳米级缺陷的检测能力。
黄仁勋说:“NVIDIA 与台积电合作近三十年,不断突破计算极限。台积电正将 NVIDIA AI 和加速计算带入晶圆厂内部,利用仿真模拟、优化和 AI 解决一些全球最复杂的设计与制造难题。”
NVIDIA 还通过 Alpamayo 2 Super 探索面向自动驾驶汽车的物理 AI。这是一个拥有 320 亿参数的推理模型,旨在帮助自动驾驶出租车理解、规划并应对复杂的道路状况。
如果朋友们喜欢,敬请关注“知新了了”!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.