html
NVIDIA 发布了一系列旨在推动物理AI系统开发的技术,进一步加码人形机器人、自动驾驶、半导体制造和工业自动化等领域。
在台北GTC大会上,NVIDIA发布了多项新成果,包括面向物理AI的开放基础模型Cosmos 3、基于Isaac GR00T平台打造的全新参考人形机器人、针对机器人和工业AI的开源智能体工具,以及与台积电合作推出的AI驱动半导体制造新举措。
这些发布整体凸显了NVIDIA打造物理AI全栈生态系统的战略布局,覆盖从合成数据生成、模拟仿真到实际部署的全流程。
“多模态推理、语言、视觉和世界模型都取得了突破,物理AI的爆发时刻即将来临,”NVIDIA创始人兼首席执行官黄仁勋表示。
他补充道:“Cosmos 3 系列开放、前沿的全模态模型,为开发者带来了构建机器人、自动驾驶汽车和视觉 AI 的质的飞跃,使其能够在物理世界中感知、推理、规划并采取行动。”
打造物理智能
此次发布的核心是 Cosmos 3,NVIDIA 将其描述为全球首个完全开放的全模态模型,能够在单一系统中理解和生成文本、图像、视频、环境音以及动作。
该模型基于混合Transformer架构构建,融合了推理和内容生成。NVIDIA 表示,Cosmos 3 既能当视觉语言模型,也能当模拟物理环境的世界模型,还能当机器人动作模型的基础。
该公司声称,该模型在多个开放模型基准测试中,于世界生成、机器人动作策略和视觉理解方面均领先于其他模型。Cosmos 3 提供多个版本,包括适用于高精度机器人和自动驾驶汽车应用的 Cosmos 3 Super,以及推理速度更快的 Cosmos 3 Nano。
NVIDIA 还推出了一系列开源的物理 AI 技能和工具,使 AI 智能体能够在机器人技术、视觉 AI、自动驾驶、医疗保健和工业数字孪生等领域执行任务。这些工具将复杂的工作流程转化为可重复、可自动执行的流程,从而能自动化数据生成、模拟、训练和部署。
从实验室到工厂
对于机器人研究人员,NVIDIA 推出了 Isaac GR00T 基准人形机器人,这是一个开放参考设计,结合了 Unitree H2 Plus 人形机器人、Sharpa 灵巧手、Jetson Thor 内置计算以及 Isaac GR00T 软件栈。
这个平台就是为了简化人形机器人的开发,把硬件、仿真、训练和部署都整合到一个系统里。像Ai2、苏黎世联邦理工学院、斯坦福机器人中心和加州大学圣迭戈分校这些研究机构,都打算用这个平台。
NVIDIA还跟台积电合作,把AI更深地用到半导体制造里。
NVIDIA现在用自家的CUDA-X库和AI模型,来处理计算光刻、晶体管仿真、工艺控制、晶圆检测和晶圆厂调度这些环节。NVIDIA说,台积电不光提升了计算效率,还用了NVIDIA的Metropolis和TAO工具包,来更好地检测纳米级的缺陷。
“差不多三十年了吧,NVIDIA 和台积电一直在一起合作,一直在突破计算的边界,”黄仁勋说。“台积电现在把 NVIDIA 的 AI 和加速计算用在了晶圆厂里,用仿真、优化和 AI 来解决全球最棘手的一些设计和制造难题。”
NVIDIA 还在用 Alpamayo 2 Super 研究自动驾驶的物理 AI,这个模型有 320 亿个参数,就是帮自动驾驶出租车看懂、规划,然后应对复杂的路况。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.