NVIDIA Cosmos开放新工具 助力世界模型训练评估与部署

为帮助开发者快速构建世界模型（这类模型可帮助物理AI系统理解并模拟真实世界），NVIDIA为Cosmos平台新增了训练工具、仿真检查点以及Cosmos Data Factory蓝图。

NVIDIA Cosmos平台目前在六个不同的开放模型排行榜上均位列前五，该平台为世界模型构建者提供了前沿开放模型，以及数据、训练和优化工具与方案，帮助开发者在部署前完成训练数据扩展、模型适配、行为测试和性能优化。

构建更优质的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory汇集了用于大规模标注、整理、增强和评估物理AI训练数据的工具与技能。Cosmos Curator作为一款GPU加速的视频训练数据集整理方案，目前已新增对多模态多感官输入和处理模块的支持。

查阅NVIDIA欧洲发布的全部公告

Cosmos Data Factory现提供以下五种云原生蓝图，可通过GitHub、微软Azure、Nebius和CoreWeave获取：

自动驾驶数据集生成：整理并标注驾驶数据，再添加难以采集场景的合成样本，从而扩大训练覆盖范围。

图像属性增强：改变物体外观以提升图像搜索效果。

事件视频生成：将静态图像转化为罕见或不安全事件的合成视频。

缺陷图像生成：生成印刷电路板、金属和玻璃的缺陷图像，用于检测模型训练。

视频数据增强：在保留场景结构的同时，改变现有素材中的天气和光照条件。

Cosmos Data Factory通过智能体技能加速数据整理、处理和合成数据生成。

多家企业已开始使用Cosmos Data Factory蓝图，加快其物理AI开发工作流程。

保时捷正在大众集团旗下各品牌间主导建立共享的自动驾驶数据飞轮，通过微软Azure平台上的Voxel51使用Cosmos Data Factory。预计这将使重复的实际路测减少高达90%，并将开发周期缩短高达85%。

保时捷在Voxel51中搜索和增强自动驾驶车辆数据素材，该平台由Cosmos Data Factory提供支持。

ANYbotics利用Cosmos Data Factory蓝图生成了超过1500个合成视频片段，整理真实世界数据并通过Encord平台验证输出结果，用于训练其工业巡检机器人识别液体泄漏及设施巡检间隔期间的其他变化。

ANYbotics借助Encord平台生成异常片段，该平台由NVIDIA Cosmos Data Factory提供支持。

计算机视觉公司Ultralytics使用真实图像以及通过Cosmos Data Factory生成的针对性合成缺陷重新训练了其YOLO模型，提升了缺陷定位和召回能力。

训练、适配与优化模型

训练数据准备完成后，开发者可以训练自己的架构，也可以从预训练模型入手。

在GTC柏林大会上，NVIDIA将Cosmos Framework的训练、优化和部署工具与方案作为智能体技能扩展至更多开放模型，并推出了Cosmos 3，为世界模型构建者提供了从实验到部署更快速的路径。

开发者和智能体现在可以通过微调和强化学习适配GR00T、Alpamayo、QWEN、Pi0.5等开放模型以及其他兼容的Hugging Face模型，通过蒸馏和量化优化模型，并借助高性能推理进行部署。

为开发一款专用于第一人称视角操作任务的世界模型，机器人研究实验室MicroAGI在人类操作物体的视频上对Cosmos 3进行了后训练，并将其320亿参数的推理器蒸馏为80亿参数的Nano模型，且准确率未出现损失。

开发者可以在Roboflow上针对自身特定环境和任务标注数据并对Cosmos 3进行后训练，然后将这些模型部署至Roboflow托管的或本地的NVIDIA GPU上，将视频推理能力引入工厂和仓库场景。

测试策略并加速模型运行

除上述工具外，NVIDIA还持续通过Cosmos模型相关工作推进基础技术发展。

新推出的用于仿真的Cosmos 3 Nano模型变体，使开发者能够在可重复、难以采集的多视角多传感器场景中测试自动驾驶策略。配套代码允许开发者适配这些模型，以便在实际测试之前，在交互式仿真环境中训练和评估自己针对自动驾驶车辆及双臂机器人的策略。

开发者可以使用更新后的NVIDIA Cosmos 3 NIM微服务部署核心Cosmos模型，在经过验证的配置下，该服务可实现高达2倍的推理速度提升且不损失质量，同时连续视频分析功能可实现亚秒级告警。

对于视觉AI开发者而言，基于Cosmos NIM微服务构建的全新NVIDIA Metropolis视频搜索与摘要（VSS）蓝图3.3版本，可将一条提示词转化为高效的视频AI应用，帮助团队在相同GPU条件下多监控40%的视频流。

阿布扎比国家石油公司（ADNOC）使用基于Cosmos和NVIDIA Metropolis VSS蓝图构建的Fogsphere MistIQ智能体平台，在65个站点实时检测安全隐患。针对罕见事件，Fogsphere还使用Cosmos Data Factory生成合成训练数据，无需实际布置危险场景即可提升检测能力。

Cosmos平台完全模块化且开放。开发者可以使用Cosmos Data Factory生成训练数据集，使用Cosmos Framework训练和适配世界模型，然后通过NIM微服务部署受支持的Cosmos模型。

查阅NVIDIA欧洲发布的全部公告