将NVIDIA Omniverse RTX传感器仿真集成到现有应用中

物理AI能力正在成为设计、机器人、自动驾驶、工业数字孪生等多类工作流的核心需求，但开发者面临的挑战是如何在不重构现有应用架构的前提下引入这些能力。NVIDIA Omniverse库现已纳入NVIDIA Agent Toolkit，为此提供了一套模块化解决方案，其中ovrtx正是专注于RTX传感器仿真的核心库，目前已作为预发布软件在GitHub上开放。

ovrtx是什么

ovrtx是NVIDIA Omniverse库中负责RTX传感器仿真的组件，提供轻量级的C和Python SDK，支持从OpenUSD内容中生成摄像头、激光雷达、毫米波雷达及相关传感器输出，同时将应用控制权保留在宿主应用内部。在Omniverse库体系中，ovstage为OpenUSD场景数据提供共享运行时舞台，使ovphysx和ovrtx等库能够通过统一数据基底交换仿真状态与场景变更信息。

核心集成流程

ovrtx的集成遵循五个步骤：创建并配置ovrtx渲染器；加载或引用应用现有流程中的OpenUSD内容；为所需的摄像头、激光雷达、毫米波雷达或语义分割等输出定义RenderProducts和RenderVars；从应用主循环驱动渲染或传感器仿真步进；将结果映射回CPU或GPU内存，供应用展示、存储、分析或传递至下游流程。

应用始终掌握主循环控制权，ovrtx按需生成渲染或传感器输出，结果返回工作流后由应用自行消费。

核心技术组件

Omniverse RTX渲染器是ovrtx库的核心技术，结合NVIDIA RTX GPU上的RT Cores硬件光线追踪能力与Tensor Cores加速的AI能力，实现对光传输的实时物理渲染与仿真，支持对摄像头、激光雷达、毫米波雷达等传感器输出进行物理级建模。

ovstage提供统一的运行时舞台，支持跨CPU和GPU内存读写查询OpenUSD场景数据，包括变换矩阵、材质、层级结构、元数据和仿真状态，避免各库各自维护独立的场景表示。

RenderProducts和RenderVars则提供了以USD原生方式定义渲染器或传感器仿真器输出的机制，支持灵活指定输出类型、分辨率、格式及其他参数，可通过编程方式定义并存储于USD场景中，也可在运行时通过API动态配置。

典型集成场景

最小化示例：ovrtx代码仓库中提供了一个"Hello World"级别的最小示例，展示如何创建渲染器、加载OpenUSD场景、渲染单帧图像并将结果写回CPU保存为PNG文件，适合在引入更复杂功能前验证基础SDK接入路径。

实时查看器：当目标是围绕OpenUSD内容构建查看器应用时，可结合ovstream实现浏览器流式传输，由服务端掌握ovrtx渲染器与OpenUSD舞台访问权，再通过ovstream将渲染帧推送至浏览器界面。

物理仿真联合工作流：ovphysx可与ovrtx配合使用，实现物理行为仿真与实时视口渲染的协同。相关示例采用双进程架构：视口进程由ovrtx负责，独立的ovphysx工作进程将位姿数据流式回传至应用主循环。

SimReady Blender集成方案：在SIGGRAPH 2026上展示的SimReady Blender示例工作流，演示了软件开发商如何借助已纳入NVIDIA Agent Toolkit的Omniverse库，将包括RTX传感器仿真、物理仿真和验证在内的智能体就绪仿真能力集成进现有3D应用中，同时保持创作者对工作流的完整控制。开发者还可通过NVIDIA DGX Station上的NemoClaw在本地部署这一工作流，NemoClaw将Nemotron 3 Ultra开放前沿模型、安全智能体运行时与Omniverse库打包为完整本地栈。

PTC Onshape集成实践

PTC Onshape Render Studio团队正在探索将ovrtx融入云原生CAD和PDM工作流的可能性，重点验证了三项实际集成需求：由宿主应用掌控渲染时机、输出配置和结果回传；通过现有应用或服务层暴露云原生渲染能力；基于OpenUSD场景数据实现产品设计几何体与下游仿真工作流的互联互通。PTC Onshape高级软件开发总监Brendan Hack表示："ovrtx为我们提供了一条底层API路径，可将NVIDIA RTX能力引入云原生设计工具体系，同时保持应用架构和产品体验完全在我们的掌控之中。"

快速上手

如需开始使用，可访问NVIDIA-Omniverse GitHub代码仓库探索相关工具与技能，通过Omniverse Labs查阅早期实验性示例与概念验证项目，利用NVIDIA物理AI智能体技能将可重复的仿真与评估任务转化为可检查、可适配的工作流，或通过三个步骤在30分钟内于DGX Station上完成NemoClaw的本地部署。

Q&A

Q1：ovrtx库目前处于什么状态，如何获取？

A：ovrtx目前作为预发布软件在GitHub上开放，开发者可以在NVIDIA-Omniverse的GitHub代码仓库中访问C和Python API文档、运行示例、测试OpenUSD场景加载，并评估RTX传感器输出如何融入自己的应用主循环。

Q2：ovrtx支持哪些传感器类型的仿真输出？

A：ovrtx支持多种传感器仿真输出，包括摄像头（LDR/HDR彩色图像）、激光雷达点云、毫米波雷达探测结果、深度/距离图、表面法线、语义分割以及其他传感器专属张量数据。开发者通过配置RenderProducts和RenderVars来指定所需的具体输出类型。

Q3：使用ovrtx需要重建整个应用架构吗？

A：不需要。ovrtx的核心设计原则是将RTX传感器仿真能力嵌入现有应用，同时保持宿主应用对架构、UI、数据模型和工作流的完整控制权。应用自身掌握主循环，ovrtx作为按需调用的服务提供渲染和传感器输出，结果以CPU或GPU内存张量的形式返回供应用自行消费，无需改变现有工作流结构。