NVIDIA Holoscan Sensor Bridge 助力开发者实现实时数据处理

随着机器人技术和边缘 AI 领域的快速发展，高效处理和传输传感器数据的能力变得至关重要。许多边缘应用正在从单一传感器的固定功能解决方案，转向使用多种类型的传感器阵列。这些传感器包括视觉、音频、温度、力/扭矩、通信传感器、IMU、激光雷达系统、超声波设备、电机和执行器等。

NVIDIA Holoscan Sensor Bridge (HSB) 是一种先进的基于以太网的传感器流技术，旨在实现实时数据传输，并简化高速传感器与执行器的集成。NVIDIA Holoscan 采用 HSB 作为连接物理传感器与处理管线的接口，它在实现低延迟、需要硬件与 AI 高度集成的端到端工作流中发挥着关键作用。

本文将分析高速传感器处理的挑战，并重点介绍 HSB 如何以超低延迟、易用性、可扩展性及完善的安全保障，帮助机器人、医疗影像和工业自动化等领域应对这些挑战。

高速传感器处理的挑战

物理 AI 和机器人开发者在传感器集成方面面临诸多挑战，比如：

1. 开发周期长及类型多样：由于传感器类型多样且接口要求各异，开发传感器驱动并将其集成到系统中非常耗费时间。这种复杂性可能会拖延整体开发进程。
2. 实时处理与低延迟：对机器人和医疗设备等应用而言，实现实时处理和低延迟至关重要。这就要求快速的数据采集、处理和传输，同时必须避免可能导致性能不佳或系统故障的延迟。
3. 传感器流的复杂性：连续传感器数据流应用面临诸多挑战，比如管理高数据速率、确保数据安全和功能安全，以及同步来自多个传感器的数据等。

什么是 Holoscan Sensor Bridge？

Holoscan Sensor Bridge 专为低延迟数据的传输和控制而设计。通过以太网 UDP 协议，将传感器数据直接传输到 NVIDIA Jetson 和 NVIDIA IGX 等系统的 GPU 内存中，从而降低延迟和 CPU 使用率。HSB 针对 NVIDIA ConnectX 智能网卡和以太网摄像头技术进行了优化，支持视频、边缘 AI 和机器人技术的实时处理。HSB 将原始传感器数据传输到 Holoscan SDK 中，支持从采集到推理和可视化的统一流程。

图 1. Holoscan Sensor Bridge 设计架构

HSB 的核心特性与优势

Holoscan Sensor Bridge 为开发者带来巨大价值，可在不牺牲性能的前提下加速开发进程：

1. 超低延迟：实现超低延迟，确保以最低延迟处理和传输传感器数据，这对于人形机器人、自动驾驶汽车和医疗成像等需要实时数据处理的应用至关重要。
2. 易用性：软件定义的架构，无需 FPGA 编程专业知识，就可以轻松枚举和 API 编程，从而加速摄像头、IMU、激光雷达、DAC 和 ADC 等多种传感器的软件开发。
3. 可扩展性：支持多模态传感器集成，用户可处理大量数据，这对于智慧城市和工业自动化场景至关重要。HSB IP 可支持 100 Mbps 至 100 Gbps 的带宽，并可自定义配置参数。
4. 安全性：包含冗余、故障检测、水印和 Mac SEC 支持等功能，有助于实现 SIL 2 级安全标准。

Holoscan Sensor Bridge 软件介绍

借助 NVIDIA Holoscan SDK，开发者可通过将模块化算子组合成可自定义管线，来构建高性能的数据流应用。使用 Holoscan Sensor Bridge 主机软件，开发者可构建自定义管线，并使用现成的算子处理来自网络连接传感器的数据，完成图像转换、信号处理、推理和可视化等任务。传感器对象提供设备特定的 API 用于配置和监控，使管线能够适配不同传感器和应用。

Holoscan 应用的构建方式是：划分主应用类，并在配置方法中定义数据管线，根据需要连接算子。该平台灵活开放，开发者可扩展或修改算子（提供源代码）以满足独特需求。

利用 HSB 视觉传感器提升性能

现代嵌入式边缘系统要求摄像头具备多样化接口、高分辨率、快速帧率、低延迟和精确同步能力。HSB 在这些方面有明显优势，其延迟比 USB 摄像头低 5 倍，比 MIPI 摄像头低 1.5 倍，端到端延迟可低至 17 毫秒。通过使用 RDMA 和以太网摄像头技术，HSB 支持直接将数据传输到 GPU 内存，几乎不占用 CPU 资源，从而实现更快的响应时间和实时操作。随着 HSB v2.0 版本的发布，开发者可使用最新工具在特定用例中精确测量延迟。

图 2. Holoscan Sensor Bridge 摄像头解决方案与其他方案的性能基准对比

当采用传统移动产业处理器接口 (MIPI) 摄像头时，Argus 摄像头管线通常需要多个内核空间驱动程序，将数据发送到 CPU 内存后再传递到 GPU 内存。而通过 HSB，传统的内核空间驱动被用户空间 API 所取代，开发者无需再分别为摄像头和控制功能编写单独的驱动程序。

这种简化的方法使开发者能够专注于应用逻辑，而非底层驱动程序开发。同时，它也提供了高度的灵活性，支持与多种图像信号处理器 (ISP) 方案集成，包括基于 NVIDIA CUDA 的 ISP、HSB 硬件上的软 ISP 实现，或 NVIDIA Jetson AGX 和 NVIDIA IGX 上的内置 ISP。下图展示了 HSB 管线如何适应各种配置选择，显示了平台的多功能性和模块化特性。

开发者可以在用户指南中查询不同 ISP 集成方式的参考示例：

• 基于 GPU 的 CUDA ISP 示例：展示如何将 CUDA ISP 接入 HSB 处理管线：
• https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#imx274-player-example
• Jetson 硬件 ISP 示例：展示如何将 NVIDIA Jetson 的硬件 ISP 接入 HSB 处理管线：
• https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#running-the-nvidia-isp-with-live-capture-example

图 3. IGX 平台上的 HSB 管线

图 4. 搭载硬件 ISP 的 Jetson AGX Orin 平台上的 HSB 处理管线

Jetson AGX Orin 上的 Holoscan Sensor Bridge 也可以与软件 ISP (SW ISP) 或基于 CUDA 的 ISP 搭配使用，其处理流程与 IGX 平台类似。而在 NVIDIA Jetson Thor 上，处理管线中使用的是以太网摄像头，而不是 NVIDIA ConnectX。

支持多传感器时间同步

HSB 的另一个关键特性是支持精确时间协议 (PTP)，PTP 基于 IEEE 1588-2019 标准构建。通过这一功能，Sensor Bridge 能够将内部时钟与主机系统同步，确保每个传感器数据在采集时都能被精确打上时间戳。其同步精度可达 1 微秒以内，甚至常常优于 100 纳秒的精度——这使其非常适合医疗成像、机器人和自主系统等高性能应用。借助准确的时间戳，开发者能够清晰地追踪每个传感器事件的发生时间，实现多源数据对齐，并在分布式系统中实现可靠的协同。

图 5. HSB 多传感器同步示意图

HSB 生态系统

作为传感器到计算的技术平台，HSB 支持由传感器、硬件和服务合作伙伴组成的活跃生态系统，帮助客户加快上市时间。传感器合作伙伴提供一系列基于 HSB 的现成摄像头和传感器解决方案，实现实时性能和高带宽处理。硬件合作伙伴提供基于 FPGA 的评估板，使开发者能够以低延迟、灵活的传感器配置和接口快速设计自定义连接。服务合作伙伴专注于利用 NVIDIA Holoscan 软件 API 实现 AI 解决方案和传感器集成，优化端到端性能。

快速、准确的传感器数据分析正在改变医疗成像和诊断方式。Holoscan Sensor Bridge 为内窥镜、手术机器人和放射医疗设备提供实时分析能力。Virtual Incision 等公司利用 HSB 加速摄像头开发。Virtual Incision 首席技术官 Shane Farritor 强调：“借助 Holoscan Sensor Bridge，我们将能够彻底改变摄像头开发和部署的方式。我们现在可以用 Python 和 C 代码取代 Verilog，将开发周期从几个月压缩到几周。基于 CUDA 的编程更是在效率和性能上带来了质的飞跃。”

在软件定义的无线电、6G 和测试测量应用中，数据转换器等模拟传感器至关重要。Holoscan Sensor Bridge 将这些传感器连接到 GPU，利用 NVIDIA IGX 的 GPUDirect RDMA 实现快速、高效的信号处理。

开始使用 Holoscan Sensor Bridge

NVIDIA 提供全面的文档、开发者套件和参考示例，帮助用户开始使用 Holoscan Sensor Bridge。想要了解更多 Holoscan Sensor Bridge 的信息，请查阅：

1. 获取适用于边缘 AI 或机器人应用的 NVIDIA Jetson AGX Orin 开发者套件或 NVIDIA IGX Orin 开发者套件：

• https://www.nvidia.cn/autonomous-machines/embedded-systems/jetson-orin/
• https://www.nvidia.cn/edge-computing/products/igx/

1. 使用由我们的硬件合作伙伴 Lattice 和 Microchip 提供的 Holoscan Sensor Bridge 评估板：

• Lattice:
• https://www.latticesemi.com/nvidia/hololink

• Microchip:
• https://www.microchip.com/en-us/products/fpgas-and-plds/boards-and-kits/ethernet-sensor-bridge

1. 下载 HSB 软件和 HSB 用户指南：

• https://github.com/nvidia-holoscan/holoscan-sensor-bridge
• https://docs.nvidia.com/holoscan/sensor-bridge/latest/index.html

1. 了解如何使用我们传感器生态系统中高度集成的 HSB 传感器。

• Leopard Imaging：将其 510 万像素深度立体 HSB 摄像头连接到 Jetson AGX Orin，用于实时视觉应用和简化集成：
• https://www.youtube.com/watch?v=q0DV3ka5HDI
• Econ：将其小尺寸 HSB 摄像头连接到 Jetson AGX Orin：
• https://www.youtube.com/watch?v=x3Emao7o7XE
• D3：将 IP69 防护等级坚固型摄像头通过 HSB 连接到 Jetson AGX Orin，运行视觉语言模型：
• https://www.youtube.com/watch?v=dgzzXCCCYTc
• YUAN：利用 HSB 实现医疗设备的多模态集成，如 HDMI、SDI 和模拟信号：
• https://www.youtube.com/watch?v=YU_U8hfFqW0

1. 阅读 Ridge Run—利用 Holoscan Sensor Bridge 降低延迟，了解更多关于 HSB 的信息：

• https://www.ridgerun.com/post/improving-latency-holoscan-sensor-bridge-with-cuda-isp

开始使用 NVIDIA Isaac 库和 AI 模型，开发物理 AI 系统：

https://developer.nvidia.com/isaac