通过融合多模态成像与 NVIDIA Holoscan 实现实时手术指导

在创建显著改善手术工作流的系统和应用时，图像引导手术和手术视觉领域的开发者面临着特殊的挑战，包括如何有效组合术前 3D 患者图像、术中视频等多模态图像数据。这是在微创或机器人辅助手术中为外科医生提供准确实时指导的关键所在。

本文将带您了解最先进的 AI 和成像技术的应用，并重点介绍 ImFusion 与 NVIDIA Holoscan 的集成如何实现实时传感器处理、AI 和 I/O。本文还将探讨 NVIDIA Holoscan 如何使我们能够将流程性能提高一倍，并解释两种成像模态的结合如何帮助提高手术准确性、减少并发症和改善疗效。

整合多模态手术数据所面临的挑战

在微创或机器人图像辅助手术中，准确的导航和对患者解剖结构的详细了解对于手术的成功至关重要。

在术前规划中，外科医生通常需要依靠多模态成像技术（包括计算机断层扫描（CT）等 3D 诊断成像模态）来识别异常、指定目标区域，并精确定位血管等关键结构。

但如何在实时手术过程中将这些术前 3D 图像数据集与术中视频无缝整合仍是一项重大的挑战，因为外科医生在手术过程中往往无法充分利用这些宝贵的术前数据。

下一代医疗设备能够在手术室中提供手术指导，前提是具有使用术前和术中多模态数据的应用。这些应用必须同时执行多个计算密集型流程与以下功能：

• 实时追踪解剖结构：在手术过程中准确监测目标组织和器官的表面。

• 融合术前和术中数据：将 3D 术前图像与实时手术视频无缝融合。

• 提供低延迟的可视化图：在手术过程中提供融合的多模态信息，并将端到端延迟控制在 100 毫秒以内，从而实现充分的手眼协调和实时决策。

为此，需要以特殊的方式将 AI、加速计算和先进的可视化功能结合到一起。

NVIDIA Holoscan 是一个针对特定领域的计算平台，它所提供的全栈加速基础设施能够在临床边缘对流数据进行可扩展、软件定义的实时处理。该平台包含一个参考应用库，可帮助开发者快速构建和优化部署到生产中的 AI 应用。

NVIDIA 合作伙伴为 Holoscan AI 传感器处理社区提供此库以共享应用程序，用户可以反复使用和贡献组件与示例应用、推动创新，并加快先进医疗设备的开发。

融合术前数据和实时数据

的实时 3D 手术指导

总部位于慕尼黑的 ImFusion 是 NVIDIA Connect 计划成员。为了打破实时数据的局限性，该公司使用 NVIDIA Holoscan 开发了一种能够将术前数据与实时术中成像相集成的系统。

3D 网格是一种数字模型，能够准确描绘出结构的形状和轮廓。该新型系统以 3D 网格的形式追踪目标解剖结构的表面，并将其平滑地融合到外科医生的视图中。网格从术前 CT 扫描中提取，然后被近乎实时地叠加到腹腔镜摄像头的实时视频上。

这样一来，外科医生就能直观地看到融合的术中和术前病人信息，并做出更加明智的实时决策。

使用 NVIDIA Holoscan 和 NVIDIA IGX

实现实时手术数据融合

ImFusion 的解决方案基于其自主开发的 ImFusion SDK 构建，该 SDK 将图像处理、叠合、分析和可视化算法捆绑在一起。将 NVIDIA Holoscan 集成到 ImFusion SDK 进一步提升了性能、效率和灵活性。

ImFusion 计算机视觉部门主管 Alexander Ladikos 解释道：“将 Holoscan 集成到 ImFusion SDK 中，帮助我们实现了近乎实时的性能，这对外科手术应用至关重要。它加快了我们的开发进程，为我们节省了时间，使我们能够在未来的项目中重复使用现有和自定义运算符。”

这一集成使 ImFusion 能够构建和运行低延迟的 AI 增强型传感器流式传输应用，为下一代软件即医疗设备（SaMD）奠定了基础，使外科医生能够同时查看实时和融合的术前数据。

ImFusion 系统的核心是三个关键的神经网络。每个网络都使用了 Holoscan 加速功能[以及开源参考应用库]：

• 立体深度估算：该神经网络使用在合成数据上训练而成的先进 CNN 模型，从内窥镜立体视频帧中生成深度信息。凭借其实时处理能力，Holoscan 能够从视频流中即时估算深度，提供手术指导所需的重要空间信息。
• 光流估算：该神经网络计算帧间的 2D 像素位移，可确保在各种手术场景中保持稳定的性能。Holoscan 支持 2D 光流快速估算，该光流随后被投影到 3D 空间，增强了系统追踪手术区域内移动情况的能力。
• 分割：该深度学习分割模型由总部位于比利时的全球领先机器人手术训练机构 ORSI Academy 开发。该模型可识别手术器械和目标组织，这对于精确的追踪和叠加至关重要。Holoscan 能够快速分析已分割组织区域的 3D 血流估算值，使系统可以实时、精确地识别和追踪特定的解剖结构与器械。

图 1. 三个模型对深度、光流和目标组织的分割进行估算

在这三个神经网络的基础上，ImFusion 系统实现了惊人的实时性能。

来自术前 CT 的表面网格与底层解剖结构手动叠合，然后就能在整个手术过程中自动追踪。通过使用搭载 NVIDIA GPU 的 NVIDIA IGX 开发者套件，该系统实现了约 13.5 赫兹的帧速率中值和低于 75 毫秒的端到端延迟。

虽然这一延迟将继续得到优化，但它已经带来了性能的大幅提升：Holoscan 数据流基准测试显示，与之前的硬件配置和 NVIDIA TensorRT AI 模型推理优化前相比，端到端延迟减少了 50%。

图 2. 内窥镜视频中的表面网格追踪

改进手术导航并加速开发

这一高性能使外科医生能够获得即时视觉反馈，并且提供了前所未有的手术场景视图，因此对于实时手术应用至关重要。

欧洲最大的机器人手术训练中心 ORSI Academy 与 NVIDIA 和 ImFusion 一同指导了开发工作，并加强其临床实用性，对这一进步做出了贡献。

领导 Orsi Innotech（ORSI Academy 的外科手术 AI 部门）的工程师兼外科住院医师 Pieter De Backer 博士表示：“将实时视频与叠加的 3D 网格投影无缝融合，能够提高外科医生在微创或机器人辅助手术中的复杂解剖结构导航能力。例如在高难度的肾脏手术病例中，如果能够实现内生肿瘤表面网格的实时可视化，就可以更加清楚地标明肿瘤的边界，并最大程度地减少对健康组织的损伤。”

为实现低延迟任务和 AI 推理工作负载而集成的 Holoscan-SDK 加速了 AI 增强型 SaMD 的开发。它与 ImFusion-SDK 等特定领域框架的兼容性创造了一个强大的开发环境，既缩短了开发时间，又降低了成本。

生态协作与开源贡献

ImFusion 与 NVIDIA Holoscan 的合作正在提升微创手术和机器人辅助手术的技术水平，通过将 AI、加速计算与特定领域相结合，提高手术的精准度、效果和安全性。ImFusion 在医疗技术行业的客户可以集成 ImFusion 对 Holoscan 参考应用所作出的贡献，并在此基础上进行构建。ImFusion 的多模态数据融合应用也即将推出。

我们诚邀您探索 Holoscan 参考应用库并作出贡献，这将能够扩大整个生态的规模、加快 AI 增强型医疗设备的开发，并推进手术指导所需的实时传感器融合：

https://github.com/nvidia-holoscan/holohub