首篇「虚拟现实+人工智能」综述！浙大、港中深等发布AI医疗最新报告

新智元报道

编辑：LRST 好困

【新智元导读】本文对AI增强的VR在医疗应用中的技术细节、工作流程和下游应用进行了全面审视，并提出了一个系统性的分类方法，将相关工作分为医学视觉增强、VR医学数据处理和VR辅助干预三个主要类别，为未来跨学科研究提供了基础。

人工智能（AI）加持下的虚拟现实（VR）技术已经逐渐发展成了一个横跨多个领域的交互式媒介，可以为用户提供前所未有的沉浸式体验。在众多应用场景中，医疗被认为是最具发展潜力的领域。

论文地址：https://www.ijcai.org/proceedings/2024/920

项目地址：https://github.com/yixuan730/Awesome-Virtual-Reality-in-Medicine

在本篇工作中，来自浙江大学、香港中文大学深圳以及圣母大学的研究人员对医疗领域的虚拟现实技术进行了全面的审视，并进行系统性的分类。

其中，吴逸璇与胡凯源为共同第一作者。

背景介绍

人工智能技术和虚拟现实技术的交叉融合是医疗领域中一个新兴的前沿方向，人工智能技术和虚拟现实技术将当前数据驱动的分析和沉浸式的医学诊断相结合，使之成为当前医疗保健领域中的关键研究方向。

该项综述的目的是深入探讨AI加持下的虚拟现实技术在医疗场景中的技术细节、工作流程，以及下游应用，同时评估其对医疗服务效率、准确性和有效性的影响。

为了系统性地理解和分析AI在医学虚拟现实的应用，本文提出了一个全新的分类方法，将当前相关领域的工作分类三个主要类别：医学视觉增强、VR医学数据处理，以及VR辅助干预。这种分类方法帮助我们全面了解当前医疗VR场景下AI技术的最新进展：

医学视觉增强：着重于提升医疗人员在虚拟空间中的视角感知，有助于帮助医疗人员理解错综复杂的解剖结构以及空间关系。该类别分为两个子领域：虚拟物体重建和虚拟视觉增强

VR医学数据处理：主要探讨当前VR系统对于分析和理解复杂医学数据的能力，这一类别讨论了VR在AI的融合下，如何辅助深入的结构和病变分析、提升诊断能力，以及对外壳手术的各个阶段提供相应支持。主要关注从传统2D数据到更加动态的3D数据的分析方法的转变。

VR辅助干预：该领域主要介绍和分析当前AI驱动的VR技术在实时互动的医疗场景中的实际应用。该类别涵盖了VR技术在手术过程中的直接指导和辅助以及手术过程中的交互式合作两个方向的分析和讨论。

该篇工作为AI加持下的医疗场景VR技术的首次系统性的调查，为未来该学科领域的研究奠定了基础。

上图展示了AI加持下的VR辅助医疗的工作流程：

首先，医学视觉增强关注在虚拟或增强现实场景中，提升医疗人员的视觉和感知。

随后，VR医学数据处理讨论了虚拟现实技术如何与AI结合，以此辅助对机构和病变的分析，增强疾病诊疗能力，并在全手术流程中提供支持。

最后，VR辅助干预涵盖了如何利用VR技术对手术过程直接提供指导和辅助，以及促进医疗人员在医疗干预过程中的互动合作。

分类方法

本文通过分类法将具有相似目标的AI增强的虚拟现实技术在医疗场景中进行分类，以便深入进行研究。

作者根据诊断和治疗的程序，将当前最新的方法和应用分类为三个不同的类别：医学视觉增强、VR医学数据处理，以及VR辅助干预。具体分类方法如下图所示：

医学视觉增强

AI技术的飞速发展为VR平台提供了在诊疗过程中增强医疗人员视觉感知的能力。视觉增强技术可以分为一下两个子类：虚拟物体重建和可视化增强

虚拟物体重建：通过AI增强的重建方法，使得医疗人员以更加直观的方法查看医疗数据，提升其对于复杂解剖结构的感知和理解。通过在虚拟环境中对现实对象进行重建（如器官、解剖结构等），医疗人员可以更加清晰、全面地了解患者的状况，有助于进行进一步的治疗规划和决策。目前，基于机器学习的前沿重建方法主要可以分为两类：生成式模型以及神经隐式函数。

例：基于深度信息的全场景手术室重建

可视化增强：专注于改善医疗人员在培训或手术阶段的视觉感知。此类技术通过让医疗人员沉浸在增强现实或虚拟现实手术场景中，为他们提供增强的视觉感知，使得他们能够以更高的精度执行治疗程序，从而提升治疗效果。该领域主要涉及两个方面：渲染方法提升以及视觉感知增强

例：基于点云超分和点云补全方法对原始的手术桌重建进行质量提升

VR医学数据处理

虚拟环境中的增强视觉为医疗数据处理提供了额外的分析能力。利用虚拟现实技术的沉浸式和交互式的特性，医疗人员能够获取额外的视觉信息辅助，突破传统场景下2D数据在各类医疗场景下的限制。具体分类如下：

结构和病变分析：在医疗场景中，使用各种数据格式，如点云、网格、体素等（具体分类如下表所示），使得AI加持下的VR系统能够对解剖结构和病变情况进行更加全面的分析，从而为准确诊断提供额外的感知信息。

疾病诊断：基于对虚拟现实场景的医疗数据进行全面的分析，可以为多种分析诊疗方法打下基础，如语义分割、特征提取以及知识嵌入。

术中支持：在数据分析和诊断的基础上，基于VR医学数据的分析对手术过程中的准确性和有效性实现了提升，当前工作涵盖多个方面，包括：术前规划、术中跟踪识别和术后分析反馈。

多种三维医疗数据的对比和可视化结果

VR辅助干预

基于AI增强的可视化和分析技术，VR辅助干预展示了其在诊疗和手术阶段中增强医疗人员能力的巨大潜力。

本章节主要讨论虚拟现实技术如何在术中直接为医疗人员提供指导以及以交互和协作的方式为医疗人员提供反馈。

术中干预：通过将AI加持的诊疗功能集成在虚拟现实平台中（如物体分割、手术阶段识别等），在手术过程中直接为医疗人员提供指导或协助。该项技术包含整合多模态的数据输入和多平台融合。

交互式协作：利用人机交互技术为诊疗人员提供交互式的术中反馈。最近的视觉问答（VQA）和视觉问题定位回答（VQLA）技术在这一领域中发挥了关键作用。

当前挑战与未来展望

当前挑战

数据与集成：高质量、多样化的数据集对于训练高性能的AI模型至关重要，然而，目前AI驱动的医疗虚拟现实技术所需的训练数据依旧稀缺和碎片化。同时，将AI-VR融合方法集成到现有的医疗保健系统，是一项复杂困难的工作。

伦理和法律：患者隐私、数据安全以及知情同意在AI辅助医疗领域格外重要，AI-VR系统必须确保患者的隐私和安全。此在，该领域产生错误时的责任问题仍未解决，使得医疗服务提供者、技术人员和患者面临的法律问题更加复杂。

用户接受度：AI系统的“黑盒”特质可能会影响用户的信任和接受度，因此，医疗人员通常需要理解AI辅助诊疗背后的决策过程。此外，为各类用户设计用户友好的界面，克服医疗人员和患者对于新技术的恐惧感，对于AI-VR辅助医疗的落地至关重要。

未来展望

沉浸式医疗：AI算法的发展进一步帮助VR技术在沉浸式医疗场景提供更加准确高效的解决方案。例如，在VR医疗场景中整合自然语言处理（NLP）模块，增强对患者语音和病例的理解。

定制的医疗干预手段：利用AI算法对用户在VR场景中的互动进行分析，从而定制治疗方法、进行决策，该种方法在心理保健场景下尤为适用。

AI增强的实时诊疗分析：AI加持的虚拟现实技术具备改变远程医疗和医疗培训的潜力，尤其是在资源匮乏的地区。通过实时数据分析，AI平台可以提供实时的诊疗支持，辅助诊疗过程中的决策，增强医疗保健环节的可及性和公平性。

参考资料：

https://www.ijcai.org/proceedings/2024/920