Nature Medicine：戈宗元/燕思远团队开发用于皮肤疾病诊治的AI模型

撰文丨王聪

编辑丨王多鱼

排版丨水成文

在皮肤疾病的诊断和管理方面，充分利用人工智能（AI）的潜力迫在眉睫。尽管深度学习已展现出卓越的性能，常常能与皮肤科医生相媲美甚至超越，但目前用于皮肤科的 AI 模型仍局限于孤立的任务（例如从皮肤镜图像中诊断皮肤癌）。这些模型难以整合各种数据类型和成像模式，从而降低了其在不同实际临床环境中的实用性。

皮肤科与内科一样，本质上十分复杂，涵盖了从常见皮肤病到危及生命的恶性肿瘤等广泛的病症，因此需要一种全面的、以患者为中心的方法，将各种临床工作流程整合起来。

2025 年 6 月 6 日，澳大利亚莫纳什大学戈宗元团队（博士生燕思远为第一作者）在Nature Medicine期刊发表了题为 ： A multimodal vision foundation model for clinical dermatology 的研究论文。

该研究开发了一种用于临床皮肤科的多模态视觉基础模型——PanDerm，其在 包括皮肤癌筛查、风险分层、常见和罕见皮肤疾病的鉴别诊断、病变分割、纵向监测以及转移预测和预后在内的 28 种的基准测试中达到了最先进的性能，并在 3 向临床测试中超越了临床医生——在早期黑色素瘤检测方面优于临床医生、提高了临床医生在皮肤癌诊断中的准确性、支持非 皮肤科医生进行 各种皮肤病鉴别诊断。

这些结果表明，PanDerm 模型在各种临床场景中都有改善患者护理的潜力，并可作为在其他医学专科开发多模态基础模型的范例，有可能加快 AI 在医疗保健领域的支持整合。

欢迎进群分享/讨论生物医学领域 AI 智能体研究进展

在临床实践中，诊断和治疗皮肤疾病涉及一系列任务，包括全身皮肤癌检测和风险评估、对诸如炎症性皮肤病和色素性病变等数百种皮肤科疾病的鉴别诊断、多模式图像分析、病理学解读、监测病变变化以及预测结果。目前，缺乏能够支持这些不同工作流程的集成式 AI 解决方案，这阻碍了 AI 在皮肤科的实际应用效果。基础模型的最新进展已成为应对这一挑战的一个有前景的方向。

基础模型是通过在海量、多样的数据上使用自监督学习技术进行预训练的大规模神经网络，通常利用弱标注或未标注的数据。这些模型基于丰富的知识表示构建而成，在眼科、放射科和病理学等医学领域展现出了令人瞩目的性能。通过在大量且多样化的数据上进行全面的预训练，这些模型形成了多用途的表征，能够有效地适应各种临床场景，在下游任务中超越了以往的深度学习模型。它们强大的特征表示能力还使得应用能够更高效地利用数据，需要的标注样本更少，这对于专家标注数据往往有限的医疗领域来说尤为重要。

然而，为皮肤病学开发有效的基础模型面临着独特的挑战。基础模型的性能本质上与其参数规模和训练数据规模相关联。在通用计算机视觉领域，基础模型是在诸如 ImageNet 或 JFT-300M 这样的大规模数据集上进行预训练的，而大多数现有的皮肤科 AI 模型仍依赖这些模型进行下游任务的适配。一些研究工作专门针对皮肤科的自监督学习，利用公共数据集或网络来源的皮肤图像展开。然而，这些方法常常受到数据集规模、多样性或缺乏真实患者数据的限制。此外，尽管近期医学基础模型在多个专科领域展现出了前景，但它们仍无法完全满足皮肤病学的独特需求。特定专业的基础模型通常专注于单一的成像模式，而通用的生物医学模型尽管涵盖范围广泛，但在处理特定领域的数据稀缺以及整合异质性模式以进行全面临床分析方面存在困难。

在这项最新研究中，研究团队开发了一种通用的、多模态皮肤科基础模型——PanDerm。PanDerm 系统经过独特设计，能够整合多种成像模式，它基于来自多个国家 11 家机构的超过 200 万张图像进行了预训练，涵盖了 4 种成像模式（三维全身摄影分块图像、临床图像、皮肤镜图像、皮肤病理切片），涉及多种皮肤科疾病。在预训练阶段，PanDerm 采用掩码潜在建模和对比语言-图像预训练（CLIP）特征对齐进行自监督学习，与现有的自监督算法相比，展现出更出色的数据可扩展性和训练效率。该模型实现了全身皮肤影像检查（TBP）以及临床、皮肤镜和皮肤病理学图像的统一表示学习，从而能够在各种临床工作流程中对患者进行全面分析。

具体来说，PanDerm 是一个通过自监督学习在来自 11 家临床机构的涉及 4 种成像模式的 200 多万张真实世界皮肤疾病图像上进行预训练的多模态皮肤科基础模型。

研究团队在 28 个不同的基准测试中对 PanDerm 进行了评估，包括皮肤癌筛查、风险分层、常见和罕见皮肤疾病的鉴别诊断、病变分割、纵向监测以及转移预测和预后。PanDerm 在所有评估任务中均达到了最先进的性能，通常在仅使用 10% 的标注数据时就超过了现有的模型。

研究团队进一步评估了 PanDerm 模型的潜在临床效用。通过纵向分析，PanDerm 模型在早期黑色素瘤检测中的表现比临床医生高出 10.2%；在皮肤镜图像分析中使临床医生的皮肤癌诊断准确率提升 11%；针对临床照片中 128 种皮肤病症的鉴别诊断，该模型使非皮肤科医生医疗人员的诊断准确率提升 16.5%。

这些结果表明，PanDerm 模型在各种临床场景中都有改善患者护理的潜力，并可作为在其他医学专科开发多模态基础模型的范例，有可能加快 AI 在医疗保健领域的支持整合。

论文链接：

https://www.nature.com/articles/s41591-025-03747-y