多模态深度学习融合模型：开启HER2阳性与三阴性乳腺癌新辅助治疗疗效精准预测新篇章

*仅供医学专业人士阅读参考

多模态融合，让新辅助疗效“未治先晓”

在乳腺癌的临床治疗中，新辅助治疗（NAT）已成为II–III期及局部晚期乳腺癌患者的重要标准治疗策略之一，其核心目标在于实现病理完全缓解（pCR）。pCR通常定义为乳腺及腋窝区域无残留浸润性肿瘤，达到pCR的患者，其无病生存期和总生存期均显著优于未达pCR者，因此，在治疗前准确预测pCR对于制定个体化治疗方案、避免无效治疗及优化手术决策具有重要临床意义。

然而，当前临床实践中，评估NAT疗效的常规影像学方法主要包括乳腺X线摄影（MG）、超声（US）及动态对比增强磁共振成像（DCE-MRI），其整体诊断准确性仍有限。尽管真空辅助活检等有创手段可作为pCR的替代预测方式，但其存在假阴性风险、操作者依赖性强及潜在并发症等问题，限制了其广泛应用。因此，临床亟需一种无创、精准且可重复的pCR预测方法，以实现对患者治疗反应的精准分层。

在此背景下，一项发表于Computer Methods and Programs in Biomedicine的研究[1]，探索性地构建并验证了一种基于深度学习的新型预测模型。该研究创新性地将治疗前的乳腺X线摄影、多参数MRI（mpMRI）以及临床病理特征进行多模态融合，旨在精准预测HER2阳性和三阴性乳腺癌患者接受NAT后能否达到pCR。该研究为解决当前影像学评估效能不足及有创预测手段局限性的临床困境提供了新的思路，其构建的多模态融合模型若能进一步验证，具有辅助临床决策的潜力，从而优化治疗策略并改善患者预后。

研究设计

该研究共纳入来自两家医疗机构的359名经病理确诊的HER2阳性或三阴性乳腺癌患者。其中，来自机构A的299名患者按7:3的比例随机分为训练集和验证集，来自机构B的60名患者作为独立的外部测试集。研究首先基于DenseNet169-CBAM算法构建了六个单模态深度学习模型，分别对应六种影像序列：弥散加权成像（DWI）、表观弥散系数图（ADC mapping）、SPAIR T2加权成像、DCE-MRI首期增强图像以及乳腺X线摄影的头尾位（CC）和内外侧斜位（MLO）。随后，将这些单模态模型整合，构建了影像融合模型。同时，基于单因素与多因素逻辑回归分析筛选出的独立预测因子，利用多层感知机（MLP）算法构建了临床模型。最终，通过融合影像模型特征与临床关键特征，构建了临床-影像融合模型。所有模型的性能通过受试者工作特征曲线下面积（AUC）、准确率、灵敏度、特异度等指标进行评估，并采用校准曲线和决策曲线分析检验其临床效用。

图1 研究人群流程图

研究结果

在基线特征分析中，pCR组与非pCR组在多项临床和影像特征上存在显著差异。多因素分析结果显示，最小ADC值（Minimum ADC value）、平均ADC值（mean ADC value）以及肿瘤边缘（tumor margin）是预测HER2阳性和三阴性乳腺癌患者NAT后能否达到pCR的独立影响因素（均P < 0.05），为临床模型的构建提供了关键变量。

在六个单模态模型中，基于ADC图的深度学习模型表现最为突出，其在训练集、验证集和测试集中的AUC值分别为0.927、0.708和0.793。这表明，反映肿瘤细胞密度及微环境特征的ADC参数在单序列预测中具有较高价值。相比之下，乳腺X线摄影相关模型（CC位和MLO位）在测试集中的AUC分别为0.615和0.603，整体表现相对较低，可能与不同中心设备差异及成像一致性不足相关。随后构建的影像融合模型通过整合六种影像模态特征，性能进一步提升，在训练集、验证集和测试集中的AUC分别为0.901、0.773和0.722。临床模型基于最小ADC值、平均ADC值及肿瘤边缘构建，其AUC分别为0.891、0.886和0.724，提示临床变量在pCR预测中同样具有重要价值。

最终构建的临床-影像融合模型表现最佳，在训练集、验证集和测试集中的AUC分别达到0.992、0.877和0.768。其准确率分别为0.967、0.800和0.733，灵敏度分别为0.976、0.919和0.762，特异度分别为0.960、0.717和0.718。校准曲线显示模型具有良好一致性，决策曲线分析表明在大多数阈值概率范围内，该模型可带来更高的临床净获益。

模型可解释性分析进一步增强了结果的可信度。Grad-CAM热力图显示模型主要关注肿瘤原发区域，提示其捕捉到了与治疗反应相关的关键影像特征。同时，SHAP分析显示最小ADC值对模型贡献最大，与多因素分析结果一致。

图2 成像融合模型（A）、临床模型（B）及临床-影像融合模型（C）的ROC曲线

总结

本研究通过构建并验证多种深度学习模型，证实基于多模态影像与临床特征融合的策略，能够显著提升对HER2阳性及三阴性乳腺癌患者新辅助治疗pCR的预测能力。尤其是临床-影像融合模型展现出最佳性能，其较高的准确性及稳定性提示其在临床决策支持中的潜在应用价值。研究同时强调，ADC相关参数在预测pCR中具有重要作用，多模态信息整合可进一步提升模型表现。

尽管该研究结果具有重要启示意义，但仍存在一定局限性，包括样本量相对有限、分子亚型分布不均（尤其三阴性乳腺癌比例较低）、以及仅纳入治疗前影像数据等。未来仍需在更大规模、多中心前瞻性研究中进一步验证模型的稳定性与泛化能力，并探索整合治疗过程中动态影像信息，以持续优化预测性能，推动其向临床实践转化。

参考文献

[1]Fu M, Zhao H, Pang J, Hua H, Lin X, Liu J, He Y, Ming X, Meng X, Chen J. Prediction of neoadjuvant therapy response to HER2-positive and triple-negative breast cancer: a multicenter proof-of-concept study. Comput Methods Programs Biomed. 2026 Jan;273:109130.

审批编号：CN-189973 有效期至：2027-07-30

本材料由阿斯利康提供，仅供医疗卫生专业人士参考，不用于推广目的。若涉及具体药物使用，请参考相关药物说明书，阿斯利康不建议您将产品超说明书使用。

*此文仅用于向医疗卫生专业人士提供科学信息，不代表平台立场。