基于病理图像与临床特征的多模态模型预测HR+/HER2-早期乳腺癌辅助化疗-内分泌治疗后复发风险

一项创新多模态模型融合病理图像与临床特征，精准预测HR+/HER2-乳腺癌复发风险。

激素受体阳性（HR+）、人表皮生长因子受体2（HER2）阴性（HR+/HER2-）早期乳腺癌（EBC）占所有乳腺癌病例的70%-75%。尽管预后相对良好，但部分患者在接受术后辅助化疗-内分泌治疗后仍出现复发。研究表明II期和III期患者的5年复发率分别可达27%-37%和46%-57% [2]，即使在接受辅助化疗-内分泌治疗的患者中，仍有约20%出现复发 [3]。准确识别高危复发人群对于制定个体化辅助治疗策略至关重要。现有的风险预测模型多依赖于临床病理参数或多基因检测，未能充分利用常规病理切片中蕴含的丰富形态学信息。

近日，四川大学华西医院研究团队在Breast Cancer Research上发表了一项研究，他们成功开发并验证了一种整合全切片图像与临床病理特征的多模态深度学习模型，以预测HR+/HER2-早期乳腺癌患者在接受辅助化疗-内分泌治疗后的复发风险 [1]。本文对其主要内容进行概述，供读者参考。

图1 研究标题

研究方法

本研究为一项回顾性研究。训练与内部验证队列纳入了四川大学华西医院的1095例接受辅助化疗-内分泌治疗的HR+/HER2-早期乳腺癌患者。外部验证队列来自癌症基因组图谱数据库（TCGA）的325例符合相同标准的患者。患者临床病理特征概述见表1。

研究核心为开发并验证基于注意力机制的多实例学习流程，首先将WSI分割为图像块，随后使用五种预训练的特征编码器（CTransPath、CONCH、UNI、Virchow、REMEDIS）提取图像块的特征向量。这些特征通过注意力机制进行加权聚合，输出患者级别的WSI复发风险评分（WSI-based risk score）。

将该WSI风险评分与肿瘤大小、淋巴结（LN）状态、组织学分级（Grade）等临床病理特征整合，构建了六种多模态预测模型，包括Cox比例风险模型（CPH）、弹性网Cox（EN-Cox）、梯度提升回归树（GBRT）、Lasso-Cox、Ridge-Cox和随机生存森林（RSF）。模型性能通过五折交叉验证进行内部评估，并使用TCGA队列进行外部验证。评估指标包括曲线下面积（AUC）、一致性指数（C-index）等。使用Kaplan-Meier分析和log-rank检验比较生存差异，并通过多变量Cox回归验证WSI风险评分的独立预后价值。

表1 患者的临床病理特征

研究结果

■基于注意力机制的深度学习流程的开发与性能评估

研究开发了两种深度学习流程：CTP-ACMIL（采用CTransPath作为特征编码器，并结合ACMIL进行下游特征聚合）与CTP-CLAM（将CTransPath与CLAM特征聚合算法相整合）。基于ACMIL的流程结构如图2所示。

在模型开发中，研究者对1095例HR+/HER2- EBC患者的数据进行了五折交叉验证。CTP-ACMIL与CTP-CLAM在五折交叉验证测试集中的AUC分别为0.81 ± 0.02和0.80 ± 0.02。当纳入人工标注的肿瘤区域（ROI）时，RoiCTP-ACMIL表现出最优的预测性能，平均AUC为0.82 ± 0.02，因此被选为最终的复发风险预测模型。该模型在五个测试折次中的AUC分别为0.84、0.81、0.80、0.81和0.85（图3B, 3C）。基于训练集WSI风险评分中位数进行风险分层后，Kaplan-Meier分析显示，在全部验证集和测试集中，高风险组的无复发生存期（RFS）均显著差于低风险组（图3E, 3F）。模型性能的详细指标比较见图3A。

图2 预测HR+/HER2-早期乳腺癌辅助化疗-内分泌治疗后复发风险的深度学习流程

图3 深度学习模型性能评估及基于WSI风险评分的Kaplan-Meier分析

■不同特征编码器对深度学习模型性能的影响

研究者进一步评估了五种特征编码器（CTransPath, UNI, CONCH, Virchow, REMEDIS）在ACMIL和CLAM模型中的性能。在五折交叉验证测试集（WCH队列）中，所有五种特征编码器在两种模型中均表现出令人满意的性能，AUC范围在0.75 ± 0.08至0.86 ± 0.02之间（图4A）。在ACMIL模型内，UNI编码器在多项评估指标上均优于其他编码器。UNI编码器在训练集、验证集和测试集中的平均C-index分别为0.828 ± 0.006、0.818 ± 0.015和0.837 ± 0.023。在TCGA外部验证队列中，UNI、CONCH、Virchow和REMEDIS编码器的性能均显著优于CTransPath (图4B)。基于UNI特征编码器生成的WSI风险评分在HR+/HER2- EBC患者的RFS风险分层中，呈现出比基于CTransPath的评分更高的风险比（HR）（图4D-H）。

图4 不同特征编码器对模型性能的影响及UNI编码器的风险分层效能。

■深度学习模型的可解释性分析

研究者成了注意力权重-得分热图并分析了测试集中所有患者的前20个关键图像块（top tiles）。由专业病理医生检查发现，高风险组中的关键图像块主要特征为：肿瘤细胞呈条索状或片状排列、细胞核大、核仁明显、出现空泡状或深染的细胞核；以及细胞核大、呈梭形的高密度间质区域和淋巴细胞浸润稀少的区域。图5展示了深度学习模型确定的四个具有最高WSI风险评分的代表性病例的热图及其对应图像块。对WCH队列中99例mRNA测序样本的转录组学数据分析，识别出高风险组与低风险组之间的150个差异表达基因（DEGs）。基因集富集分析（GSEA）显示，这些DEGs显著富集于四个通路：IFN-α反应、IFN-γ反应、移植排斥和KRAS信号下调。此外，CIBERSORT分析表明，与低风险组相比，高风险组中γδ T细胞的比例显著较低，而单核细胞的比例较高。

图5 基于UNI-ACMIL模型确定的最高风险评分的4个代表性病例的可视化

■WSI风险评分与临床病理特征的多模态模型整合

多变量Cox回归分析证实，WSI风险评分是预测HR+/HER2- EBC患者RFS的独立预后因素（图6）。在此基础上，研究者通过整合WSI风险评分与临床病理参数，构建了多模态复发风险预测模型。在测试集中，多模态GBRT模型表现出最优的预测性能，其预测3年、5年和7年RFS的AUC分别为0.875 ± 0.037、0.864 ± 0.031和0.866 ± 0.029。其他多模态模型也均取得了稳健的性能（图7A）。WSI风险评分单独的预测性能（3年AUC: 0.840）优于单纯使用临床病理特征（3年AUC: 0.684）。与单纯临床病理模型相比，融合WSI风险评分的多模态模型在3年、5年和7年预测中的AUC平均提升了19.1%、21.4%和22.5% (图7B)。

为阐明模型决策机制，研究者利用SHAP值分析了各特征变量对预测结果的影响。在六种不同的多模态模型中，SHAP特征重要性排名均显示，WSI风险评分是模型中最重要的贡献因子（图7C-H）。其他排名前五的贡献变量包括LN状态、孕激素受体（PR）状态、组织学分级（Grade）和HER2状态。

为增强临床实用性，研究者基于上述五个最重要的特征变量，开发了用于预测HR+/HER2- EBC患者辅助化疗-内分泌治疗后复发风险的列线图（图8）。

图6 基于WSI风险评分的多变量Cox回归分析森林图

图7 多模态复发风险预测模型的性能比较及特征重要性分析

图8 基于WSI风险评分、LN、PR、组织学分级和HER2状态预测HR+/HER2-早期乳腺癌患者辅助化疗-内分泌治疗后复发风险的列线图（以折次0为例）

文章小结

本研究成功构建并验证了一个整合WSI与临床病理特征的多模态深度学习模型。该模型能够准确预测HR+/HER2- EBC患者在接受辅助C-ET后的复发风险，其预测效能显著优于仅基于临床病理特征的模型。WSI风险评分是强有力的独立预后因子，为精准识别高危人群、指导强化辅助治疗提供了有力工具，最终助力于个体化治疗方案的制定。

参考文献：

[1] Wu X,et al. Multimodal recurrence risk prediction model for HR+/HER2- early breast cancer following adjuvant chemo-endocrine therapy: integrating pathology image and clinicalpathological features. Breast Cancer Res. 2025 Mar 28;27(1):27..

[2] Slamon DJ,, et al. Rationale and trial design of NATALEE: a phase III trial of adjuvant ribociclib + endocrine therapy versus endocrine therapy alone in patients with HR+/HER2- early breast cancer. Ther Adv Med Oncol. 2023;15:17588359231178125.

[3] Early Breast Cancer Trialists' Collaborative Group, et al. Relevance of breast cancer hormone receptors and other factors to the efficacy of adjuvant tamoxifen: patient-level meta-analysis of randomized trials. Lancet. 2011;378(9793):771-784.

审批编号: CN-171258 有效期至: 2026-11-07
本材料由阿斯利康提供，仅供医疗卫生专业人士参考

*“医学界”力求所发表内容专业、可靠，但不对内容的准确性做出承诺；请相关各方在采用或以此作为决策依据时另行核查。