IF：40.8｜基于多模态模型，预测胃癌对抗HER2治疗或抗HER2联合免疫治疗的反应

*仅供医学专业人士阅读参考

沈琳/董彬教授团队开发的MuMo模型，有助于临床医生更好地识别出哪些患者最有可能从特定治疗方案中受益，从而实现更加精准和个性化的治疗。

2024年8月26日，北京大学肿瘤医院沈琳教授、张小田教授以及北京大学董彬教授在《Signal Transduction and Targeted Therapy》期刊（IF：40.8）发表了关于HER2阳性胃癌治疗反应预测的研究成果[1]。该研究收集了429例HER2阳性胃癌患者的多模态数据，包括影像学、病理学及临床信息，通过人工智能（AI）技术开发了一种多模态肿瘤治疗响应预测的深度学习模型（MuMo），旨在采用综合分析方法准确预测HER2阳性胃癌患者抗HER2治疗或抗HER2联合免疫治疗的治疗反应。结果显示，MuMo在预测抗HER2治疗和联合免疫治疗反应方面表现出色，AUC得分分别达到0.821和0.914；并且，MuMo预测的低风险患者的无进展生存期（PFS）和总生存期（OS）显著延长。这些研究成果强调了多模态数据分析在提高HER2阳性胃癌治疗反应评估精确性和个性化治疗方面的重要性，并展示了MuMo在临床实践的巨大潜力。医学界肿瘤频道特整理撷取重要内容整理如下，以飨读者。

研究背景

胃癌是全球第五大常见癌症，也是中国第二大常见癌症[2]。约15-30%的晚期胃或胃食管交界处腺癌存在人表皮生长因子受体2（ERBB2/HER2）的扩增或过表达[3]，为有效治疗带来了严峻挑战，并且患者对治疗的反应存在显著差异。ToGA研究中，不足一半的HER2阳性患者对曲妥珠单抗联合化疗显示出疗效[4]；而KEYNOTE-811研究的中期结果显示，尽管帕博利珠单抗联合曲妥珠单抗和化疗方案相比曲妥珠单抗联合化疗一线治疗显著提高客观缓解率，但并非所有患者的OS均有所改善[5]。生存结局的差异进一步凸显了疾病的异质性，并提示传统的单模式数据可能不足以表征HER2阳性胃癌的多样性表现。人工智能在整合多类型数据方面展现巨大应用前景，但在预测治疗反应方面仍处于早期阶段，特别是在预测胃癌等复杂疾病的治疗反应方面。

一项研究使用综合分析方法，旨在准确预测接受抗HER2治疗或其联合免疫治疗的胃癌患者的治疗反应。该研究共收集了429例患者的多模态数据，涵盖了放射计算机断层扫描（CT）、病理全片图像、放射学和病理学报告以及患者的常规信息。基于此，开发了一种深度学习模型MuMo，能够有效地整合多模态数据从而预测胃癌的治疗反应。

研究结果

1.多模态数据集和队列特征

本研究收集了来自北京大学肿瘤医院、南方医科大学南方医院以及北京大学第三医院的17,787例胃癌患者病历资料，构建了一个包含影像学图像、病理检查结果以及患者基础信息的广泛多模态数据集。排除HER2状态为阴性或未知的患者、未接受抗HER2治疗的患者以及缺乏多模态数据集的患者后，最终形成了一个包含429例HER2阳性胃癌患者队列，时间范围为2007年1月至2023年1月。

图1. HER2阳性胃癌多中心队列的多模态数据收集和筛选流程图

429例患者中有390例来自北京大学肿瘤医院。其中，271例接受了抗HER2治疗，构成抗HER2治疗队列；其余119例患者接受了抗HER2与抗PD-1抑制剂（85例患者）或抗PD-L1抑制剂（34例患者）的联合免疫治疗，构成了抗HER2联合免疫治疗队列。此外，还纳入了39例来自南方医科大学南方医院和北京大学第三医院的患者，作为外部对照队列。

图2. 用于预测HER2阳性胃癌患者治疗反应的多模态模型（MuMo）工作流程（a. 特征提取；b. 多模态信息融合过程；c. 试验流程概览）

入组患者大多数为IV期胃癌，在抗HER2治疗队列中为98.52%，抗HER2联合免疫治疗队列为97.48%，外部队列为97.44%。三个队列的中位年龄分别为63岁、65岁和60岁。男性患者比例在抗HER2治疗队列中为83.03%，在抗HER2联合免疫治疗队列为79.83%，外部队列为76.92%。在肿瘤部位方面，非胃食管交界处肿瘤分别占每个队列的69.74%、70.59%和79.49%。此外，在所有队列中，大多数患者的癌症分化程度为中度分化（分别为47.60%、47.06%和35.90%）或低分化（分别为48.71%、52.10%和58.97%）。

本研究整合了包括人口统计学（如年龄和性别）、肿瘤特征（如肿瘤位置、分化程度和Lauren分类）和治疗信息（如治疗线数和确诊至开始治疗的时间间隔）的多模态数据。采用可学习的嵌入技术来处理缺失数据，以增强模型的稳定性和准确性。放射学报告详细描述了术后状态、转移性淋巴结和器官转移情况，而病理学报告则提供了肿瘤比例、TILs数量和肿瘤内HER2表达的异质性信息。

图3. 抗HER2队列和抗HER2联合免疫治疗队列的数据特征

2.MuMo在抗HER2队列中的预测性能

MuMo在预测抗HER2队列的治疗反应方面表现出色，AUC评分为0.821（95% CI：0.692-0.949）；治疗所需数量为1.83（95% CI：1.28–4.24），表明其在预测治疗反应方面效率很高。MuMo的预测性能超过了6名临床医生在类似测试中的表现，甚至与这些临床医生的咨询综合评分相匹配。在外部验证队列中，MuMo在区分非响应者和响应者方面表现出较强的识别能力，AUC评分为0.884（95% CI：0.745-1.000）。该性能指标凸显了MuMo模型在多中心数据案例中的有效性。通过TCGA-STAD（胃腺癌）和TCGA-BRCA（浸润性乳腺癌）数据集，证明了MuMo框架的灵活扩展性。根据MuMo评分，将每个队列分为高风险组和低风险组，低风险组的PFS（验证集中P=0.0019，测试集中P=0.0024）和OS（验证集中P=0.0067）均更长。独立测试集中高风险组和低风险组的中位OS分别为6个月和17个月。

图4. MuMo的性能

3.MuMo在预测抗HER2联合免疫治疗队列反应方面的适应性

在抗HER2联合免疫治疗队列中，MuMo表现出卓越性能，AUC为0.914（95%CI：0.803–1.000），这表明MuMo在预测治疗反应方面具有较高的精确性。此外，MuMo在PFS（P=0.0079）和OS（P=0.0042）方面，能够熟练区分高风险和低风险人群，这对于患者的预后和治疗方案的制定具有重要价值。MuMo的卓越表现突显了其在适应新兴治疗策略（如抗HER2联合免疫疗法）中的关键作用，特别是在临床医生的实践经验及历史数据可能相对有限的情形下。MuMo这类先进的深度学习模型能够从不同患者队列中挖掘出具有临床意义的信息，这表明它们在新兴治疗领域具有广泛的应用前景。

4.MuMo用于治疗反应预测的稳健性

2000次bootstrap重复实验结果显示，MuMo表现出较小的性能异质性，这是其在预测治疗反应时一致性和可靠性的关键指标。并且，MuMo的性能异质性显著低于个别临床医生及其集体决策过程（P<0.05）。同时，研究还发现，即使在医生给出不同注释的情况下，MuMo仍能维持相对稳定的预测准确性（AUC 0.800-0.833）。总之，MuMo是一个能够在多种治疗场景下提供稳定且可靠预测的模型。

5.MuMo多模态信息融合的消融实验

本研究通过三项消融实验探索特定模块对多模态信息影响的重要性。实验一显示，结合放射学和病理学数据可提升模型预测准确性至0.750（AUC得分），高于单独使用任一数据。病理学模型表现更佳，因为它提供了更详细的视觉信息，对判断治疗反应至关重要。实验二评估了MuMo跨模态融合模块的有效性，结果表明该模块能有效整合信息，并且在统一嵌入空间中对不同模态特征进行对齐能提升性能。最后，加入临床报告数据和患者特异性信息后，MuMo模型的预测准确性显著提高，AUC分数从0.703提升至0.821，说明这些信息对模型预测能力的增强至关重要。

6.MuMo的可解释性和临床见解

通过图像聚焦区域的视觉定性分析和临床信息权重的定量分析，验证了MuMo模型预测结果与已建立的临床知识的一致性。在病理全切片图像中，使用区域重要性评分来量化模型对特定区域的关注，从而突出模型预测时的关注点。这些关注区域与HER2（3+）表达区域直接相关，其特征包括较高的肿瘤与间质比例（超过50%）、分化良好的肿瘤腺体、丰富的肿瘤相关免疫细胞浸润以及显著的肿瘤周围间质反应，表明MuMo能够从这些关键肿瘤特征中提取重要信息，用于有效预测。在对CT扫描图像进行分析时，MuMo模型通过梯度加权类激活映射（Grad-CAM）识别含有病变的区域，与肿瘤诊断和治疗中的关键关注区域一致。

图5. MuMo的可解释性分析

在抗HER2治疗队列中，性别、肿瘤分化程度、Lauren分类和是否存在腹膜转移被MuMo风险评分系统确定为关键临床决策因素。男性患者的风险评分高于女性患者（P = 0.041）；肿瘤分化程度较低的患者MuMo风险评分显著高于中等分化（P < 0.0001）和高度分化（P = 0.0003）患者；在Lauren分类方面，弥漫型的风险评分显著高于肠型（P < 0.0001）和混合型（P = 0.0038）；肠型的风险评估相对较低，混合型介于两者之间。此外，MuMo还识别出，腹膜转移患者的反应显著差于无腹膜转移的患者（P < 0.0001）。TILs的增加与MuMo预测风险评分的轻微降低相关（Pearson相关系数r = -0.092），这表明MuMo系统认识到TILs的丰度和活性与患者预后之间的相关性。在抗HER2联合免疫治疗队列中，存在腹膜转移仍然是MuMo预测高风险评分的重要决策变量（P = 0.027）；MuMo还指出，二线治疗的患者相比于一线患者有较差的治疗反应；TILs的丰度和活性与预测风险之间存在负相关（r = -0.211），表明TILs的丰度较高与更好的治疗反应相关。这些分析表明，MuMo能够从临床报告和患者信息中提取适当的知识以进行准确的治疗反应预测，并且其对这些重要决策变量的识别与当前临床发现一致，确认了MuMo的可靠性和临床相关性。

图6. HER2阳性胃癌患者的多模态数据分析综合概述

讨论与总结

MuMo的核心优势在于其高效整合多模态信息的能力，涵盖 患者的人口统计学资料、放射学CT扫描、病理全片图像以及结构化的临床报告。这种全面的数据整合能力使得MuMo在预测治疗反应方面超越了传统单模态模型。并且，MuMo模型在独立队列中的预测能力已通过外部验证，证实了其在多样化临床环境中的潜在应用价值。另外，MuMo通过动态解耦模态无关和模态特定特征，实现了更为合理的多模态融合过程，并通过可学习特征的方法解决了实际场景中模态缺失的问题，使得对部分数据不完整的患者进行准确的治疗反应预测成为可能。

在临床应用方面，MuMo模型的设计和标准化架构使其可以轻松扩展，以适应更多的病变、模态和时间点。MuMo的灵活性和可扩展性使其成为跨学科合作的理想平台，促进了生物信息学家、临床医生和数据科学家之间的知识融合。未来，MuMo模型有望整合更多模态，如肿瘤生物标志物、基因表达以及生活方式和健康历史信息，进一步提高预测治疗反应的准确性，并帮助医生制定更有针对性的治疗计划。此外，MuMo框架的可扩展性也使其能够迅速扩展到其他肿瘤类型和诊断标志物，支持更全面的个体化诊疗策略的制定。

尽管MuMo的初步结果令人鼓舞，但研究者也指出了其局限性，包括数据集的扩展性和对人工输入的依赖。未来的研究计划将结合自动化技术，减少对人工输入的需求，朝着完全自主的端到端治疗反应预测系统迈进。总体而言，MuMo展示了人工智能在提高治疗反应预测准确性方面的潜力，为个性化治疗策略的实现提供了新的方向。

精彩资讯等你来

参考文献：

[1]Chen Z, Chen Y, Sun Y, Tang L, Zhang L, Hu Y, He M, Li Z, Cheng S, Yuan J, Wang Z, Wang Y, Zhao J, Gong J, Zhao L, Cao B, Li G, Zhang X, Dong B, Shen L. Predicting gastric cancer response to anti-HER2 therapy or anti-HER2 combined immunotherapy based on multi-modal data. Signal Transduct Target Ther. 2024 Aug 26;9(1):222.

[2]Joshi SS, Badgwell BD. Current treatment and recent progress in gastric cancer. CA Cancer J Clin. 2021 May;71(3):264-279.

[3]Cancer Genome Atlas Research Network. Comprehensive molecular characterization of gastric adenocarcinoma. Nature. 2014 Sep 11;513(7517):202-9.

[4]Bang YJ, Van Cutsem E, Feyereislova A, et al. Trastuzumab in combination with chemotherapy versus chemotherapy alone for treatment of HER2-positive advanced gastric or gastro-oesophageal junction cancer (ToGA): a phase 3, open-label, randomised controlled trial. Lancet. 2010 Aug 28;376(9742):687-97.

[5]Janjigian YY, Kawazoe A, Bai Y, et al. Pembrolizumab plus trastuzumab and chemotherapy for HER2-positive gastric or gastro-oesophageal junction adenocarcinoma: interim analyses from the phase 3 KEYNOTE-811 randomised placebo-controlled trial. Lancet. 2023 Dec 9;402(10418):2197-2208.

审批编号：CN-143428 有效期至：2025-9-11
本材料由阿斯利康提供，仅供医疗卫生专业人士参考

* 此文仅用于向医学人士提供科学信息，不代表本平台观点