Nat Commun | 郭剑明/王烁/熊鹰等团队联合开发肾癌专属视觉-语言大模型RenalCLIP，赋能肾脏肿瘤精准诊疗

随着医学影像技术的广泛普及应用，“肾占位”偶然检出率大幅上升，但肾癌相关死亡率并未同步下降，提示可能存在严重过度治疗。已有数据表明，手术切除的肾占位中高达20%肿块为良性，导致许多患者承受了不必要的手术创伤及肾功能损伤，这一问题在小肾占位（≤4cm）中尤为突出。现有诊断手段均存在明显局限：影像判读主观性强，穿刺活检有创且漏诊率高，无法全面反映肿瘤的真实侵袭性。

尽管人工智能在医学影像分析中展现出潜力，但传统肾癌AI模型仅基于图像训练，且多局限于单一模态与单一任务，泛化能力不足；通用视觉-语言基础模型虽有所突破，但因训练范围过宽难以满足癌症诊疗中精细化、高风险的决策需求。

为解决上述难题，复旦大学王烁团队与复旦大学附属中山医院熊鹰、郭剑明团队，及山东大学齐鲁医院俞能旺、临沂人民医院邵志强团队合作，构建了面向肾癌精准肿瘤学的视觉-语言基础模型RenalCLIP。该模型利用来自多中心不同队列8,809名患者的 27,866份CT影像及配套放射报告，采用两阶段预训练策略完成特定领域内视觉与文本临床特征融合对齐。在解剖评估、病灶良恶性诊断、生存预测等十项核心任务中，RenalCLIP表现出优异的性能和泛化能力，显著超越现有通用基础模型。同时，该模型在诊断分类任务中表现出强大的数据效率，仅使用20%的训练数据即可达到基线峰值性能。此外，RenalCLIP拥有稳健的零样本诊断能力、高效的图像-文本检索功能，还可生成高质量医学影像报告。总之，RenalCLIP 是一款性能强大、泛化性优异的工具，能够提升诊断精度、细化预后分层，并实现肾占位的个体化诊疗。

文章发表在Nature Communications

该研究由复旦大学附属中山医院、山东大学齐鲁医院等多家科研与医疗机构联合开展，纳入8,809例患者共计27,866份CT扫描影像。其中，预训练数据集包含6,867名患者的21,819份CT扫描及配套放射报告，数据来源于国内四家顶级医疗机构；下游任务验证数据集纳入1,942名患者、6,047份CT影像，包含内部测试队列、五家独立中心组成的外部联合测试队列以及公开肿瘤影像（TCIA）验证队列。

RenalCLIP预训练分为两个阶段。第一阶段为专项知识增强阶段，图像编码器依托从放射报告中提取的结构化临床属性开展多任务监督学习，同时基于Llama3大语言模型的文本编码器，通过LLM2Vec技术被转化为专门的医学语言专家。第二阶段开展视觉-语言对比学习，将经过知识增强的图像编码器与文本编码器联合优化，实现细粒度视觉特征和临床文本语义的深度对齐。随后，研究团队在13项下游任务中对RenalCLIP进行评估，包括10项核心临床任务，以及3类进阶任务。

图1.RenalCLIP概述

R.E.N.A.L.肾脏测量评分系统是量化肾肿瘤解剖复杂性的标准化框架，有助于术前风险分层和手术规划，研究团队系统评估了RenalCLIP对该评分五项解剖指标的预测能力。在内部及多中心外部测试队列中，模型预测五个解剖特征（R、E、N、A、L）的AUC均优于或媲美所有对比模型。在临床重点关注、以保肾手术为主的cT1a小肾肿块（≤4cm）亚组中，模型对E、N、A、L的判别性能最优，超越基线模型；在cT1b（4–7cm）亚组表现同样优异，cT2大肿瘤中预测结果与多名放射专家水平相当。

除解剖特征预测外，研究团队还开展放射报告自动生成任务，与GPT-4o、MedGemma等多款主流大模型对比，RenalCLIP的各项文本评价指标均最优，生成报告与专家标注真实报告匹配度更高；经专业医师盲法打分，其报告准确度获得最高评分（中位数2.67），成为唯一达到临床可应用标准的模型。

图2. RenalCLIP在肾占位表征上的表现

接下来，研究团队评估了RenalCLIP鉴别肾肿块良恶性判断的能力。结果显示，无论内部还是外部测试队列，RenalCLIP在所有模型中均取得最高ROC AUC。在外部联合队列中，该模型良恶性诊断ROC AUC达到0.841，PR AUC为 0.941，灵敏度、特异度与 F1分数均处于领先水平；值得注意的是，RenalCLIP与基线模型之间的性能差距在外部数据上进一步拉大，展现出卓越泛化能力。在公共TCIA队列中，RenalCLIP虽出现性能回落，AUC降至0.680，但仍优于所有基线模型。

在更具挑战的肿瘤侵袭性分层任务中，RenalCLIP再次展现出优于所有基线模型的准确性，ROC AUC为0.703、PR AUC为0.460、敏感性0.713、特异性0.613、F1分数0.506。针对临床诊疗重点的小肾肿物（≤4cm）亚组分析显示，该模型良恶性鉴别AUC达0.762，显著优于卷积基线模型；侵袭性分层AUC达0.655，可稳定识别肿瘤侵袭程度，且预测结果独立于肿瘤体积大小。生存分析显示，仅RenalCLIP的侵袭性预测具有显著的预后分层能力，可有效区分不同患者复发风险。

图3. RenalCLIP在肾占位诊断中的表现

研究团队基于RenalCLIP输出结果构建了风险评分体系，并探索其作为肾癌无创预后生物标志物的潜力。结果显示，RenalCLIP在内部队列、外部联合队列、TCIA队列中，预测无复发生存期（RFS）的一致性指数均为最高；在TCIA队列，其RFS预测性能较最优基线模型提升22.6%，疾病特异性生存（DSS）、总生存（OS）预测也分别实现6.3%、4.3%的性能提升。

通过中位评分进行风险分层，RenalCLIP能清晰区分高、低风险组。Kaplan-Meier分析证实，RenalCLIP对RFS、DSS和OS表现出强劲且显著的预后能力，高风险组患者生存率显著低于低风险组，即使在难以分层的小肾肿物人群中依旧有效。多变量Cox回归证实，该模型评分是独立预后危险因素。时间动态分析证实，模型预测准确度在长期随访过程中保持稳定，优于所有对照算法。

图4. RenalCLIP在肾占位预后中的表现

高质量标注数据稀缺是阻碍深度学习模型临床应用的主要原因，RenalCLIP专为少样本场景设计，研究团队重点验证了该模型无需微调即可适配全新任务的零样本泛化能力，以及仅依靠少量标注样本适配新任务的数据高效性。

在影像-文本跨模态检索任务中，在五个队列中RenalCLIP的召回率（Recall@K）均大幅领先CT-CLIP、Merlin等模型。在无模型微调的零样本分类场景下，RenalCLIP在良恶性诊断、侵袭性分层任务中均大幅超越对照模型；即使是小肾肿物亚组，零样本恶性诊断能力也明显优于其他模型。数据效率实验显示，该模型仅用20-40%标注数据，就能达到基线模型使用100%数据训练后的最优效果；值得注意的是，其零样本性能甚至超过了部分对照模型完整微调后的最优表现。

图5. RenalCLIP在零样本泛化和数据高效微调上的性能

综上所述，该研究成功研发肾癌专属视觉-语言基础模型RenalCLIP，填补了通用多模态大模型在泌尿肿瘤专科精细化应用的短板。该模型一站式完成解剖评估、病灶诊断、侵袭性分层与生存预测，能够减少影像判读主观偏差、降低有创活检使用频次，有效缓解肾癌过度治疗问题；其优异的零样本学习与低数据适配能力，破解了医学标注资源稀缺的行业痛点，大幅降低临床转化门槛。

参考文献：

https://www.nature.com/articles/s41467-026-74175-w

01

02

03

04

05

快点亮"在看”吧！