华盛顿大学等联手：让AI医生"团队会诊"，不再因为看不懂而误诊

这项由华盛顿大学、代尔夫特理工大学和厦门大学联合开展的研究，发表于2026年11月举办的第35届ACM国际多媒体会议（ACM MM '26），会议地点为巴西里约热内卢。论文全名为《OPERA: Offline Policy-guided Expert Routing and Adaptation for Universal Biomedical Image Analysis》，DOI编号为10.1145/3767308.3836169，有兴趣深入了解的读者可通过该编号查询完整论文。

一、医疗AI的两难困境：神医难以"走天下"

医院里，每天都有大量X光片、CT扫描、眼底照片等医学图像等待分析。近年来，人工智能在这一领域取得了相当亮眼的成绩——某些专门针对特定疾病训练的AI模型，诊断准确率甚至能和经验丰富的医生相媲美。然而，这些AI有一个致命弱点：它们就像只在一家医院实习过的新医生，换了一家医院、换了一台不同品牌的扫描仪、甚至遇到来自不同地区的患者，诊断质量便会大幅下滑。

这种现象在技术上被称为"分布偏移"，通俗地说就是AI在训练时见过的图像风格，和它实际使用时遇到的图像风格之间存在落差。解决这个问题的传统办法，是针对每一家新医院、每一台新设备、每一批新患者，重新收集数据、重新训练模型。这个过程耗时耗力，还需要大量带有专家标注的珍贵数据，而在医疗场景中，这类数据往往受到隐私法规的严格限制，根本拿不到。

与此同时，业界还兴起了另一股风潮：训练超大型"基础模型"，用海量数据赋予AI泛化能力，让它能处理各种场景。这类模型确实更通用，但背后需要的计算资源和数据量，是绝大多数医院根本无法承受的。

于是，研究团队提出了一个核心问题：有没有第三条路，既不需要反复重新训练，也不需要海量计算资源，还能在各种医疗场景中保持稳定的诊断质量？

答案就是本文提出的OPERA框架。它的核心思路，可以用一个生活中常见的场景来理解：医院会诊。当单个医生对某个疑难病例拿不准的时候，医院通常会召集多位不同专科的医生开会，让每位医生发表意见，最后综合各方判断得出结论。OPERA做的，正是把这种"多专家会诊"的智慧搬到AI系统里，而且还解决了一个现实问题——这些专家医生的"开会方式"，不需要任何人重新培训，只需在会诊现场智能分配发言权重就行。

二、OPERA是什么：一个不需要再学习的智能会诊协调员

OPERA的全名是"离线策略引导的专家路由与适应"框架，听起来很拗口，但核心意思其实很朴素。

回到会诊的比喻：假设医院里已经有三位专科医生，分别擅长眼科（ViT架构模型）、胸科（ResNet50架构模型）和腹部影像（DenseNet121架构模型）。OPERA的任务，是充当一个聪明的会诊协调员。这个协调员做三件事：第一，事先研究每位医生过去的病历记录，弄清楚谁对哪种病更拿手；第二，在正式会诊时，根据这份"历史档案"以及每位医生当场表现出来的信心程度，动态分配每人意见的权重；第三，即使面对从未见过的新类型病例，也能根据医生们当场的一致程度和各自的把握程度，灵活调整最终判断。

更关键的是，这位协调员在正式会诊时，完全不需要医生们重新学习任何东西，三位医生的知识和能力是完全固定的，协调员只是在不同情况下智能地决定"听谁的、听多少"。这就是OPERA"离线策略"的含义——所有关于"哪位医生更可信"的判断，都是提前在一个小型验证数据集上一次性算好的，部署时不再更新任何模型参数。

研究团队在9个不同的医学影像数据集上验证了这套方案，涵盖眼底照片、胸部X光、CT扫描、MRI以及多模态诊断问答等多种场景，对比了超过30种当前最先进的方法，结果OPERA在分类和分割任务上均表现最佳。

三、会诊流程第一步：建立每位医生的"历史战绩档案"

OPERA的第一个核心模块叫做"专家分析模块"（Expert Profiling Module，EPM），它负责在正式部署之前，用一批带有标准答案的验证数据来给每位"医生"打分，建立档案。

具体来说，EPM会让三位医生各自对验证集里的图像做出诊断，然后把他们的诊断结果和标准答案对比，计算出每位医生在每一种疾病上的"得分"——使用的是一种叫AUC（曲线下面积）的指标，可以理解为衡量医生区分病和健康状态能力的综合评分，满分1分，越接近1表示越准确。

这样就形成了一张矩阵表格：行是三位医生，列是各种疾病，每个格子里填的是对应医生对对应疾病的历史准确率。从这张表里，可以得到两类信息。第一类是每位医生的"综合实力"——把他在所有疾病上的得分平均一下，得分越高，在会诊中的总体话语权越大。第二类是每位医生对特定疾病的"专项特长"——有些医生可能对糖尿病视网膜病变特别拿手，有些可能对青光眼更准确，EPM会把这种专项能力也记录下来，在会诊时对应的疾病出现时给予额外加权。

这个打分过程完全不涉及任何模型参数的更新，三位医生只是走一遍"考试"，整个过程几分钟就能完成，然后把得到的权重矩阵存档，供后续会诊使用。这是OPERA区别于传统集成学习方法的关键之处——传统方法往往需要把所有模型放在一起重新联合训练，代价极高，而OPERA只需要一次轻量级的"资质审查"。

四、会诊流程第二步：每位医生的发言先校准再使用

拿到三位医生的判断结果之后，协调员并不会直接把它们混在一起。OPERA的第二个模块叫做"逐专家置信度校准"（Per-Expert Confidence Calibration，PECC），它要先对每位医生的"发言方式"进行调整。

原因在于，不同的AI模型往往有各自的"个性"。有些模型天生过于自信，不管遇到什么病例，给出的概率都接近100%或0%，仿佛从不犹豫；另一些模型则过于保守，总是给出接近50%的模糊答案，像个优柔寡断的人。这两种极端都会影响会诊质量：如果一位医生总是用极度确信的口气发言，即使他偶尔出错，也会对最终结论产生过大影响；而一位总是含糊其辞的医生，他的意见又会被稀释到几乎没有用。

PECC的做法是，先观察每位医生在当前这批图像上的"发言风格"——计算他们给出的概率值平均离50%有多远。如果距离很远（超过0.4），说明这位医生过于自信，需要适当"降温"，让他的判断更温和一些；如果距离很近（低于0.1），说明这位医生过于谨慎，需要适当"升温"，让他的判断更果断一些。

这个调整通过"温度缩放"来实现：把模型输出的概率转换成一个中间量，除以一个温度系数，再转换回概率。温度大于1时，概率会向50%靠拢（变保守）；温度小于1时，概率会远离50%（变果断）。这个过程完全不需要任何标注数据，只看模型自己的输出统计特征。经过这一步，三位医生的发言都被调整到了合理的"音量"范围，后续融合才有意义。

五、会诊流程第三步：根据现场情况动态调整权重

建立了档案、校准了发言方式之后，OPERA还有第三层保障：在实际会诊过程中，根据当前遇到的患者群体特点，动态微调三位医生对各种疾病的权重。这个模块叫做"分布感知适应"（Distribution-Aware Adaptation，DAA）。

为什么需要这一步？因为历史档案是在一批验证数据上建立的，而真实的会诊场景可能和验证数据有所不同。比如，某家医院的眼底相机品牌不同，拍出来的图像亮度偏高；或者这家医院接诊的患者中糖尿病患者比例远高于平均水平。在这种情况下，原来算好的权重可能不再最优。

DAA的策略是，在处理每一批新图像时，观察三位医生各自在每种疾病上的"发言确信度"，并把这个观察累积起来。每处理100批图像，就更新一次权重——把原来的验证档案权重、当前累积的信心统计、以及上一轮的适应权重按照固定比例混合起来。研究团队把这三者的混合系数设置为：原始权重占80%、新观察占10%、历史适应占10%。这种设计保证了更新是渐进的、稳定的，不会因为某几批奇怪的数据就把整个权重体系推翻，同时又能缓慢地向当前数据分布的特点靠拢。

整个过程完全不需要标注数据，不知道每张图像的真实诊断结果，纯粹依靠模型输出的统计规律来感知分布变化。理论分析也证明，这种更新规则在数学上是收敛的——只要处理的图像足够多，它最终会稳定在一个合理的权重组合上，不会无限漂移。

六、会诊流程第四步：每个病例都有专属的权重方案

前三个模块处理的都是群体层面的权重分配，而OPERA的第四个模块——"实例级专家路由"（Instance-level Expert Routing，IER）——则把精细化做到了每一个具体的病例上。

核心思路是：三位医生的判断，在面对不同病例时，可靠性是不一样的。当三位医生高度一致时，说明这个病例落在所有人都熟悉的"舒适区"，按照历史档案分配权重就好；当三位医生互相矛盾时，说明这个病例可能比较棘手，需要优先听那些"更有把握"的医生的意见。

IER用两个指标来判断当前病例的情况。第一个是"一致度"，用余弦相似度来衡量三位医生给出的概率向量有多像。当一致度高于0.90且预测方差低于0.03时，视为高度一致，直接用历史档案权重；当一致度低于0.60或方差高于0.12时，视为高度分歧，改用"反熵加权"——哪位医生的预测熵更小（即更有把握），就给他更高的权重；介于两者之间的情况，则把医生预测偏离50%的程度（即"果断程度"）和历史权重按照7:3的比例混合。

这三层条件判断构成了一个类似决策树的路由机制，在无监督情况下（不知道正确答案）自动为每个病例选择最合适的融合策略。研究论文中也坦诚地指出，这种"熵越低越可信"的假设在理论上并非无懈可击——一个模型完全可以信心满满地给出错误答案。因此，IER采用了条件式设计：只有在医生们意见分歧较大时，才启用熵加权；在高度一致的情况下，则回归到更稳健的历史档案权重，以防止某个过度自信的错误判断主导全局。

七、把四层权重乘在一起：最终的会诊结论

经过上述四个步骤，每个病例的最终预测概率，是把四个维度的权重相乘、归一化后，再对三位医生的校准预测做加权平均得到的。这四个维度分别是：整体模型质量（来自EPM）、疾病专项权重（来自EPM的类别层面）、分布感知调整（来自DAA）、以及病例专属可靠性（来自IER）。

从理论上分析，这种分层乘法组合有一个优雅的性质：一位医生要想在某个具体病例的某种疾病上获得高权重，他必须同时满足三个条件——整体能力强、对这种疾病有专项优势、在这个具体病例上表现出足够的确信。只要任何一个条件不满足，权重都会被压低。这相当于给整个系统加了三道保险，任何一个模型在任何一个维度上的失误，都会被自动抑制，而不会污染最终结论。

八、实验结果：九个战场上的全面验证

研究团队在九个不同的医学影像数据集上对OPERA进行了系统评测，覆盖的任务类型从分类到分割，再到多模态问答，可以说是一次相当全面的压力测试。

在眼底图像分类方面，研究团队使用了RFMiD和OIA-DDR两个数据集，与包括RETFound（发表于Nature的眼底基础模型）、VisionFM、FLAIR在内的多个专科基础模型对比。OPERA在RFMiD数据集上的AUC达到89.47%、mAP达到58.93%，比排名第二的RET-CLIP高出3.35个百分点的AUC和7.66个百分点的mAP。要知道，OPERA使用的三位"医生"——ViT、ResNet50、DenseNet121——单独来看并不是最强的，但三人一起会诊，就超过了专门为眼底图像精心设计的基础模型，这正是合理分工协作的威力。

在胸部X光分类（Chest X-Ray14数据集）和腹部CT分类（OrganSMNIST数据集）上，OPERA同样位列第一，分别达到83.05%和98.83%的AUC，还超过了另一个集成学习方法ELF，进一步验证了OPERA的协调机制本身就能带来额外增益。

在COVID-19影像分割任务上，研究团队用两个数据集测试：QaTa-COV19（X光）和MosMedData+（CT）。OPERA分别达到82.12%和77.03%的Dice系数（衡量分割精度的指标，可以理解为预测轮廓和真实轮廓的重叠程度），均超过了nnUNet、MedSAM等专门为分割任务设计的强力基线。从可视化结果来看，OPERA在低对比度、边界模糊的感染区域上能给出更干净、更完整的分割轮廓，这正是单一模型容易出错的场景。

在标注数据极其稀缺的场景下，研究团队还测试了只用20%标注数据训练的左心房MRI分割（LA-MRI）和胰腺CT分割（Pancreas-CT）任务。这两个任务都极具挑战性——左心房形状变化大，胰腺则形态多样、对比度低、容易被周围组织混淆。OPERA在LA-MRI上达到92.71%的Dice，在Pancreas-CT上达到82.44%的Dice，均超越了专门针对半监督学习优化的最新方法，包括SASNet、MiDSS、GALoss等。

九、让更弱的选手通过合作超越更强的个体：多模态大模型诊断实验

OPERA最令人印象深刻的实验之一，是在多模态大语言模型（MLLM）诊断上的表现。研究团队设计了一个十种眼底疾病的多选题测试——给模型看一张眼底照片，同时提供四个候选答案，让模型选出正确诊断。

参赛选手包括InternVL2、LLaVA-1.5、Janus-Pro等当前业界最强的多模态大模型，以及相对较弱的InstructBLIP、Mini-Gemini和Qwen-VL。OPERA选用的三位"医生"，恰恰是后三个相对较弱的模型，从它们的输出中提取每个选项的对数概率，转换为归一化概率后送入OPERA的融合框架。

结果出人意料：由三个弱选手组成的OPERA，以79.31%的平均准确率，超过了InternVL2的77.35%、LLaVA-1.5的72.73%和Janus-Pro的68.92%，成为整个测试中的最强选手。在AMD（老年性黄斑变性）、青光眼、媒介混浊等多个疾病类别上，OPERA都达到了最高或并列最高的准确率。论文中展示的具体案例说明，当单个模型被低对比度或模糊影像迷惑而给出错误判断时，OPERA通过综合三方意见、识别出分歧并启用适当的路由策略，最终给出了正确答案。

十、消融实验：每个模块到底贡献了多少

为了弄清楚OPERA的四个模块各自贡献了多少，研究团队做了系统的消融实验——依次去掉每个模块，看看性能怎么变化。

在OIA-DDR分类任务上，只是简单地把三个模型的概率平均起来，AUC为74.26%；加入EPM之后，AUC跳升到81.69%，这说明离线的权重初始化对最终性能有决定性影响；继续加入DAA，AUC升至82.83%；再加PECC，升至84.01%；四个模块全部启用，最终达到84.95%。每个模块都带来了实质性的提升，缺一不可。

研究团队还测试了"无监督模式"——即没有任何标注验证数据，EPM退化为均匀初始化，仅靠DAA、PECC和IER在测试时工作的OPERA*版本。在OIA-DDR完全微调设置下，OPERA*达到86.30%的AUC，虽然略低于完整版的88.06%，但仍然超过了RETFound（85.96%）和FLAIR（85.54%）等有监督基础模型，证明即使完全没有标注数据，OPERA的测试时自适应机制依然能带来显著增益。

研究团队还测试了不同的混合系数对DAA性能的影响：当α和β都设为0.10时性能最佳，过于激进（0.20/0.20）或过于保守（0.10/0.05）都会略有下降，印证了"渐进更新"策略的合理性。

此外，为了排除"多模型本身就更强"的干扰，研究团队还做了一个"同池对比"实验——让温度缩放均值、贝叶斯模型平均、验证加权均值、学习式堆叠、可学习MoE门控、测试时集成等多种方法，都只能使用OPERA用的同样三个专家模型，然后比较结果。在这个公平对比下，OPERA在OIA-DDR线性探测上的AUC为84.95%，依然领先第二名测试时集成（79.78%）超过5个百分点，证明OPERA的增益来自协调机制本身，而非单纯来自使用了更多模型。

十一、数学层面的保证：理论分析告诉我们为什么这样做有效

研究团队在论文中提供了相当严格的理论分析，用来解释OPERA各个设计选择的合理性，虽然过程很数学化，但背后的直觉并不难理解。

从偏差-方差分解来看，集成学习的本质是：通过综合多个预测，可以在不增加偏差的情况下降低方差（即减少预测的不稳定性）。当不同模型的误差不相关甚至负相关时，这种降低效果最为显著。OPERA选用ViT、ResNet50、DenseNet121三种架构，本身就是为了确保误差的多样性——注意力机制、残差连接、密集连接代表了三种截然不同的特征提取方式，遇到相同病例时，它们犯的错往往不同，这正是集成的价值所在。

从校准理论来看，只有当每个模型给出的概率都是"真实的置信度"时，概率加权融合才有意义。温度缩放在数学上可以证明，当温度增大时，预测概率单调向50%靠拢（变保守），当温度减小时，预测概率单调远离50%（变果断），PECC利用这一性质自动为每个模型找到合适的"音量"。

从测试时适应的收敛性来看，DAA的更新规则可以写成一个压缩映射，根据Banach不动点定理，它必然收敛到一个唯一的稳定权重组合，不会无限漂移或振荡。这一保证对于医疗部署场景尤为重要——医院不希望一个随时间漂移、越来越不可预测的系统。

归根结底，说到底这项研究展示了一个朴素但有力的想法：在医疗AI领域，与其花巨大代价追求一个全能的超级模型，不如把现有的各种专科模型组织起来，用一个聪明的协调机制让它们各展所长、互相补充。OPERA证明了这条路在技术上是行得通的，在实践中是有效的，而且成本极低——整个系统部署时不需要任何模型参数更新，切换到新医院只需在小批验证数据上做一次几分钟的离线校准，其余全部在推理时自动完成。

这意味着什么？对于普通患者来说，这类技术的成熟意味着未来AI辅助诊断系统有望在更多基层医疗机构落地，即使那里没有强大的计算设施，也没有充足的本地标注数据，依然能获得稳定可靠的AI辅助意见。对于医疗AI的研发者来说，OPERA提供了一个具体可操作的路径：不必每次都重新造轮子，可以把现有模型整合起来，通过协调机制提升整体鲁棒性。

当然，OPERA也有其局限性。运行多个专家模型意味着推理时的计算开销高于单模型方案，尽管研究团队的分析表明融合模块本身开销极小，主要代价是运行多路前向推理，这在支持并行计算的现代GPU上可以通过流并行大幅缓解。此外，EPM的初始化依赖一批带标注的验证数据，这在完全没有任何标注资源的场景下需要退化为均匀初始化的无监督模式。研究团队建议的下一步，是探索代价感知的专家选择（不总需要三个模型一起上）、扩展到更多影像模态，以及引入亚组分析以提升对特定人群的公平性和可解释性。

有兴趣进一步了解的读者，可以通过DOI号10.1145/3767308.3836169，或在arXiv上检索编号2607.25108，获取这篇论文的完整内容以及所有实验数据和理论推导细节。

Q&A

Q1：OPERA框架需要重新训练已有的医学AI模型吗？

A：不需要。OPERA的核心设计是在部署阶段完全不更新任何模型参数。它只需要在一批带标注的验证数据上做一次离线的权重计算（大约几分钟），之后所有的适应和路由都在推理时通过纯数学运算完成，没有任何反向传播或梯度更新。

Q2：OPERA只能用在医学影像分析上吗？

A：从论文的设计原理来看，OPERA的框架本身并不局限于医学影像。它的核心机制——离线权重学习、置信度校准、测试时动态适应、实例级路由——适用于任何需要集成多个异构分类或分割模型的场景。不过目前的验证实验全部在医学影像任务上进行。

Q3：OPERA用了几个专家模型，换成更多模型会更好吗？

A：论文目前使用三个专家模型。消融实验显示，两个模型组合已经比单模型有显著提升，三个模型进一步提升，且不同架构组合（ViT+DenseNet121）效果优于相似架构组合。理论上更多模型可能继续有益，但也会增加推理代价，研究团队将代价感知的专家选择列为未来工作方向。