【Nature Medicine】密歇根大学 Todd Hollon 实验室：NeuroVFM 用 524 万次临床扫描

来源：市场资讯

（来源：BioAI Frontier）

—— 健康系统学习 × 体积自监督 Vol-JEPA × 156 项诊断任务 × 前瞻性临床分诊

DOI: 10.1038/s41591-026-04497-1(Nature Medicine, 2026)｜开放获取 CC-BY 4.0,所有插图均来自原文,引用请保留出处

一、导读:不去爬互联网,而是向一家医院学习

过去两年,医学 AI 的主流思路是“互联网尺度学习”——把海量网络图文喂给模型。但神经影像(脑 CT/MRI)几乎不会出现在互联网上:它们是私密的、格式复杂的三维体数据,又高度依赖专业解读。于是通用视觉/语言模型在脑影像上往往力不从心。

密歇根大学 Todd Hollon 团队提出了另一条路——“健康系统学习”(health system learning):不做数据策展、不用人工报告,直接从一家医院近 20 年积累的、原封不动的常规临床影像里学习。他们用密歇根医学 2005–2025 年的 566,915 例神经影像检查、共 524 万个临床 CT/MRI 体积,自监督训练出一个神经影像基础模型 NeuroVFM(Neuroimaging Vision Foundation Model)。

结果是一个“通才”:同一个冻结的视觉编码器,能覆盖 156 项诊断任务(82 项 CT + 74 项 MRI),CT 宏平均 AUROC 92.68、MRI 92.49,全面超过 HLIP、PRIMA、NeuroMAE、DINOv3、BiomedCLIP 等对照;接上大语言模型后能生成放射学报告,质量胜过 GPT-5 与 Claude Sonnet 4.5;在一项为期一周、n=1,155 的前瞻性研究里,还能对急诊神经影像做分诊,平衡准确率 92.6%,远高于 GPT-5 的 71.2%。

一句话核心

• 是什么: 一个神经影像基础模型——从一家医院 20 年真实临床影像自监督学出的“通用大脑”,一个冻结编码器覆盖 CT/MRI 上百项任务。

• 怎么做: Vol-JEPA 体积级联合嵌入预测:学生/教师双网络(EMA)+ 隐空间掩码预测,不用增强、不用报告、不用标注。

• 有多强: 524 万体积预训练;156 项诊断任务 AUROC ~92.5,标注效率更高、跨模态可迁移;报告生成胜过 GPT-5/Sonnet 4.5;前瞻分诊 92.6% vs GPT-5 71.2%。

图1:健康系统学习范式与 NeuroVFM 总览。左:把“医院运营”本身当作数据生成过程——2005–2025 年多院区常规 CT/MRI 汇成 UM-NeuroImages(56.7 万检查、524 万体积),覆盖各年龄段。中:Vol-JEPA 自监督——采样上下文,学生网络预测被掩码区域在教师(EMA 更新、停梯度)隐空间中的表示,最小化预测隐表示与目标隐表示的距离,得到多模态隐空间。右:冻结的 NeuroVFM token 经研究级池化,支撑诊断分类、NeuroVFM-LLaVA 生成有据可依的报告、再由推理型 LLM 完成分诊。

二、用了什么技术、什么原理

▍ 1. 健康系统学习:把“医院运营”当作数据生成过程

核心理念的转变在于数据观:与其追求互联网尺度的图文,不如把一家健康系统的日常运营看成一个持续产出高质量、真实分布数据的“数据生成过程”。医院每天都在做 CT/MRI,这些影像天然覆盖了真实的疾病谱、人群结构与成像协议,而且无需人工策展或标注。NeuroVFM 的训练集 UM-NeuroImages 就是这样得来的:56.7 万例检查、524 万个体积,原封不动地反映了临床现实——常见病多、罕见病少、图像质量参差,正是模型需要适应的真实世界。

▍ 2. Vol-JEPA:体积级“联合嵌入预测”自监督

怎样在没有标签、没有报告的三维影像上学习?团队提出 Vol-JEPA(Volumetric Joint-Embedding Predictive Architecture)。它用一对网络:学生网络看到一个体积的“上下文”(部分可见区域),要去预测被掩码掉的部分;但预测目标不是原始像素,而是教师网络对完整体积编码出的“隐表示”(latent)。教师网络由学生网络的指数滑动平均(EMA)得到,并施加停梯度(stop-gradient),避免表征坍缩。训练目标就是让学生预测出的隐表示,尽量逼近教师给出的目标隐表示。

这一设计的好处是:① 在隐空间而非像素空间预测,模型被迫学习语义结构而非纹理细节;② 完全不依赖数据增强、放射报告或任何人工标注,天然适配原始临床数据;③ 面向体积(而非单张切片)建模,契合脑影像的三维本质,也让 CT 与 MRI 能进入同一个多模态隐空间。

▍ 3. 冻结编码器 + 研究级池化 + 语言接口

预训练完成后,NeuroVFM 的视觉编码器被冻结,不再更新。下游任务只在其输出的 token 上做“研究级池化”(把一整个检查的多序列 token 汇成研究级表示),再接一个轻量头即可完成分类。做报告生成时,把冻结的 NeuroVFM 当视觉编码器、接 Qwen3-14B 语言模型,组成 NeuroVFM-LLaVA;做分诊时,则先由它生成结构化发现,再交给推理型 LLM 判定紧急程度。一个冻结的骨干,支撑起分类、生成、分诊三条链路。

三、诊断性能:一个冻结编码器,通吃 156 项任务

▍ 1. CT/MRI 全面领先,标注效率更高

在 UM-NeuroBench 上,NeuroVFM 覆盖 156 项诊断任务(82 项 CT + 74 项 MRI),宏平均 AUROC 达到 CT 92.68、MRI 92.49,在肿瘤、外科、先天、创伤、脑室、出血、缺血、退行、结构、血管等几乎所有疾病类别上,都优于健康系统尺度模型(NeuroMAE、HLIP)与互联网尺度模型(DINOv3、BiomedCLIP)。更实用的是标注效率:要达到同等性能,基线模型需要多得多的标注阳性样本——NeuroVFM 在 CT 上省下 31.5%–55.9%、MRI 上省下 6.5%–37.9% 的标注需求。

图2:NeuroVFM 在 UM-NeuroBench 上的诊断表现。左上散点:MRI 平均 AUROC,NeuroVFM 位于最优(高于 NeuroMAE、HLIP、DINOv3、BiomedCLIP、PRIMA);右侧 b:按疾病类别逐项对比 MRI 平均 AUROC,* 表示显著低于 NeuroVFM;左下:CT 各类别同样由 NeuroVFM 领先;右下 d:标注效率——其他模型需要多出 1.07×–2.27× 的阳性样本才能追平 NeuroVFM。

▍ 2. 统一隐空间:定位更准、跨模态可迁移

因为 CT 与 MRI 被学进同一个多模态隐空间,NeuroVFM 学到的表征具备空间与跨模态的一致性:病灶定位误差比对照降低 44.2%;把在一种模态上学到的诊断能力迁移到另一种模态时,性能下降小于 5 个百分点。这意味着模型并非记住了某种成像的表面特征,而是抓住了跨模态共享的解剖与病理结构。

四、报告生成:NeuroVFM-LLaVA 胜过 GPT-5 与 Claude Sonnet 4.5

把冻结的 NeuroVFM 作为视觉编码器、接上 Qwen3-14B,组成 NeuroVFM-LLaVA,即可对一次检查“看图写发现”。在三档紧急度(acuity)准确率上,它比 GPT-5 高 11.0 分、比 Claude Sonnet 4.5 高 20.3 分;METEOR 文本质量也居首。更关键的是安全性:关键发现遗漏率下降 >2 倍、幻觉率下降约 1.4 倍、左右侧(laterality)错误下降 >3 倍。三位盲评临床专家在 MRI 与 CT 上都以 >2:1 的比例更偏好 NeuroVFM 的报告。图中的实例显示,它能生成“有据可依”的分级发现,如“左侧颞叶大范围浸润性肿瘤,累及额叶与颞叶,引起中线移位与钩回疝”,并给出对应的紧急度判断。

图4:NeuroVFM-LLaVA 的报告生成评估。a 三步流程:解读(生成发现)→分诊(指派紧急度)→由盲评临床专家评估;b/d NeuroVFM 的三档紧急度准确率与 METEOR 分均居首(对比 GPT-5、Sonnet 4.5);c 桑基图显示预测紧急度与真实紧急度的一致性(平衡准确率 93.5% vs 83.0% vs 71.5%);e 关键发现遗漏 >2×、幻觉 1.4×、左右错误 >3× 更少;f 专家偏好以 >2:1 倾向 NeuroVFM;g–i 真实病例的分级发现与紧急度输出示例。

五、前瞻性临床验证:一周急诊分诊,少漏一半关键病变

最有说服力的是一项前瞻性研究:连续一周,对真实急诊神经影像做“紧急 / 非紧急”分诊,共 n=1,155 例。NeuroVFM 驱动的流程平衡准确率达 92.6%(95% CI 89.8–95.2),比 GPT-5 高出 21.4 个百分点(GPT-5 为 71.2%,95% CI 67.2–75.2;单侧配对自助法 P<0.0001)。分诊错误主要来自“漏掉影像学发现”而非临床误判——在 187 份被标记的报告中,所有真正紧急的病例(134/134)都被正确判为紧急。

最关键的临床指标是“关键发现漏检率”:NeuroVFM 仅 21/155(13.5%),而 GPT-5 高达 78/155(50.3%)——漏检率相差近 4 倍。作者也如实指出:在全部 21 例紧急漏检中,都是 NeuroVFM 生成的报告没有识别到关键发现,导致下游筛查模型没有标记该检查,整体敏感度为 86.5%(95% CI 81.0–91.6),这也点出了未来改进的方向。

图5:一周前瞻性分诊评估(n=1,155)。a 每日 MRI/CT 的“非紧急/紧急(≥1 关键发现)”分布;b 分诊表现——NeuroVFM 平衡准确率显著高于 GPT-5(****);c 关键发现漏检率:NeuroVFM 21/155(13.5%)对比 GPT-5 78/155(50.3%),漏检大幅减少。

六、技术栈与原理速览

模块 / 技术

作用

核心原理

健康系统学习

获取真实世界数据

把医院 20 年常规影像当数据生成过程,不策展、不标注

UM-NeuroImages

预训练语料

56.7 万检查 / 524 万 CT·MRI 体积(2005–2025)

Vol-JEPA

体积级自监督

学生/教师(EMA+停梯度)在隐空间做掩码预测

冻结视觉编码器

通用骨干

预训练后不更新,支撑分类/生成/分诊

研究级池化 + 头

诊断分类

多序列 token 汇成研究级表示接轻量头

NeuroVFM-LLaVA

报告生成

冻结 NeuroVFM 视觉编码 + Qwen3-14B

推理 LLM 分诊

临床决策

先生成发现,再由推理型 LLM 判定紧急度

七、局限与展望

需要清醒看待:① 预训练与主验证都来自密歇根单一健康系统,虽然内部数据规模巨大且贴近真实分布,但跨机构、跨设备、跨人群的外部泛化仍需更多验证;② 前瞻分诊的整体敏感度为 86.5%,全部紧急漏检都源于报告环节未识别关键发现,说明“看图写发现”这一步仍是瓶颈;③ 模型输出的是辅助性发现与分诊建议,不能替代放射科医生与临床判断;④ 大规模临床影像涉及隐私、公平与合规,落地需严格治理。

但意义深远:NeuroVFM 证明了“不必爬互联网,一家医院的真实运营数据就足以训练出强大的通用医学影像模型”。这条“健康系统学习”路径,把每家医院积累的海量常规影像变成了可复用的学习资源;一个冻结的编码器,就能同时胜任上百项诊断、生成有据可依的报告、并在真实急诊中做分诊。它为“把整套临床影像表征作为基础设施”的通用医学 AI,指出了一条可规模化、可落地的现实路径。

技术速览一卡通

• 范式: 健康系统学习——向一家医院 20 年真实临床影像自监督学习,不策展、不标注、不用报告。

• 方法: Vol-JEPA 体积级联合嵌入预测,学生/教师(EMA+停梯度)在隐空间掩码预测;编码器预训练后冻结。

• 性能: 156 项诊断任务 AUROC ~92.5,标注效率更高、定位更准、跨模态可迁移(<5pt)。

• 临床: 报告生成胜过 GPT-5(+11.0)/Sonnet 4.5(+20.3);前瞻分诊 92.6% vs GPT-5 71.2%,关键漏检 13.5% vs 50.3%。

Health system learning enables generalist neuroimaging models. Nature Medicine, 2026. DOI: 10.1038/s41591-026-04497-1｜密歇根大学(University of Michigan)Todd Hollon 实验室｜开放获取 CC-BY 4.0,所有插图均来自原文,引用请保留出处;本文为科普解读,不用于临床决策。