撰文丨王聪
编辑丨王多鱼
排版丨水成文
通用人工智能(General artificial intelligence)模型,在应用于临床实践中的多种模态和复杂临床任务时,面临着独特挑战。
2025 年 11 月 6 日,清华大学徐枫副教授 、郭雨晨副研究员,广州医科大学附属第一医院/ 国家呼吸医学中心何建行教授、梁恒瑞医生等,在 Nature 子刊Nature Biomedical Engineering上发表了题为:A vision–language pretrained transformer for versatile clinical respiratory disease applications 的研究论文。
该研究开发了一个专为临床呼吸系统疾病应用设计的基于 Transformer 架构的视觉-语言(Vision-Language)预训练模型——MedMPT。
![]()
在这项最新研究中,研究团队推出了MedMPT,这是一个面向临床、功能多样的基于 Transformer 架构的视觉-语言(Vision-Language)预训练模型,专为呼吸系统医疗保健而设计,通过 154274 对胸部计算机断层扫描(CT)图像和放射报告进行训练。
![]()
MedMPT 在统一框架内从多模态医疗数据(包括 CT 图像、放射报告、人口统计学信息、实验室检测以及药物关系)中学习
MedMPT 采用自监督学习来获取医学见解,能够处理多模态临床数据,并支持与临床工作流程相契合的各种临床任务。研究团队评估了 MedMPT 在广泛的胸部相关病理状况下的表现,涵盖了常见的医疗模式,例如计算机断层扫描(CT)图像、放射报告、实验室检测以及药物关系图。
MedMPT 在医疗领域始终优于最先进的多模态预训练模型,在各种临床任务中取得了显著提升。大量分析表明,MedMPT 能够有效挖掘医疗数据的潜力,兼具数据和参数效率,并为决策提供可解释的见解。
![]()
相比其他大模型,MedMPT 具有更强的疾病诊断和报告生成性能
![]()
相比其他大模型,MedMPT 能够根据多模态信息,给出更全面、个性化的用药建议
![]()
人类-AI 协作生成放射报告
![]()
MedMPT 的定性评估
总的来说,MedMPT 能够获取多模态医疗数据的整体表示,并在临床工作流程中的众多下游任务中发挥作用,使其更符合临床实践,更接近通用人工智能的真正含义。人类专家评估表明了 MedMPT 在现实世界中的适用性,这表明人机协作是改进临床工作流程和确保高质量患者护理的有前途的方法。研究结果揭示了 MedMPT 在医疗应用领域的潜力,并为通用人工智能在医疗领域的进一步发展提供了宝贵见解。
论文链接:
https://www.nature.com/articles/s41551-025-01544-z
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.