网易首页 > 网易号 > 正文 申请入驻

清华医工平台提出大模型「全周期」医学能力评测框架MultiCogEval

0
分享至

本文工作由清华大学电子系医工交叉平台吴及教授和刘喜恩助理研究员所领导的医学自然语言处理团队,联合北邮、科大讯飞、无问芯穹等单位共同完成。第一作者周宇轩为清华大学电子工程系博士生,其研究方向聚焦于大模型的医疗垂类能力评估与优化,此前已提出 MultifacetEval(IJCAI 2024)与 PretexEval(ICLR 2025)等医学知识掌握的多面动态评估框架体系。吴及教授和刘喜恩助理研究员所领导的医学自然语言处理团队长期致力于面向真实需求驱动的医工交叉前沿技术研究与产业变革,曾在 2017 年联合科大讯飞研发了首个以 456 分高分通过国家临床执业医师资格考试综合笔试测试 AI 引擎 Med3R(Nature Communications 2018)并在全国 400 多个区县服务于基层医疗;2021 年联合惠及智医研发了首个基于全病历内容分析的智慧医保 AI 审核引擎,获得国家医保局智慧医保大赛一等奖,并在全国多个省市进行示范应用。

大语言模型(Large Language Models,LLMs)技术的迅猛发展,正在深刻重塑医疗行业。医疗领域正成为这一前沿技术的 “新战场” 之一。大模型具备强大的文本理解与生成能力,能够快速读取医学文献、解读病历记录,甚至基于患者表述生成初步诊断建议,有效辅助医生提升诊断的准确性与效率。

该技术有望在缓解医生工作负担、提升就诊效率、优化医疗管理水平等多个方面发挥重要作用。

虽然当前主流大语言模型在 MedQA 等医疗问答基准数据集上已取得 90% 以上的准确率,显示出强大的语言理解与推理能力,但临床一线的实际反馈表明,其在真实医疗场景中的应用效果仍不理想,普遍存在 “高分低能” 的问题。

在当前大语言模型不断取得评测突破的背景下,一个关键问题亟需回答:为何其在真实临床问题中仍难以发挥预期效能?

究其根本,是由于医学知识覆盖尚不充分,还是因缺乏有效的临床应用能力?亦或是在面对复杂、动态的真实场景时,模型在临床推理与决策层面存在显著短板?抑或三者皆为限制其实际落地的关键因素?

近日,清华大学电子系医工交叉平台刘喜恩助理研究员领衔的医学自然语言处理团队,联合多家单位在 ICML 2025 会议上发布最新研究成果,首次提出从医学知识掌握到临床问题解决的 “全周期” 大语言模型医学能力评测框架 ——MultiCogEval

该框架覆盖大模型在不同认知层次下的医学能力评测,为全面理解大语言模型在医疗领域的能力边界并洞察其在真实临床场景中面临的核心短板,提供了全新视角与分析工具。

  • 论文标题:Evaluating LLMs Across Multi-Cognitive Levels: From Medical Knowledge Mastery to Scenario-Based Problem Solving
  • 论文链接:https://openreview.net/pdf?id=sgrJs7dbWC
  • 项目主页:https://github.com/THUMLP/MultiCogEval

如何构建一个 “全周期” 医学评测框架?

在大多数国家,医学生通常需依次完成基础医学知识学习、临床见习以及住院医师规范化培训,方可成为一名合格医生。这一培养路径契合人类认知能力的发展规律:先通过记忆与理解掌握基础医学知识,继而在典型病例中运用所学进行具体分析,最终具备在真实临床场景中进行规划与问题求解的能力。与此相对应,针对临床能力的评估体系也呈现出分层递进的结构:从基础课程考试,到临床技能测评,再到住培阶段的综合结业考核,逐步覆盖不同认知层次。

然而,现有医学大模型评测集的任务设计多聚焦于单一类型(如问答、诊断等),尽管这类评估有助于比较不同模型间的性能差异,但通常仅覆盖某一特定认知层次,难以全面反映大模型在医学应用中所需的多层次、全流程能力。部分评测工作尝试通过引入多种任务来覆盖不同认知层次,但仍存在两方面问题:其一,不同任务与认知层次之间缺乏明确对应关系;其二,各任务所涉及医学知识点的覆盖范围、评测指标差异较大,导致跨任务的评估结果缺乏可比性与解释力。

为应对上述挑战,研究人员提出了多认知层次医学评测框架 MultiCogEval。该框架设计了一系列覆盖医学生培养全流程、对应不同认知层次的医学任务,并结合医学知识点对齐与评测指标统一等方法,实现了跨认知层次的评估可比性与结果可解释性,为大模型医学能力的系统性评估提供了有效支撑。

(图 1):人类医师医学认知能力发展流程与大模型医学能力评测的对应关系

MultiCogEval:多认知层次医学评测框架

受现有医师培养流程启发,MultiCogEval 从三个认知层次考察大语言模型的临床能力:

  • 基础知识掌握:评测模型对基础医学知识的记忆与理解程度。在这一层次上,MultiCogEval 采用现有 LLM Benchmarks 中最常用的多项选择题(Multiple-choice Questions)进行评测;
  • 综合知识应用:评测模型综合运用所学知识解决临床任务的能力。与多项选择题相比,真实临床场景往往可用信息更少、决策空间更大,同时依赖多步推理才能得到结果。为了进一步逼近这些真实临床场景的应用需求,MultiCogEval 从这三个维度出发,分别设计了三种任务进行评测;
  • 场景问题求解:评测模型在真实临床场景中主动规划求解的能力。尽管现有的一些医学评测集(如 MedQA)涉及对医学案例的分析与诊断,但这些评测集往往是将所有诊断信息一次性通过题干的形式提供的。与之相比,真实临床场景则依赖医师基于已有的诊断信息进行主动决策,通过查体、实验室检查、影像学等方式收集诊断信息,最终综合已有的诊断信息做出诊断。在这一层次上,MultiCogEval 采用一种模拟诊断任务,考察大模型在信息不足条件下主动规划检查检验,并完成诊断的能力。

(图 2):多认知层次医学评测框架 MultiCogEval

实验结果:当前大模型的临床场景问题求解能力仍待加强

基于该评测框架,研究人员对一系列知名大模型进行了系统的评测,观察到多种 SOTA 大语言模型(如 GPT-4o、DeepSeek-V3 和 Llama3-70B)在低阶任务(基础知识掌握)上表现出色,准确率超过了 60%。然而,当在中阶任务(综合知识应用)上进行评估时,这些模型的性能均出现了显著下降(约 20%)。此外,在高阶任务(场景问题求解)中,所有模型的表现进一步下滑,其中表现最好的 DeepSeek-V3 的全链条诊断准确率也仅为 19.4%。这表明,尽管当前的大语言模型在基础医学知识方面已经具备较强的掌握能力,但在更高认知层级上,尤其是在应对真实医疗场景中的复杂问题时,仍面临巨大挑战。

(表 1):来自多个系列的通用大模型在 MultiCogEval 不同层次上的评测表现

为研究医学领域 SFT 对大语言模型在不同认知层级上的影响,研究人员进一步对比了医学大模型与对应基座模型,发现医学领域 SFT 可以有效提升大模型的低阶(基础知识掌握)与中阶(综合知识应用)临床能力(最高可达 15%)。然而,在高阶任务(场景问题求解)上,它们未能取得显著进步,有些甚至表现不如基座模型。

(图 3):多个医学专用大模型在 MultiCogEval 不同层次上的评测表现

最后,研究人员进一步研究了推理时扩展(inference-time scaling)在提升大语言模型医学能力方面的效果。如表 2 所示,推理增强模型在所有认知层级上均优于对应的指令微调模型,且在中阶任务上的提升更为显著(例如 DeepSeek-R1 在中阶任务上提升了 23.1%,而在低阶任务上仅提升了 9.8%)。然而,当前的推理增强模型仍然没有完全解决高阶任务,说明现有的模型在真实临床场景中主动规划、获取决策信息进行推理的能力仍然有待进一步提升。

(表 2):推理增强模型与指令微调模型在不同层次任务上的性能对比

结语

本研究首次提出了多认知层次医学能力评测框架 MultiCogEval,系统性地对大语言模型在基础知识掌握、综合知识应用和场景问题求解三大认知层级上的医学能力进行评估。通过构建面向全流程医学任务的评测体系,并在多个主流通用大模型与医学专用模型上进行评测与分析,研究团队发现:

  1. 当前大模型在低层级医学任务表现较为出色,具备较强的医学知识记忆与理解能力。但随着任务认知复杂度的提升,模型在中高层级任务上的能力出现明显下降,尤其是在高阶临床场景下的主动信息获取与推理决策能力仍显不足;
  2. 医学领域微调在提升基础与中阶能力方面效果显著,但对高阶任务性能提升有限;
  3. 推理时扩展方法能够显著增强模型在各个层次医学任务上的表现,特别是在复杂任务中,但仍不足以完全弥补模型在高阶能力方面的短板。

MultiCogEval 的发布为后续的医学大模型研发与评测奠定了坚实基础。我们期待该框架能促进大模型在医学领域的更加稳健、可信、实用的落地,真正助力构建 “可信赖的 AI 医生”。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

自取其辱!高市早苗摇头晃脑,抛媚眼后丑态百出,马科斯无动于衷

花颜蕴韵
2026-11-18 19:56:56
立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

立场亲华武契奇前脚离去,后脚塞尔维亚就冒出个不亲欧不亲俄的“硬茬”,欧洲这次真急了!

唠叨说历史
2026-11-12 14:20:16
北京炒股冠军罕见发声:如果11月迎来牛市,建议试试三线定股法!

北京炒股冠军罕见发声:如果11月迎来牛市,建议试试三线定股法!

股经纵横谈
2026-11-18 19:52:17
破六十多年惯例!美方搬出最高外交礼遇,实力才是硬通行证!

破六十多年惯例!美方搬出最高外交礼遇,实力才是硬通行证!

大又元
2026-09-25 19:23:02
再见,森保一!日本足球划时代:12场不败终结!新任主帅正式接班

再见,森保一!日本足球划时代:12场不败终结!新任主帅正式接班

徐罘老表哥
2026-11-18 03:01:48
湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

扶苏聊历史
2026-11-18 14:57:07
真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

真是毁三观!释永信21年前与刘立明在郑州发生关系的笔录曝光

魔都姐姐杂谈
2025-07-28 14:35:36
迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

迪拜首富之女重病赴华寻求中医,中医扎五根银针,开口便让他们傻眼

萧竹轻语
2025-10-13 11:40:11
央视翻车?感动全网的老人拆墙让路竟然是多年违规占地?

央视翻车?感动全网的老人拆墙让路竟然是多年违规占地?

魔都囡
2026-11-18 03:15:27
“赵丽颖起诉红果”上热搜!红果短剧:累计治理肖像侵权作品超4.3万部

“赵丽颖起诉红果”上热搜!红果短剧:累计治理肖像侵权作品超4.3万部

澎湃新闻
2026-11-17 17:02:45
APEC峰会最让人意外的,不是谁来了,而是马云和梁文锋都没现身

APEC峰会最让人意外的,不是谁来了,而是马云和梁文锋都没现身

别人都叫我阿腈
2026-11-18 14:06:25
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

卡西莫多的故事
2025-10-30 11:33:46
中国车市连续7个月降幅超20%

中国车市连续7个月降幅超20%

西虹市闲话
2026-11-16 13:16:09
董少鹏:中国股市究竟该怎么办?

董少鹏:中国股市究竟该怎么办?

新浪财经
2026-11-18 14:15:26
红军到陕北后没吃没穿,是如何度过难关的?毛泽东:要感谢三个人

红军到陕北后没吃没穿,是如何度过难关的?毛泽东:要感谢三个人

阿胡
2026-11-08 10:49:27
国家广播电视总局举办电视剧《伟大的长征》创作座谈会

国家广播电视总局举办电视剧《伟大的长征》创作座谈会

澎湃新闻
2026-11-17 20:29:11
普京访华:来中国最舒心,中美俄开创历史

普京访华:来中国最舒心,中美俄开创历史

生思孰虑
2026-11-18 16:31:39
WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

大风新闻
2026-11-18 14:26:01
国民党一人抛出统一方案,我国台办回应亮了,释放重要信号

国民党一人抛出统一方案,我国台办回应亮了,释放重要信号

坠入二次元的海洋
2026-11-18 16:44:53
2026-11-18 22:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
时尚
教育
游戏
手机

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

英国法庭驳回索尼PlayStation数字内容集体诉讼

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版