AI医疗问答系统到底靠不靠谱？一次让人冷汗直冒的拆解

你有没有想过这样一个问题：如果一个AI医疗助手回答患者问题时说错了一句话，有谁能发现？

大多数人会说，这不难，用AI去验证AI就行了。让一个模型生成答案，再让另一个系统拿着权威医学资料去核查这个答案里的每句话是不是靠谱的。这套做法现在有个专门的名字,

检索增强验证：先把AI生成的内容拆成一条条独立的事实陈述，再从权威医学数据库里检索相关资料当证据，最后让另一个AI模型判断这条陈述有没有被证据支持。

听起来挺严谨对吧。约翰霍普金斯大学的研究团队做了一件事,他们找了几位真正的临床医生,拿着AI生成的540条医疗问答,一句一句地标出哪里说错了。然后让目前最强的检索系统配上最强的AI验证模型，去跑一遍这套"用AI查AI"的流程，看看它能揪出多少医生发现的错误。

结果让人倒吸一口凉气。在医生标注出的真实错误里，这套顶配系统只能找出大概四分之一。

四分之一是什么概念,医生发现了100个错误，系统最多能帮你抓出25个,剩下75个,错误照样原样呈现在患者面前，没人提醒。

这还不是最奇怪的部分。研究者拿同一套验证流程去跑几个标准的医学事实核查测试集,比如SciFact、CovidFact这类业内常用的基准,结果准确率飙到70%到80%。同样的技术，换了个场景,表现断崖式下跌,从接近八成掉到不到一成。

这篇论文做的事情,就是把这个黑箱打开，看看问题到底卡在哪一环。

一、问题到底难在哪

先说清楚两种任务的本质区别。

像SciFact这样的测试集,属于封闭式事实核查。它的玩法是研究者先写好一句科学声明,再专门去找对应的证据段落放进题库，证据和声明是配对出生的，证据库也不大,搜索范围可控。

开放式问答验证完全不是这个套路。AI医生生成一句"孕期头晕可能是体位性低血压"，没人提前给你准备好证据,你得自己从3000万份医学文献里捞东西出来核实,而且这句话到底对不对,甚至这句话在整个人类医学知识库里有没有现成答案支持,都是未知数。

研究团队把这个落差拆成了三个具体原因。

第一个原因是证据库的完整性不够。研究者统计发现，SciFact这类数据集里90%左右的标准答案证据，恰好就躺在他们用的医学语料库MEDIC里

MEDIC：一个包含3030万份医学段落的语料库,来源包括PubMed论文、医学教科书和临床百科StatPearls，由学者Xiong等人在2024年发布,是目前检索增强医疗问答系统最常用的证据来源之一。

证据存在,检索出来，核实一下，分数自然高。可换成真实世界的开放式问答，很多时候AI随口说出的一句话，压根不存在任何权威文献里讨论过,或者相关讨论散落在十几份不同的文献角落里,谁都没有专门写一篇论文去反驳或证实这句话。你让系统去找一个根本不存在的东西，它当然找不到。

这就好比你让一个侦探去破案，案发现场留了明确的指纹和监控录像，这是封闭式任务。开放式任务则是,案子发生了,但现场什么证据都没留下,甚至这案子是不是真的发生过都存疑。侦探再厉害,没有线索可查,照样破不了案。如果不区分这两种处境，直接拿破指纹案的效率去要求破无头案的侦探，那就是在用错误的标尺衡量能力。

第二个原因是证据的可定位性。即便证据真的存在于某个庞大语料库里,找到它也是另一回事。封闭式数据集的语料库是围绕题目量身定做的，范围小,干扰项少。开放式场景下,系统要在3000万份文档里大海捞针,证据可能就埋在成千上万份看起来差不多的无关文档中间。好消息是，这一块是可以靠技术进步解决的,检索模型越强,找得越准。

第三个原因,也是最棘手的,是证据和声明之间的对齐问题。举个例子，AI说"成年人每6小时可以吃400毫克布洛芬"，但检索出来的权威文献写的是"每公斤体重5到10毫克"。这两句话说的其实是同一件事,但一个是绝对剂量，一个是按体重折算的剂量,系统得先完成单位换算和人群假设的推理,才能判断这两句话矛不矛盾。再比如AI说"老年人需要调整剂量"，证据库里可能只有两条分开的信息,一条讲"年龄增长导致肝功能下降"，另一条讲"肝功能下降需要调整剂量"，系统得把这两条串起来才能验证。

这种对齐问题不是检索能解决的，也不是简单地换个更大的模型就能解决的,它需要的是真正的临床推理能力,系统要像医生一样理解剂量换算、人群泛化的边界、不同研究结论之间的冲突该怎么权衡。

二、换更好的检索器，换更大的模型，都没用

研究团队做了一轮一轮的"升级测试"，想看看到底能不能靠砸资源解决问题。

先看检索器。他们测了四种主流检索方案,包括专门针对医学领域微调过的MedCPT

MedCPT：一个专门用医学数据微调过的检索模型,2023年发布,目前是生物医学信息检索领域下载量最高的检索工具之一。

还测了把关键词检索和语义检索混合起来的RRF方案

RRF（倒排排名融合）：一种把多个检索系统的排序结果合并起来的技术,比如把传统关键词匹配BM25和语义向量检索的结果按排名加权融合,取长补短。

以及2025年在通用领域检索排行榜上排名第一的Qwen3-Embedding模型。

结果是，Qwen3确实是表现最好的，它检索到的"无证据可用"情况最少，大部分查询都能找到相关内容。但即便是这个最强的检索器,它召回的证据里真正算得上高质量的，比例也只有14.5%。意味着每找回100份文档,只有大约14份是真正帮得上忙的。而排名靠后的MedCPT，这个比例只有2%。

这里要讲一个让人意外的发现。研究团队本以为换成实时的谷歌搜索,利用权威域名筛选,比如只看.edu、.gov、.org这些后缀的网站，会比固定的静态语料库效果好,毕竟谷歌的信息更新更及时,覆盖面也更广。结果恰恰相反,无论是谷歌通用搜索、谷歌学术搜索,还是两者合并，召回率反而全部低于固定的MEDIC语料库，从25.6%掉到15%左右。

研究者还挖出一个具体案例，特别能说明问题。有AI说"站立性头晕也叫体位性低血压"，这句话其实是不严谨的,头晕只是体位性低血压的一个症状，不是它的别名。用MedCPT语料库检索出来的证据,准确识别出了这个混淆,判定这句话被反驳。但换成谷歌通用搜索,检索到的九条结果里，包括加州大学洛杉矶分校健康中心UCLA Health这样的权威医疗机构网站，内容表述却是"站立时感到头晕（体位性低血压）"，直接把症状和诊断划上了等号。AI验证模型拿着这些权威来源的网页内容做判断，反而得出了相反的结论,认定这句话是对的。

这件事挺值得琢磨。权威机构的网站用来给普通人做健康科普，语言天然会简化,把专业诊断和常见症状混着说很正常，这样读者才看得懂。可这种为了传播而简化的表达,拿到严谨的事实核查场景里，反而成了误导证据的来源。证据的权威性和证据的精确性,原来不是一回事。

再看验证模型这一端。研究团队测了六种主流AI模型,从GPT-5.4到专门用医学数据微调过的MedGemma，还对比了几个通用大模型。

结果彻底打破了"模型越大越强，排行榜分数越高越可靠"这个直觉。研究者查了一个专门给医疗AI模型打分的排行榜,叫Best AI for Healthcare,发现模型在这个榜上的排名和它们在这次开放式验证任务里的实际召回率，几乎呈反方向走。参数量最小的Mistral Small 3，在健康基准榜上排名154,倒数靠后，可它在这次任务里的召回率却是六个模型里最高的，达到34.9%。反倒是GPT-5.4和Qwen3.6这两个在健康基准榜上排名靠前的模型,召回率只有25.6%和22.1%。

这说明标准医疗知识问答能力和实际验证陈述真伪的能力，是两种不同的本事。打个比方,一个人能把医学教材背得滚瓜烂熟,考试拿高分,不代表他有本事坐在病人面前，一边听主诉一边判断对方哪句话说得不对劲。知识的广度和纠错的敏锐度，根本不是同一条能力曲线上的两个点。

更让人意外的是关于"推理时间"的实验。研究团队给GPT-5.4调高了推理强度,让它多想一会儿再给答案。结果呢，推理标记数从5.7万个暴涨到46.6万个,整整多花了8倍的算力,但召回率完全没提升,还是25.6%。换句话说,这些多出来的计算量都花在了反复斟酌、犹豫不决上面,而不是真正帮它找出更多错误。

这个发现有点意思,它说明让模型"想久一点"这个在很多任务上管用的招数，在医疗验证这件事上失灵了。模型多想的那部分时间,大概率是在给自己找更多模棱两可的措辞,而不是在真正校验证据和声明之间到底对不上在哪里。

医学专项微调也没有带来质的改变。MedGemma相比它的通用版本Gemma3，召回率确实翻了一倍，从8.1%涨到16.3%,但距离表现最好的模型还有一大截距离。微调能带来提升，但没法突破模型本身架构和预训练能力的天花板。

三、拆开黑箱才看得清楚哪里出了问题

光看最后的分数,只能知道系统做得好不好,看不出来它为什么做得不好。这就是研究团队想解决的核心问题,他们决定不满足于一个总分，而是把这套验证流程彻底拆解,一步一步看每个环节在哪里崩了。

为了做到这件事，他们开发了一套人机协同的分类体系构建方法,先让团队里的研究者结合跟真实临床医生交流得到的直觉,搭一个初步的分类框架，再拿这个框架去标注更多数据，看有没有新模式冒出来需要补进去,反复迭代了六轮，直到不再出现新的错误类型为止。这套方法不需要提前准备标准答案,也不需要人工标好的"正确证据"，这正是开放式场景下的刚需，因为前面已经说过了，开放式问答里压根不存在这种标准答案。

LLM-as-Judge：用一个大语言模型来充当"评委"的角色，对另一个模型生成的内容进行质量打分或分类标注，是目前自动化评估领域常用的手段,优点是能大规模处理数据,省去大量人工标注的成本。

拆解之后，研究团队把整个验证流程切成了两段,检索这一段和验证推理这一段,分别建了两套细致的问题分类框架。

检索这一段,他们从五个维度去打分每一份检索回来的证据,包括这份证据的主题是不是真的匹配声明里提到的实体、证据的适用范围是不是对得上声明里说的特定人群、这份证据来源靠不靠谱、证据到底是支持还是反对这个声明还是压根没表态、还有文档切分的时候有没有把上下文切坏了。

结果发现，最大的拦路虎出在"适用范围"这个维度上，有71.5%的证据存在范围不匹配的问题,比如声明讲的是孕妇这个特定人群,证据给的却是普通人群的笼统信息。另外还有62%的证据来源不够权威,55%的证据只是提到了相关话题，但压根没有给出明确的支持或反对表态,也就是说看起来相关，其实什么都没说。

验证推理这一段,则被拆成六个连续步骤，从挑选证据、理解证据、做出推理、校准自己判断的确信度，到最后给出结论、保证理由跟证据对得上号,层层递进。研究者发现,最常出现的错误是模型只覆盖了部分证据，忽略了支持或矛盾的其他段落,占比20.8%,其次是推理过头,也就是模型从并不矛盾的证据里强行推出矛盾的结论，占比18.8%。

这里出现了一个颠覆性的结果,前面提到那个召回率最高的小模型Mistral Small 3,如果单看它最终答对了多少题,它表现最好,但如果拆开看它每一步推理的正确率,它反而是六个模型里最差的,只有66%的推理链条是完全正确的。GPT-5.4则相反,终答分数不是最高的,但它的推理过程完整正确率高达90%。

这说明一件挺反常识的事,Mistral Small 3表面上的高分数,很大程度上是蒙对的,它的推理过程本身是错的，但结论恰好撞对了。这就好比一个学生考试全靠蒙对了选择题，分数单看成绩很好看,但你要是让他把每一步解题思路写出来给你看，就会发现他压根没理解题目,纯粹是运气。如果不去拆开看中间过程,只看最后的分数，你完全看不出这个区别,甚至可能因此选了一个"看起来表现最好"但实际上最不可靠的系统。

四、所以这套方法到底哪里行不通，哪里还有救

把前面这些发现串起来看，会发现一个让人略感无力的结论,规模化扩张在这里基本不管用。换更大的模型没用,给模型更多思考时间没用,专门做医学微调效果有限,扩大证据来源到整个互联网反而更差。这些手段在很多AI任务上都是立竿见影的升级路径,放在这个场景里全部失效了。

研究者认为，这说明开放式医疗事实验证碰到的不是某个具体系统设计得不够好的问题,而是检索增强验证这整套范式本身,在面对完全开放、没有标准答案可比对的真实场景时，存在结构性的局限。

这个判断其实挺重的。意味着不是哪个团队调参没调好，换个更强的模型发布会就能解决,而是整条技术路线本身,在这类任务上就没法靠简单堆资源突破瓶颈。

那研究团队给出的建议是什么,他们提出了一套更细粒度的评估思路,不要只盯着检索出来的东西和问题关键词对不对得上,要像拆解这篇论文做的那样,去看证据适用范围对不对、来源权威不权威、证据表态是不是明确。验证推理这一端也一样,不能只看最后给出的判断对不对,要去追踪它每一步推理链条有没有问题,哪怕最后结论蒙对了,过程错了也该被记录下来。

这套思路听起来挺朴素,本质上就是别只看结果，要看过程。但在当下这个追求效率、追求端到端自动化评分的大环境里，愿意沉下心去拆每一步、建一套没有标准答案可依赖的分类体系,这件事本身的工作量和耐心成本是很高的。这篇论文做的，恰恰是这件没人愿意做但有人必须做的事。

写在后面

读到那个UCLA Health网页案例的时候，我停下来想了很久。

权威机构的网站不是故意误导人，它们是在为普通读者做科普，用词简化是必要的,毕竟不是每个看健康科普的人都懂医学术语。但这个为了传播效果而做的简化，一旦被当作严谨验证的证据来源,反而制造了一个比没有证据更危险的处境,一个看起来权威、读起来顺理成章、实际上模糊了关键区别的错误判断。

这让我想到一个更大的问题,我们一直以为"权威来源"和"准确信息"是同一件事,这篇论文告诉我们,这两者之间其实隔着一层,叫做"信息传播目的"。给专家看的文献和给大众看的科普，哪怕讲的是同一件事,表达的精确度要求完全不一样。AI系统如果不能区分这两种语境，就会把科普级别的模糊表达，当成专家级别的精确判断去使用。

还有一点让我反复琢磨,这篇论文里反复出现"规模扩张失效"这个结论,换大模型没用，给更多思考时间没用,扩证据库没用。这跟我们平时对AI能力提升的直觉完全相反,我们习惯性地相信砸资源总能换来进步，哪怕边际收益递减,至少方向是对的。但这次连方向都是错的,砸资源有时候解决不了问题，因为问题根本不在"量"上，而在"这件事本身需不需要一种完全不同的能力结构"。

如果一套方法在简单场景里表现完美，在复杂场景里却彻底失灵，那它到底算不算真的"有效"过?

Q&A

Q1：检索增强医疗事实验证系统到底靠不靠谱？

A：目前并不靠谱。即便用最强的检索器配上最强的验证模型，在开放式医疗问答场景中，也只能找出医生标注的大约四分之一的事实错误，而同样的技术在标准测试集上准确率能达到70%到80%，差距非常大。

Q2：为什么换更大的AI模型或者让模型多思考，没能解决医疗验证不准的问题？

A：研究发现模型在健康知识基准榜上的排名和它实际验证陈述真伪的能力几乎呈反方向，知识广度和纠错能力不是同一种本事。而且让模型推理时间延长8倍，召回率完全没提升，多出的算力大多花在了犹豫和模糊措辞上。

Q3：扩大证据来源到谷歌搜索，为什么反而效果更差？

A：因为权威网站的健康科普内容往往为了方便大众理解而简化表达，容易混淆专业诊断和常见症状的区别，比如把"头晕"和"体位性低血压"直接划等号，这种为传播而简化的内容反而成了误导验证系统的证据来源。