当AI也要"上图书馆"：EMBL给智能体造了一个懂科研文献的贴身管家

2023年，欧洲一家研究机构悄悄发现了一件让人哭笑不得的事:他们运营的Europe PMC文献数据库，访问量里来自机器人的部分正在飞速增长。这不是黑客攻击,也不是爬虫作恶,而是一大批AI智能体正试图通过这个老牌搜索引擎去查文献。

问题是，Europe PMC这个系统压根不是为AI设计的。

它诞生的初衷，是给人类科研人员用的：你输入关键词，它给你一堆论文列表，然后你自己点开、自己读、自己判断哪句话有用。这套流程对人类来说没什么问题，泡杯咖啡，慢慢读就是了。但对一个AI智能体来说，这几乎是一场灾难。

一篇论文动辄几千字，AI智能体的"记忆"（也就是上下文窗口）是有限的，读一篇论文可能就要吃掉大半个token预算。更麻烦的是，生物医学里同一个概念常常有十几种叫法：TP53这个基因，对应的蛋白叫p53；渐冻症在论文里可能写成ALS，也可能写成全称amyotrophic lateral sclerosis，还可能用医学标准词表MeSH里的另一套说法。AI要是只用一种说法去搜，注定漏掉一大半相关文献。

这就像你去图书馆找一本书，图书管理员却坚持只认书名的某一种翻译版本，你说"三体"她说没有，你必须说出英文原名"The Three-Body Problem"她才肯查——换个人来问，问题瞬间就解决了，因为人类管理员脑子里装着所有的别名对照表。可AI要是没有这个"翻译"能力，就只能对着空气干瞪眼。

来自EMBL（欧洲分子生物学实验室）和EMBL-EBI（欧洲生物信息学研究所）的一支团队，决定给这些AI智能体配一个真正懂行的"图书管理员"。他们把这个系统叫做**EMBL AI LIBRARIAN**，中文可以理解为"EMBL AI图书馆员"。

当下最流行的解法，其实有三个硬伤

在讲LIBRARIAN之前，得先说说目前业界通行的做法是什么，以及它为什么不够好。

现在主流的方案叫做**密集向量检索**（dense retrieval）：一句话解释，就是把所有论文切成一小段一小段的文字，每一段都用AI转换成一串数字（叫做"向量"），存进一个巨大的数据库里。用户提问时，同样把问题转换成向量，然后在数据库里找"数学上最接近"的那些段落。

这套方案背后有个代表性系统叫OpenScholar，它建了一个大约4500万篇论文的数据库，光是存储这些向量就占了差不多744GB空间。这相当于什么概念？你手机里存几千部高清电影，可能都用不掉这么多空间。

这套方案的第一个硬伤是贵：你得先把全世界的论文都切碎、编码、存起来，这是一笔沉重的基础设施投入，而且论文每天都在增加，你得持续更新这个巨大的索引。

第二个硬伤更微妙：随着AI模型本身越来越聪明，密集检索的优势正在缩小。论文里提到一个关键发现，一个调教得当的老派关键词搜索引擎（术语叫BM25），只要配合一个足够聪明的AI去发起多轮搜索，效果居然能追平甚至超过密集向量检索。

BM25*：一种基于关键词匹配和统计频率的经典搜索排序算法，不需要理解语义，纯粹靠词频和文档长度打分，是Google出现之前搜索引擎的核心技术之一。

这就像本以为要靠高科技GPS才能找到路，结果发现一个经验丰富的老司机凭着记忆和路标，照样能又快又准地把你送到目的地。GPS(密集检索)确实厉害，但它需要提前下载整张地图、持续更新路况数据，成本高昂；老司机(BM25+聪明的AI)只需要认路标、会问路，成本低得多，效果却不一定差。如果盲目迷信"新技术一定更好"，可能会为一个已经不再明显的优势付出巨大的基础设施代价。

第三个硬伤是密集检索会把结构化信息压扁。生物医学论文里，"这个基因"、"这个蛋白"、"这个物种"、"这种疾病"这些标签其实是清晰可查的字段，但一旦转换成向量，这些字段的边界就模糊了，你没法再精确地说"我只要查Homo sapiens里关于TP53的论文"。

第四个问题是不透明：向量检索找出来的结果，你没法直接看出"它为什么觉得这段话相关"，而结构化的关键词查询是可以被人类审查和理解的。

LIBRARIAN怎么解决这些问题：不建索引，直接查活的数据库

LIBRARIAN最关键的设计决策，是它**压根不建自己的索引**。

它没有自己的向量数据库，没有自己存储的论文副本，而是直接实时查询Europe PMC本身自带的搜索引擎——这个搜索引擎已经收录了1190万篇全文文章、4070万篇PubMed摘要，还有120万篇预印本，而且它天生就支持按基因、蛋白、物种、疾病这些结构化字段去精确查询。

LIBRARIAN干的事情，是在这套已有的、免费的、持续更新的基础设施上面，加了一层"智能翻译层"：用户或者AI智能体只需要用大白话提问，LIBRARIAN负责把这句大白话，转换成Europe PMC能听懂的那套复杂查询语法，然后再把搜出来的一堆论文，提炼成简短、可引用的证据片段。

这就好比你去一个规模庞大、藏书极为丰富的老图书馆（Europe PMC），馆藏是真实存在且持续增长的，但你需要按照它那套复杂的分类编码去查（比如"哲学类·伦理学分册·第三架第二层"）。这时候图书馆给你配了一个懂行的管理员（LIBRARIAN），你只需要说"我想找一本讲人性本善还是本恶的书"，管理员立刻帮你转换成正确的分类编码去查，找到之后不是把整本书扔给你，而是直接翻到相关那几页，划出重点句子给你看。如果没有这个管理员，你要么得自己学会那套编码规则，要么就只能拿到一整本书自己从头翻到尾——对一个每次"阅读"都要消耗大量计算资源的AI来说，后者的代价是实实在在的。

整个系统只靠**一个大语言模型**来统一调度，论文里用的是GLM-5这个模型，部署在英伟达的DGX B200服务器上运行。这里有个很重要的设计理念：LIBRARIAN是**模型无关**的，也就是说，未来随便换一个更强的大模型进来，整套系统的效果会跟着水涨船高，不需要重新训练或者重新设计。

大语言模型（LLM）*：一种通过海量文本训练出来的AI模型，能理解和生成自然语言，比如GPT系列、Claude系列都属于这一类。

三步走的检索流程：先撒网，再精挑细选

LIBRARIAN的整个工作流程分成三个阶段，思路是**先追求覆盖面，再追求精准度**。

第一阶段叫子查询生成。系统把用户的一句自然语言问题，交给大模型去拆解成好几条互补的查询语句，最多7条。这些语句可以是普通关键词，也可以是带字段标签的精确查询，比如指定只搜标题和摘要、只搜某个基因/蛋白名称、只搜某个物种、只搜某个发表年份区间。每条查询生成后，都会先过一道语法校验，格式不对的直接扔掉，只有合规的查询才会真正发到Europe PMC去执行。

为什么要生成多条查询，而不是一条？因为前面说过，生物医学的一个概念常常有好几种叫法。论文举了个例子：查"脂质纳米颗粒的生物分子冠"这个问题，系统会同时生成"body字段搜生物分子冠 OR 关键词搜纳米颗粒"、"基因蛋白字段搜载脂蛋白 AND 标题摘要搜LNP"、"方法部分搜脂质纳米颗粒 AND 结果部分搜血清"等好几条不同角度的查询，每一条都在从不同的侧面撒网，尽量不漏掉任何一篇可能相关的论文。

第二阶段是论文级检索和段落排序。这些经过校验的查询会并行发送给Europe PMC的实时搜索引擎，每条查询最多取回50条结果。因为多条查询可能搜到同一篇论文，系统会做去重处理，先按PMID（PubMed的文献编号）去重，没有PMID的再按DOI去重，实在都没有的按标题去重。

对于每一篇能拿到全文的论文，LIBRARIAN会把整篇文章拆解成一个个自然段落，扔掉参考文献、致谢、作者简介这些"边角料"，只留正文部分。然后用BM25算法，把这些段落跟用户原始问题做打分排序，挑出得分最高的若干段落进入下一阶段（论文的摘要总是会被保留，哪怕它排名不高）。

第三阶段是过滤、重排序和证据提炼。这是整个流程里最关键的一步。系统把每篇论文候选的段落拼在一起，切成一句句独立的句子，每句话前面标上一个唯一编号。然后用一次大模型调用，把一批论文的所有候选句子丢给模型去评估，模型返回它认为最相关的句子编号列表，按相关性从高到低排列。

这一步同时干了三件事：过滤掉不相关的内容，把相关内容重新排序，把支撑证据提炼成具体的句子。为什么这一步特别重要？因为BM25那种基于关键词匹配的排序，本质上是"字面上像不像"，而这一步是让大模型真正去"读懂"每句话跟问题之间的语义关联，这是关键词匹配做不到的。而且模型只需要吐出几个句子编号，不需要重新生成整段文字，大大降低了计算开销和响应延迟。

最终，LIBRARIAN交出来的不是一堆论文链接，而是一组精挑细选的证据片段，每条都带着来源论文的信息（作者、期刊、年份），还保留着它是通过哪条查询找到的——这意味着整个检索过程是**可追溯、可审查**的，你随时可以回头检查这条证据到底是怎么被找出来的。

四大测试场景，逐一验证效果

研究团队在四个完全不同的任务场景里测试了LIBRARIAN，覆盖了从"写综述"到"查单点事实"的各种需求光谱。

### 场景一：跨多篇论文的综合问答（ScholarQA-Bench）

这个测试用的是由博士级专家撰写的复杂问题，回答这些问题需要综合好几篇论文的内容才能给出完整答案。评价标准叫**引文F1值**，这个指标同时衡量两件事：你写的每一句需要引用的话，是不是都配上了合适的引用；以及你标注的每一个引用，是不是真的支撑了对应那句话（既不多余也不缺失）。

结果显示，团队设计的"综合Agent"（用GLM-5模型驱动），在跟OpenScholar等已发表的强力基线系统对比时，即使用的是完全相同的检索语料库，也已经领先不少。而当这个Agent换上LIBRARIAN作为检索引擎之后，生物医学方向的引文F1值达到73.8分，比用普通BM25检索OpenScholar自建数据库又提升了6.8分；神经科学方向的提升更是达到10.9分。在跨学科的综合测试里，LLM打分（满分5分）从4.10提升到4.90，相当于提升了20%。

### 场景二：核对科学声明是否符合文献共识（ProClaim-eval）

这个任务更像是"科学事实核查员"的工作：给定一个科学声明，比如"某个蛋白A会直接激活蛋白B"，系统要去文献里查证据，然后判断这个声明是"支持"、"反驳"还是"证据不足"。测试数据来自SIGNOR（蛋白质相互作用数据库）和ConnectomeDB（配体受体相互作用数据库），一共419条声明，每条都有专家给出的标准答案。

结果是，一个只用了单次提示词、结构极其简单的验证Agent，配上LIBRARIAN之后，平均一致率能达到66%，比原来用PubMed加语义学者（Semantic Scholar）检索的方式高出15个百分点。更进一步，把原本已经很复杂的ProClaim三阶段验证系统（检索、事实提取、充分性判断，还带一个反复迭代的循环）换上LIBRARIAN做检索引擎，一致率从75%提升到80%。这两个数字都远超作为对照组的OpenScholar系统（43%）。

### 场景三：超越摘要的开放式问答（LitQA2）

这个基准专门设计了一批**很难的、必须读全文才能答对**的事实性问题，光看摘要是回答不出来的。研究团队把它改造成开放式问答的形式（不给候选选项，必须自己写出答案），保留了91道有全文可查的题目。

这里的对比最能说明问题。同样用GPT-5.4这个模型作为答题的大脑，如果完全不给它任何检索能力，只靠它自己脑子里记的知识去回答，准确率只有17.6%，而且它会100%地强行给出答案（也就是说，它宁可编也不愿意说"我不知道"）。这暴露了一个大模型固有的毛病：不给它外部证据，它就爱瞎编，专业术语叫幻觉。

**幻觉**：指大模型在没有真实依据的情况下，生成的内容表面上看起来通顺合理，实际上是错误或编造的信息。

给它接上普通的网页搜索之后，准确率一跃提升到70.3%，这个提升幅度证明了"让AI先查资料再回答"这个思路本身是有效的。但真正让人眼前一亮的是，当换成LIBRARIAN之后，准确率进一步提升到78.9%，同时精确率（答对的答案里有多少是真正正确的）也从76.2%提升到82.6%，覆盖率（愿意给出答案而不是弃权的题目比例）也从92.3%提升到95.6%。

这组数据说明什么？说明LIBRARIAN不只是让AI"敢答"，而是让它"答得更准"，两个指标同时提升，没有此消彼长的取舍。这就好比考试的时候，普通网页搜索给你的是一堆散乱的搜索结果网页，你还得自己判断哪个可信；而LIBRARIAN相当于一个提前帮你划完重点、标好出处的复习资料，你直接照着答就是了。如果没有这层专业筛选，学生（AI）要么因为找不到确切依据而放弃作答，要么被搜索结果里鱼龙混杂的信息误导写出错误答案。

### 场景四：生物研究基础能力测试（LAB-Bench）

这是最贴近科研人员日常工作的一套测试，涵盖数据库信息查询、生物实验方案排错、生物序列操作、分子克隆场景设计等四个类别。

有意思的是，LIBRARIAN在这里对不同强度的模型起到了不同的作用。对相对较弱的GPT-4o来说，接上LIBRARIAN之后，精确率从49.0%提升到54.0%，但覆盖率从70.2%掉到64.8%，整体准确率几乎没变（35.2%到35.3%）。这背后的机制是**校准**：这个较弱的模型本来容易凭着自己脑子里的旧知识瞎猜，接上外部证据之后，它学会了在证据不够充分的时候老实说"信息不足"，而不是硬着头皮编答案。即使准确率没涨，这种"知道自己不知道"的能力本身就很有价值。

而对更强的GPT-5.4来说，情况完全不同：精确率基本没变化，但覆盖率提升了6.8个百分点，宏观准确率从50.5%提升到54.6%。最典型的案例是序列操作类题目（SeqQA），准确率从52.5%飙升到63.8%，提升了11.3个百分点，覆盖率从85.0%提升到98.8%。这说明这个更强的模型本来就有能力，只是缺少外部证据的时候它会选择弃权，LIBRARIAN一旦把证据递过来，它立刻就能答对。

不过也有一个类别完全不吃这一套：数据库查询类题目（DbQA）。这类题目本质上是直接查数据库记录，跟检索文献关系不大，两个模型接上LIBRARIAN之后准确率反而略微下降了（-2.3和-1.3个百分点）。这提醒我们，**不是所有任务都需要文献检索**，有些问题本质上是查表格而不是查文献，硬塞证据反而可能造成干扰。

下面这张表格总结了核心的对比数据：

| 基准测试 | 对比对象 | 基线表现 | 接入LIBRARIAN后 |

| ScholarQA-Bench（生物方向引文F1） | GLM-5+BM25 | 67.0 | **73.8** |

| ProClaim-eval（平均一致率） | ProClaim原始检索 | 0.75 | **0.80** |

| 开放式LitQA2（准确率） | GPT-5.4+网页搜索 | 70.3 | **78.9** |

| LAB-Bench（宏观准确率，GPT-5.4） | GPT-5.4无检索 | 50.5 | **54.6** |

这套方法目前还做不到的事

研究团队自己也坦承了几个局限。第一个是知识覆盖范围受限于Europe PMC本身，一些需要付费订阅的论文全文没法获取。团队计划未来接入EMBL旗下其他生物知识资源，比如OpenTargets（药物靶点数据库）、UniProt（蛋白质数据库）、ChEMBL（化合物活性数据库），把知识层做得更全。

第二个局限是LIBRARIAN目前只做**单轮检索**，虽然一轮里会发出多条互补查询来提高覆盖率，但它没法像人类研究者那样，看到第一轮结果不够满意，再针对性地追加第二轮查询。这在需要多步推理的复杂问题上（比如"先查清楚A和B的关系，再根据这个关系去查C"）会是个瓶颈，团队计划让系统未来能自己判断证据是否充分，不够就再搜一轮。

第三个局限是LIBRARIAN目前只处理纯文字内容，论文里的图表、补充材料这些非文字信息暂时都碰不了，表格也只能当成普通文字处理。很多重要的实验数据其实就藏在图表里，这部分内容目前对LIBRARIAN来说是盲区。

写在后面

读完这篇论文，最让我意外的其实是那组"密集向量检索优势正在缩小"的发现。行业里这几年一直有个默认预设，越复杂越"深度学习范"的方案就一定更先进，向量数据库、语义相似度这些听起来就比关键词匹配高级。但这篇论文用实打实的数字告诉你：当底层的大语言模型足够聪明的时候，它甚至能把一套几十年前发明的老派算法（BM25）用出新的水平，效果不输那些烧钱建起来的向量数据库。

这背后其实是一个更普遍的道理：很多时候我们以为"更先进的技术"能解决问题，但真正的瓶颈往往不在检索算法本身，而在于"谁来指挥这套检索"。LIBRARIAN没有发明任何新的搜索算法，它复用的是Europe PMC早就存在的老搜索引擎，它做的唯一创新，是给这个老引擎配了一个足够聪明的"翻译官"。这提醒我一件事：有时候解决问题的钥匙不是造一个更复杂的工具，而是给已有的工具配一个更懂它的使用者。

还有一个细节值得琢磨：论文里那个"精确率涨、覆盖率跌"的GPT-4o案例。团队没有把这个结果包装成"失败"，而是老实地把它解读成"模型学会了不瞎猜"。这种诚实很难得，因为大部分论文遇到"准确率没涨"这种数据，都会想办法绕过去或者弱化处理。承认一个改进只是让模型更谨慎、而不是更强，这本身也是一种科研的坦诚。

如果未来LIBRARIAN真的接入了图表识别能力、加上了多轮检索的自我判断机制，它会不会有一天能替代掉相当一部分文献综述写作的初稿工作？这个问题留给时间去回答。

Q&A

Q1：EMBL AI LIBRARIAN是什么？

A：它是欧洲分子生物学实验室开发的一个知识检索层，专门给AI智能体用，让AI能用自然语言提问，直接从Europe PMC文献数据库里获得精炼、可引用的证据片段，而不需要学习复杂查询语法或读整篇论文。

Q2：LIBRARIAN和OpenScholar这类密集向量检索系统有什么区别？

A：最大区别是LIBRARIAN不建自己的索引数据库，而是实时查询Europe PMC现成的搜索引擎，通过大语言模型生成多条互补查询、再筛选排序证据。这样不需要花费巨大成本维护向量数据库，也能保留结构化字段（如基因、物种）的精确查询能力。

Q3：接入LIBRARIAN之后AI回答问题的效果提升有多大？

A：在开放式LitQA2测试中，GPT-5.4搭配LIBRARIAN比搭配普通网页搜索准确率提升约8.6个百分点（70.3%到78.9%）；在ScholarQA-Bench综合问答测试中，生物方向引文F1值提升超过16分；在ProClaim声明核查任务中平均一致率提升5个百分点。