伊利诺伊大学：当AI学会"边问边找"，文献检索从此告别大海捞针

这项由伊利诺伊大学厄巴纳-香槟分校、宾夕法尼亚大学、斯坦福大学和Together AI联合开展的研究，以预印本形式发布于2026年7月，编号为arXiv:2607.00597，有兴趣深入了解的读者可以通过该编号查询完整论文。

每一个做过学术研究的人，恐怕都有过这样的体验：你知道自己想找什么，但就是说不清楚。你在搜索框里打下几个关键词，得到的结果要么太宽泛，要么完全跑偏，而你真正想要的那篇论文，往往埋在第五页的某个角落。更让人抓狂的是，随着你对这个话题了解得越来越深，你的需求也在悄悄变化——但搜索框不知道这些，它只知道你最初打的那几个字。

这就是科学文献检索长期以来面临的根本困境：人的需求是模糊的、会演变的、依赖上下文的，而现有的搜索工具却是死板的、一次性的、对上下文一无所知的。这篇研究的核心，正是要从根本上改变这种局面。研究团队提出了一个名为PAPERPILOT的系统，它就像一个真正懂你的研究助理——不仅能搜索，还会提问，会倾听你的回答，然后把搜索策略调整到和你的真实需求完全对齐。

一、为什么找论文这件事，比想象中难得多

要理解PAPERPILOT解决的问题，先来看看现有的文献搜索工具到底卡在哪里。

现在市面上已经有不少AI辅助的文献检索系统，比如LitLLM、PaSa、OpenScholar，还有各种大模型加持的搜索工具。它们的共同模式是：你给一个问题，它给你一堆结果。这种"一问一答"的模式，在学术界有个专业名称叫"单轮检索"。

单轮检索的问题在于，它假设用户从一开始就能把自己的需求表达得足够清晰。但实际上，这几乎不可能。假设你在研究Transformer模型（一种对现代AI影响深远的神经网络结构），你想找"这篇论文的后续工作"。这句话可以有很多种解读：你是想找直接引用它的论文？还是在同一应用领域的扩展工作？或者是借用了它某个具体技术模块的论文？抑或是最近两年发表的、跟上了最新进展的论文？每一种解读，对应的搜索策略完全不同。

现有系统通常会对这种模糊需求做一个猜测，然后给你结果。运气好的时候，猜对了；运气不好的时候，你得到的是一堆似是而非的论文，既浪费时间，又打击积极性。

研究团队还指出了另一个深层问题：即使有些系统允许用户给反馈，比如"这些论文太宽泛了"或者"我需要更新的内容"，系统也只是把这些反馈当成额外的文字扔进检索词里，而不是真正理解这些反馈的含义并修改检索策略本身。这就好比你告诉厨师"菜太咸了"，厨师的回应不是减少盐的用量，而是在菜里再加一勺糖——表面上做了调整，实际上根本没抓住问题所在。

二、PAPERPILOT的核心思路：把搜索变成一张可以修改的施工图

PAPERPILOT解决这个问题的方式，用一个比喻来说，就是把文献检索从"发一封邮件等回复"变成"和建筑师一起画设计图"。

在传统的检索方式里，你提交一个查询，系统返回结果，这个过程是单向的、不可见的。你不知道系统是怎么搜的，更没法告诉它"这一步做错了，重来"。而PAPERPILOT的做法，是把整个搜索过程变成一张看得见、摸得着、随时可以修改的"施工图"。

在技术层面，这张施工图叫做"有向无环图"，英文缩写是DAG。但不用被这个名词吓到，它本质上就是一张有顺序的流程图：先做什么，再做什么，哪些步骤可以并行，哪些步骤的输出会作为下一步骤的输入。

比如，对于"找Transformer的后续工作"这个需求，PAPERPILOT可能会生成这样一张施工图：第一步，用"大规模语言建模"这个关键词搜索一批论文；第二步，从原始论文出发，沿着引用关系往后追，找到所有引用了它的论文；第三步，把这两批论文合并、去重；第四步，用"发表年份晚于2020年"这个条件过滤；第五步，用自然语言理解技术判断每篇论文是否真正"基于Transformer架构构建"；第六步，给剩余论文打分；第七步，让语言模型对最终候选论文重新排序；第八步，输出结果并提取每篇论文的相关证据。

这张施工图的每一个方块都是一个具体的"工具"，每一条连线都代表数据的流向。PAPERPILOT定义了一套完整的工具库，叫做PAPERPILOT-TOOLSET，涵盖了关键词搜索、引用关系扩展、集合合并与去重、条件过滤、打分、重排序、关键词生成、证据提取、关系图构建等十七种操作。每一种工具都有明确的输入类型和输出类型，就像乐高积木一样，只有接口匹配才能拼在一起，保证整个流程的逻辑自洽。

这种"施工图式"的搜索架构带来了两个关键优势：其一，搜索策略完全透明，用户可以看到系统是怎么找的；其二，任何一个环节都可以被针对性地修改，用户的反馈可以精确落地。这就像建筑师的设计图——你可以说"把客厅扩大两平米"，而不是只能说"感觉哪里不对但说不清楚"。

三、"边问边找"：多轮交互的具体过程

有了这张可修改的施工图，PAPERPILOT的多轮交互就有了坚实的基础。

整个交互过程大致是这样运作的。当用户提供一篇锚定论文（比如2017年发表的《Attention Is All You Need》，也就是Transformer的原始论文）和一个初始查询（比如"找这篇论文的后续工作"），PAPERPILOT首先会生成一张初始施工图，然后暂停下来，向用户提出澄清问题。

这些问题不是随意的，而是经过设计的、带有具体选项的问题。比如"您的关注重点是什么？——A. 架构方向的改进；B. 预训练方法；C. 应用领域拓展；D. 所有方向都包含"，以及"您希望的时间范围是？——A. 所有年份；B. 2020年以后；C. 仅最近两年"。用户可以直接选择选项，也可以输入自定义回答。

用户回答之后，PAPERPILOT会根据这些新信息修改施工图——可能是添加一个年份过滤节点，可能是修改关键词搜索的参数，可能是调整打分公式的权重，也可能是加入一个基于自然语言理解的过滤步骤来排除特定类型的论文。修改完成后，系统展示更新后的施工图，并询问用户是否满意，是否需要进一步调整。这个过程可以持续多轮，直到用户认为施工图已经准确反映了他的需求，然后系统才正式执行完整的检索，输出最终结果。

研究团队对这种交互模式下的行为分布做了分析，发现了一个很有规律的现象：在最初的几轮对话里，系统主要在做"搞清楚你要什么"的工作，发问频率很高；随着对话推进到中期，系统开始更多地修改施工图；到了后期，系统的主要动作就变成"确认并执行"。这个模式表明，PAPERPILOT自然而然地学会了把澄清需求、调整策略和执行检索分成三个阶段来处理，而不是混在一起。

四、怎么训练出这样一个AI助理

训练PAPERPILOT的过程分两个阶段，可以用培训一个新员工来类比。

第一阶段是"跟着高手学"。研究团队准备了2,723个训练案例，覆盖五种典型的文献检索场景：寻找前驱论文（一篇论文参考了哪些更早的工作）、寻找后续论文（有哪些论文在这篇基础上继续发展）、寻找同类论文（方法相似但应用不同的工作）、寻找基准数据集相关论文（用于验证方法的标准测试集），以及寻找综述论文。

对于每个案例，研究团队让一个更强大的教师模型生成完整的搜索轨迹，包括它生成了什么施工图、如何回应反馈、最终找到了哪些相关论文。然后，从这些轨迹中筛选出高质量的样本——判断标准是在最终结果的前五名里出现了真正相关的论文，同时满足该检索方向的特定成功条件。经过这一轮筛选，得到了5,540个高质量的训练样本。用这些样本对PAPERPILOT进行了第一轮训练（监督微调），让它学会生成结构正确、逻辑合理的施工图。

第二阶段是"学会辨别好坏"。仅仅学会生成施工图还不够，还需要学会哪种施工图更好。为此，研究团队对那些成功的施工图进行了"人为破坏"，引入各种典型错误：比如让某个节点引用了不存在的输入、遗漏了关键的过滤步骤、用了错误的工具类型、把日期过滤器的条件搞反了、让自然语言判断的维度变得含糊不清等等。这样就为每个成功案例生成了一个对应的"失败版本"，形成了1,733对"好-坏"施工图的对比数据。

然后，在第一阶段训练的基础上，继续用一种叫做"偏好优化"的技术来训练模型，让它在看到相同的输入时，学会更倾向于生成"好的"施工图而不是"坏的"施工图。这个过程类似于给新员工做对比案例培训——不只是告诉他什么是对的，还给他看什么是错的，以及为什么是错的。

五、实验结果：数字背后的真实意义

研究团队在一个精心设计的测试集上对PAPERPILOT进行了评估，测试集包含200个案例，每个案例都有明确的锚定论文、用户查询、检索方向，以及6到15篇经过人工筛选和验证的"标准答案"论文。

为了让多轮交互的测试具有可重复性，团队使用了一个固定的语言模型来扮演用户——这个模拟用户可以看到标准答案，但检索系统看不到。同时，团队设计了严格的防泄漏机制，确保模拟用户在提供反馈时不会直接暴露答案的内容，只会给出方向性的偏好提示。

评估的核心指标是这样几个：Hit@5（在返回的前5篇论文里，是否至少命中了1篇标准答案）、MRR（第一篇标准答案出现在结果列表的哪个位置，越靠前越好）和nDCG@10（综合考虑命中数量和排名位置的综合质量分数）。此外还统计了施工图执行出错的比率。

对比结果揭示了几个清晰的规律。第一，相比固定流程的检索，自适应施工图有明显优势。以GPT-5.4为例，使用固定流程时单轮检索的Hit@5是52.0，换成自适应施工图工具后直接跳到了79.5，MRR也从36.4升至62.8。对于更小的Qwen3.5-9B模型，固定流程的Hit@5是48.5，而使用自适应工具后提升到了69.0。这说明一套死板的检索流程无法应对多样化的检索需求。

第二，多轮交互对已经具备工具使用能力的系统有进一步的提升效果。GPT-5.4加Web搜索在单轮时Hit@5是72.5，经过多轮交互后提升到79.0，MRR从60.2升至65.3。最强的单个配置是GPT-5.4加Web搜索加PAPERPILOT工具集的多轮版本，达到了Hit@5为84.0、Hit@10为87.0、MRR为71.8的成绩。

第三，也是最关键的一点：经过专门训练的PAPERPILOT-9B，在多轮交互场景下相比未经训练的基础版Qwen3.5-9B有显著提升。Hit@5从58.0提升到77.0，MRR从47.5提升到59.4，nDCG@10从26.8提升到32.5。更重要的是，施工图执行出错率从9.5%降到了0%。未经训练的9B模型在多轮交互时反而比单轮表现更差，因为它无法正确地根据用户反馈修改施工图，经常产生无法执行的结果；而经过训练后，这个问题被完全解决了。

在成本方面，商业深度研究工具OpenAI DeepResearch每次检索费用高达6.09美元，而PAPERPILOT-9B每次只需0.018美元，相差约三百多倍，同时PAPERPILOT-9B的检索质量实际上还超过了OpenAI DeepResearch（Hit@5分别为77.0对72.0）。

六、施工图本身的质量：用专项测试验证

除了最终的检索结果，研究团队还专门评估了PAPERPILOT生成和修改施工图的能力本身，这是一项更细粒度的测试。

测试分两部分。第一部分是"从头生成施工图"：给系统完整的对话上下文，让它直接生成最终应该使用的施工图，然后和标准答案施工图做相似度比较。相似度的计算覆盖整体结构、查询字段、过滤条件和函数签名四个层面。第二部分是"逐步修改施工图"：给系统当前的施工图状态和最新的用户反馈，让它输出修改后的下一版施工图，评估每次修改的方向是否正确。

在施工图生成能力上，GPT-5.4的绝对相似度最高（整体余弦相似度0.70），但成本也最高。PAPERPILOT-9B的绝对相似度是0.36，远高于基础版Qwen3.5-9B的0.047，同时每美元能成功生成的施工图数量是665，远超GPT-5.4的7个，达到了最优的性价比。

在施工图修改能力上，PAPERPILOT-9B在添加节点、修改节点和删除节点三种操作中都优于基础模型，最终整体施工图余弦相似度达到0.9469。尤其在"删除节点"这类操作上，PAPERPILOT-9B的提升幅度最大，说明训练帮助系统学会了在接到"把某个步骤去掉"的反馈时，真正按照指令剪掉对应的节点，而不是含混地做出一些无关的修改。

七、搜索范围越大越好吗？一个反直觉的发现

研究团队还做了一个有趣的敏感性分析：如果第一步搜索更多的候选论文，最终结果会不会更好？

直觉上，撒更大的网应该能捞到更多的鱼。但实验结果显示，事实恰好相反。研究团队把第一阶段候选池的规模从基准值的1倍逐步扩大到2.5倍（对应从约4,500篇候选论文增加到约10,500篇），然后观察各项检索指标的变化。

结果发现，大多数指标在基准规模（1到1.25倍）时表现最好，随着候选池增大，指标普遍下降。以Recall@50为例，基准规模时是0.411，扩大到2.5倍时降到了0.374；Hit@5从0.705降到了0.660。原因在于，候选池增大意味着引入了更多不相关的"干扰论文"，而下游的过滤和重排序步骤的能力是有限的，无法把这些干扰全部清除，反而降低了信噪比。这个发现对于设计文献检索系统具有实际的指导意义：更大不等于更好，找到合适的规模比一味扩大搜索范围更重要。

八、真实用户怎么说：人类测评的结果

除了自动化指标，研究团队还邀请了六位来自不同专业（生物学、社会科学、计算机科学）和不同学术层次（本科生、硕士生、博士生）的志愿者，让他们分别与PAPERPILOT、GPT-5.4和OpenAI DeepResearch各进行五次真实的文献检索任务，然后收集主观评价。

评价维度包括四项：找到满意论文的比率（成功率）、用户最想要的论文出现在结果列表第几位（排名距离，越小越好）、对系统提出的澄清问题的满意度评分（0到5分），以及需要多少轮交互才能感到满意。

PAPERPILOT在三项主要指标上全面领先：成功率74.7%，排名距离2.4，问题满意度4.2分。GPT-5.4的成功率是32.0%，排名距离7.8，问题满意度2.4分。OpenAI DeepResearch的成功率只有8.0%，排名距离27.4。OpenAI DeepResearch交互轮数最少（平均1轮），但研究团队特别指出，这是因为它是作为一次性系统评估的，少轮数不等于效率高，而是根本不支持多轮改进。

这些来自真实用户的数据，和自动化测试的结论高度吻合，也在一定程度上验证了自动化评估框架的有效性。

说到底，PAPERPILOT代表的是一种对AI辅助工具的全新理解：与其假设用户能一次性说清自己想要什么，不如把"弄清楚用户真正想要什么"作为整个任务的一部分来处理。这个思路看似简单，但在技术实现上需要解决一系列复杂问题——如何表示一个可以被编辑的搜索策略、如何把自然语言反馈转化成对这个策略的精确修改、如何在保证效果的同时控制成本，以及如何在没有真实用户的情况下训练和测试这种能力。

这项研究给出的答案是：用类似施工图的DAG结构来表示搜索策略，用类型安全的工具库来保证策略的可执行性，用来自强大教师模型的轨迹数据加上对比偏好优化来训练执行能力，用带有防泄漏机制的语言模型来模拟用户反馈。每一个环节都有其独特的设计考量。

当然，这项研究也坦诚地列出了自身的局限：工具库是预先定义好的，可能覆盖不到所有专业领域的特殊检索需求；训练数据来自教师模型，可能继承教师模型的偏见；目前的测试以计算机科学领域为主，在其他学科的表现还有待验证；以及模拟用户无论如何不能完全替代真实用户的反馈。

这些局限也指向了后续研究可以努力的方向。归根结底，这项工作让人看到的是，当AI工具学会主动提问、真正倾听，并把听到的内容转化成可见的、可修改的行动计划时，人机协作的质量可以达到一个明显更高的层次。有兴趣进一步探索的读者，可以通过arXiv:2607.00597查阅完整论文和相关代码。

Q&A

Q1：PAPERPILOT是什么类型的系统，和普通的论文搜索有什么区别？

A：PAPERPILOT是一个多轮交互式的科学文献检索智能体。与普通搜索系统的根本区别在于，PAPERPILOT不是一次性返回结果，而是先向用户提出澄清问题，根据用户回答动态生成并修改一张可执行的搜索"施工图"（DAG有向无环图），再执行检索。普通系统只是把用户反馈当作额外文字追加到查询中，PAPERPILOT则会把反馈转化为对搜索流程结构本身的精确修改。

Q2：PAPERPILOT-9B训练出错率降到0%是怎么做到的？

A：通过两阶段训练实现。第一阶段，用强教师模型生成的5,540个高质量施工图轨迹进行监督微调，让模型学会生成结构正确的DAG；第二阶段，人为制造1,733对"正确施工图与错误施工图"的对比数据，通过偏好优化让模型学会区分好坏。两阶段结合后，模型掌握了生成合法、可执行施工图的能力，执行出错率从未训练时的9.5%降至0%。

Q3：PAPERPILOT的检索候选池越大，结果会越好吗？

A：不会。实验显示，把第一阶段候选论文数量从约4,500篇增加到约10,500篇（扩大2.5倍）后，大多数检索指标反而下降。以Recall@50为例，从0.411降至0.374。原因是候选池越大，引入的不相关"干扰论文"越多，而下游的过滤和重排序能力有限，无法全部清除干扰，导致整体信噪比下降。最优的候选池规模在基准值的1到1.25倍之间。