谷歌研究院打造"论文助手工具"，AI审稿时代正在悄然开启

这项由谷歌研究院（Google Research）与卡内基梅隆大学联合开展的研究，于2026年6月26日以预印本形式发布在arXiv平台，论文编号为arXiv:2606.28277。研究团队横跨谷歌研究院多个方向，涵盖理论计算机科学、机器学习系统与人工智能基础设施等领域。

每年秋天，全球数以万计的研究者会把自己熬夜写就的论文投向几个顶级学术会议——NeurIPS、ICML、ICLR。这些会议相当于人工智能领域的"奥运会"，能被录用意味着巨大的声誉与职业机会。然而，这场奥运会正面临一个越来越荒诞的困境：参赛选手的数量以火箭速度增长，而裁判员的数量几乎纹丝不动。论文该怎么审？谁来审？审得过来吗？

谷歌的这篇研究正是为了正面回答这个问题。他们开发了一款名为"论文助手工具"（Paper Assistant Tool，简称PAT）的人工智能系统，并已经在两个顶级计算机科学会议中真实部署测试。这不仅仅是一个实验室里的演示，而是一次切实影响了数千篇真实学术论文的实践。

**一、一场正在失控的洪水：学术界的审稿危机**

先来感受一下这场"洪水"的规模。研究团队整理了2020年到2026年间，三大顶级人工智能会议（ICLR、ICML、NeurIPS）的投稿数量变化。2020年，这三个会议合计收到约1.7万篇投稿。到了2024年，这个数字跳升至约3.3万篇。2025年进一步攀升到约4.5万篇。而根据已知数据推算，2026年这个数字可能逼近7.4万篇，年增长率高达约63%。

这种增长速度意味着什么？以ICML为例，2026年仅这一个会议就收到了超过2.4万篇论文投稿。如果每篇论文平均需要三位审稿人各花10个小时认真审阅，那么这一届ICML就需要消耗超过70万个人工审稿小时——相当于一个人连续工作80年不间断。

是什么推动了这场投稿洪流？研究团队给出了一个有说服力的线索：早在2024年，arXiv平台上至少有17.5%的计算机科学摘要带有明显的AI生成痕迹，在某些生物医学子领域这个比例甚至高达40%。换句话说，AI不仅在帮助科学家更快地做研究，也在帮助他们更快地写出论文。产出端加速了，验证端却还停留在手工作坊阶段。

在数学和理论计算机科学这类领域，情况尤为棘手。审稿人需要逐行核实密密麻麻的数学证明，一篇论文可能就要花几天时间。这种认知劳动无法简单地通过招募更多志愿者来解决，因为合格的审稿人本身就是稀缺资源，而且他们自己也要参与这场投稿竞赛。

**二、PAT是什么：一个会"深度思考"的自动审稿员**

面对这场危机，谷歌团队的解题思路是：既然AI加速了论文产出，就也应该让AI来帮助论文验证。PAT正是这一思路的产物。

要理解PAT的工作方式，先得理解为什么简单地"让AI读论文"行不通。最直接的想法是把整篇论文扔给一个大语言模型，让它一口气给出评审意见。但这有个根本问题：验证复杂的数学证明需要模型进行大量深度推理，这种推理会消耗大量的"思考空间"（专业上叫做上下文窗口）。一篇20页密集证明的论文，光是认真核实一个关键引理，就可能把模型的思考容量消耗殆尽，更遑论审阅整篇论文。

另一种看似聪明的方案是"多次尝试取最好"（业界称之为Pass@k）：把同一篇论文反复喂给模型十次，看哪一次能发现问题。这种方式确实能提高发现问题的概率，但代价是产生大量"噪音"。如果模型每次尝试都列出10条疑似问题，而其中真正的关键错误只有一条，那么人工审核者就要在100条候选意见中大海捞针。更麻烦的是，多次独立运行的模型没有协调机制，可能十次都盯着论文的同一段落反复分析，而其他章节则完全没人理会。

PAT的设计正是为了绕开这两个陷阱。整个系统由四个依次运行的阶段构成，像是一条精心设计的流水线。

第一阶段是"文档分割"。PAT配备了一个专门的"分割代理"，负责把输入的论文拆解成若干语义完整的片段，比如引言、理论证明、实验设计、结论等。这些片段可以有重叠，也可以是不连续的页面组合，关键是每个片段在逻辑上是一个自洽的整体。这一步的作用类似于把一本厚厚的教材拆分成章节，让每位老师专门负责批改一章的作业，而不是让所有老师同时翻阅整本书。

第二阶段是"自适应预算分配"。分割代理在识别各片段的同时，还会评估每个片段的信息密度和复杂程度，并据此动态分配计算资源。直白来说，就是"难的地方多花时间，简单的地方省着点"。包含密集数学证明的理论章节会被分配最高等级的思考算力，实验描述部分分配中等算力，而引言和结论这类叙述性章节则只需较轻量的处理。这种分配机制让有限的计算预算能花在刀刃上。

第三阶段是"深度审阅"。针对每个片段，PAT会调用专门的"深度审阅代理"进行精细分析。这些代理由谷歌最新的Gemini Deep Think模型驱动，能够进行大量深度推理。虽然每个代理只负责审查论文的一个片段，但它在分析时仍然能够访问整篇论文的内容作为背景参考，确保不会因为局部聚焦而失去整体视角。

第四阶段是"全局综合"。各片段的审阅报告汇总到一个"综合代理"手中。综合代理的工作不只是简单拼接各份报告，它还会借助谷歌搜索来核验报告中涉及的引用文献、定理或工具是否真实存在（因为AI有时会编造看起来合理的引用），同时对重复出现的问题进行去重，并根据严重程度对所有发现进行排序，最终输出一份条理清晰的综合评审报告。

整个流水线的设计哲学是：让每个环节只做自己最擅长的事，通过协调合作来实现单个模型无法达到的深度和广度。

**三、考试时间：在真实错误案例库上的测试成绩**

光说不练假把式。研究团队把PAT拿去接受了一次严格的实战检验，测试素材是一个名为SPOT的基准数据集。这个数据集收集的是真实发表过、后来因为存在错误而被撤稿或更正的论文——也就是说，每篇论文里都藏着一个已经被人类专家确认过的真实错误，是名副其实的"答案已知的考题"。

为了聚焦于PAT最核心的能力——数学和逻辑推理——研究团队从SPOT中筛选出数学和计算机科学领域里涉及"方程/证明"类错误的论文，最终得到26篇论文、29个错误的评测子集。

测试方法是：把每篇论文喂给系统，让它生成一份错误报告，然后检查报告里有没有发现那个已知的真实错误。为了避免评分本身的主观性，团队使用了一个专门设计的自动评分模型来判断系统的报告是否在逻辑上等价于已知错误，而且还让团队内的人工审核员对每一道评分结果进行了复核，确保评分可靠。

结果如何？SPOT数据集本身记录的原有最高水平（当时最好的自动化系统）只能检测到约21%的错误。谷歌最新的基础模型Gemini 3.1 Pro在不做任何特殊处理、直接单次调用的情况下，检测率跃升到了55.2%——这本身已经是一个惊人的进步，说明新一代基础模型的推理能力已经远超过去的专门系统。

而PAT在Gemini 3.1 Pro的驱动下，检测率进一步提升到89.7%，相比单次调用基线提升了整整34个百分点。这意味着近九成已知错误都被成功识别，只有一成左右漏网。

研究团队举了一个具体例子来说明PAT的深度推理能力：在一篇关于对偶Banach空间（一类抽象数学结构）的论文中，有一个关于复数算子空间中实线性映射的收缩性声明是错误的。当单次调用模型读到这个声明时，它接受了这个说法——毕竟这个声明的措辞看起来合情合理，表面上没有明显破绽。但PAT不满足于"看起来合理"，它调动深度推理能力主动构造了一个具体的反例，证明这个声明在某些情况下是假的，从而揭露了论文主定理中的致命漏洞。这种"主动构造反例"的行为，才是真正的数学推理，而不只是模式匹配。

**四、走出实验室：在真实学术会议中的部署实践**

测试成绩固然重要，但更能说明问题的是真实世界中的应用效果。谷歌团队选择了两个截然不同的顶级计算机科学会议来检验PAT的实战价值。

第一个是STOC（计算理论研讨会），这是理论计算机科学领域最顶尖的会议之一，投稿的论文充满了高密度的数学证明。PAT为这个会议定制的版本专注于数学严谨性，使用深度并行思考来寻找证明中的逻辑漏洞。第二个是ICML（国际机器学习会议），这里的论文类型远比STOC多样，既有理论分析，也有大量实验设计和数据对比。为了适应ICML的需求，团队对PAT进行了扩展，使其能够审查实验框架的合理性、识别混淆因素、指出缺失的对比实验等。这个扩展版本就是前文介绍的完整PAT系统。两次部署都使用了当时最先进的Gemini 2.5 Deep Think作为底层引擎。

具体的部署方式是：在最终投稿截止日期的数天至数周之前，为每位作者免费提供一次PAT评审服务。作者可以根据PAT的意见修改论文，然后再提交正式版本。这里有一个重要的设计原则：PAT的服务对象只是作者，不参与正式的同行评审流程。换句话说，PAT是作者手中的自查工具，而不是替代人类审稿人的决策机器。

两次部署合计覆盖了超过4700篇投稿论文，规模相当可观。

在定量反馈方面，团队向参与项目的作者发放了调查问卷。STOC收回124份有效反馈，ICML收回733份。两个群体的满意度均处于高位：STOC有97%的作者表示愿意再次使用PAT，ICML这一比例也有92.1%。超过90%的作者认为反馈"非常有帮助"或"基本有帮助"。超过85%的作者表示PAT改善了论文的清晰度和可读性。在对AI系统来说至关重要的"幻觉"问题上，超过半数的STOC作者和约65%的ICML作者认为PAT的反馈基本或完全符合事实，这被研究团队视为一个积极信号。

最引人注目的数据来自两个问题的回答。研究团队问作者：PAT有没有找到需要花费超过一小时修复的实质性理论错误？在STOC，有11.6%的作者回答"有"。这个比例乍听不高，但考虑到STOC投稿的论文都是专业研究者精心打磨过的，而且通常没有人会对整篇证明进行逐行核查，这意味着大量本来会悄悄溜进同行评审环节的错误，被提前拦截了。在ICML，这个比例更高，达到35.4%——超过三分之一的受访作者表示PAT发现了需要认真修改的理论问题。研究团队分析认为，这是因为ICML不是专门的理论会议，作者们在数学严谨性上的自查意识相对不那么强。

对于机器学习会议来说另一个关键数据是：31%的ICML受访者表示，他们因为PAT的评审意见而重新设计并运行了全新的实验。考虑到实验本身可能需要耗费大量计算资源和时间，这个比例说明PAT的影响已经超越了"挑错"的层面，能够真正推动研究内容的实质性改进。

在定性反馈方面，作者们的亲身描述更加生动。一位作者描述了PAT发现的一个"致命算法漏洞"——一个团队在代码中应用某个工具时犯下的错误，这个错误困扰了他们数月都没发现，而PAT一眼就指出了问题所在，迫使他们重写了整整七八页技术内容。另一位作者描述了一个无界时间区间分析中的逻辑矛盾——证明本身是错的，他们修正之后才发现引理本身其实是成立的，只是此前的证明方法不对。

加州大学欧文分校的Vijay Vazirani教授在反馈中写道，PAT指出了他算法中一个"微妙但致命的漏洞"，他赶在截止日期前成功修复，形容那一套意见"令人叹为观止"。卡内基梅隆大学的Jason Li助理教授则提到PAT发现了一个技术错误，虽然修起来不难，但仍然花了他两个小时写清楚。

当然，试点过程中也暴露了若干问题。最常被提到的挑战包括三类：第一，关于文献和事件的日期出错，以及知识截止日期带来的信息滞后；第二，PDF文档解析出现错误，导致部分内容无法被正确识别；第三，偶尔错误地宣称一个实际上正确的证明存在问题，即"误报"。研究团队表示前两类问题已经通过改进工具和解析方案得到缓解，第三类则是所有基于语言模型的系统固有的局限，正在通过提升推理能力持续改善。

**五、AI在同行评审中扮演什么角色：一张从辅助到自主的路线图**

PAT的实践让研究团队深感有必要把"AI参与学术审稿"这件事系统化地谈清楚。事实上，根据第三方机构Pangram Labs的研究，在2026年的ICLR会议评审中，已经有约21%的审稿意见是完全由AI生成的——尽管这违反了会议规定。既然AI参与审稿已经是一个不可忽视的现实，不如制定明确的框架来规范和引导这种参与。

研究团队提出了一个由四个层级构成的分类体系，借鉴了汽车行业广为人知的"SAE自动驾驶分级"体系，用来描述AI在学术审稿中不同程度的参与模式。

第一个层级叫做"作者辅助工具"，也就是PAT在STOC和ICML部署中所扮演的角色。在这个层级，AI只服务于论文作者本人，在提交之前帮助发现错误、改进质量。作者对论文的全部内容和结论负全部责任，AI只是一个更聪明的自查助手。这个层级的风险最小，因为AI的影响在进入正式评审之前就已经被人类过滤过了。不过它也带来一个值得警惕的副作用：如果所有作者都用AI把论文磨光了表面的瑕疵，人类审稿人就更难通过快速扫描来区分真正的好工作和被AI"美化"过的平庸研究，需要付出更多精力才能看穿表象。

第二个层级叫做"审稿人辅助工具"。在这个层级，人类审稿人自己调用AI工具来帮助理解论文、发现问题、起草审稿意见。最终提交的审稿意见仍由人类审稿人负全责。这个层级在实践中已经广泛存在，只是大多数情况下处于灰色地带。它的风险在于：AI可能产生幻觉式的批评，而审稿人如果不仔细核验就照单全收，就可能误伤无辜的论文；另一方面，如果审稿人没有明确披露AI使用情况，他们在反驳阶段可能会为了维护"专业权威"而固执地坚持AI错误生成的批评点。研究团队认为，要让这个层级健康运行，需要会议方制定清晰的AI使用披露政策，并建立允许作者标记"疑似AI幻觉批评"的反驳机制。

第三个层级叫做"支持性审稿人"，情况开始变得更为敏感。在这里，AI会完整地生成一份审稿意见，参与方式与人类审稿人相当，且不会预先看到其他人类审稿人的意见，反之亦然。在这个层级的基本版本中，AI只提供客观评估（比如证明验证或实验设计核查），不给出接受或拒绝的主观建议，最终由人类决策者（比如领域主席）综合所有意见作出判断。研究团队还定义了一个"3.5级"变体：AI不仅提供客观评估，还给出评分或接受/拒绝建议，但依然需要人类领域主席最终审核和决定。使用这个层级能够显著降低对人类审稿工时的需求，比如在四份审稿意见中让两份由AI生成。但随之而来的是幻觉影响接受决策的风险大幅上升，AI审稿人的质量需要有充分的基准对比才能信任。

第四个层级是最激进的"完全自动化同行评审"。这个层级意味着AI系统独立完成全部评审工作，人类的角色从评审者变成了维护者和监督者。研究团队引用了一个有说服力的背景数据：NeurIPS 2021年的一个实验将10%的投稿随机分配给两个独立的评审委员会，结果发现两个委员会对同一篇论文的接受/拒绝决定有23%的不一致率。考虑到当年的总体录取率约为22.7%，如果完全随机决策，理论上的不一致率应该是35%左右。也就是说，人类评审的不一致程度其实更接近随机，而不是接近完美一致。这个发现为"AI评审可能不比人类更差"提供了一定的逻辑支撑。

研究团队还描述了一种可能的第四层级落地场景：建立一个类似arXiv的自动化预印本库（他们戏称为"AIrXiv"），专门收录通过AI多轮审核的论文。论文经过多轮自动审查、作者反驳、逐条解决，最终获得某种"置信度评级"。这种系统不会完全取代传统同行评审，而是形成一个新的发表层级——比普通预印本更有信任基础，但不声称达到顶级期刊的标准。

当然，完全自动化带来的问题也不容忽视。最直接的担忧是AI审稿人可能会形成同质化偏见，因为它们本质上是相似的模型，训练数据和价值体系相近，很可能系统性地偏好某类风格或方向的研究，而抑制真正的思想多元。这种多样性的丧失对人文学科来说尤为危险，因为这些领域本来就没有统一的正确答案，思想碰撞本身就是学术价值的一部分。

**六、一个更大的图景：科学验证的未来**

归根结底，这项研究所揭示的，是一场还在进行中的历史性变迁。AI加速了科学产出，这一点已经无法逆转。问题不是"要不要用AI"，而是"如何负责任地用AI"。

PAT代表的是一种相对保守但脚踏实地的路径：让AI成为人类研究者的工具，而不是替代者。通过在论文提交前提供深度自查，PAT帮助作者提高了论文质量，也间接减轻了人类审稿人的负担。在近五千篇论文的实际测试中，这种方式已经展现出切实的价值。

但研究团队同时也清醒地指出，随着AI能力持续提升，学术界将面临越来越多关于权责边界的艰难抉择：当一篇论文被AI拒绝、影响了一位年轻学者的职业发展，责任算在谁头上？当所有人都使用相同的AI工具来写作和审稿，科学界的思想生态会不会走向单调？当AI评审系统变成了一个可以被"攻关"的目标，会不会出现专门针对AI弱点设计的论文？这些问题没有简单答案，但讨论必须提前开始。

对于普通读者来说，这项研究的现实意义在于：未来几年，学术界的论文质量管控方式很可能会发生你没有察觉但确实深刻的变化。你读到的研究报告、科学新闻引用的论文，背后的把关机制可能已经有AI的深度参与。理解这一变化如何发生、有哪些保障、存在哪些局限，是每个关心科学公信力的人都应该了解的事。

有兴趣深入了解的读者，可以通过arXiv编号2606.28277查阅这篇论文的完整内容，题目为《Towards Automating Scientific Review with Google's Paper Assistant Tool》。

Q&A

Q1：PAT是如何避免像普通AI一样漏掉复杂数学错误的？

A：PAT的核心设计是把论文拆成多个语义片段，让不同的深度推理代理分别专注审查各自负责的部分，而不是让一个模型一口气处理整篇论文。对于高密度的理论证明章节，系统会分配更多的计算资源和推理步骤，让模型有足够的"思考空间"来主动构造反例或验证逻辑链条，最后再通过综合代理去重和核验，才输出最终结果。

Q2：PAT在SPOT测试中89.7%的检测率，是不是意味着可以直接代替人类审稿人？

A：这个数字说明PAT在发现已知类型的数学错误上非常有效，但直接代替人类审稿人还为时尚早。审稿不只是找错误，还涉及判断研究是否有足够的创新价值、实验设计是否合理、结论是否过度声明等主观判断。目前PAT的定位是"作者提交前的自查工具"，帮助作者在论文进入正式评审之前发现和修复问题，人类审稿人依然掌握最终评判权。

Q3：PAT审稿会不会泄露论文内容，存在学术信息安全风险？

A：这是部署PAT过程中确实需要认真对待的问题。根据论文描述，STOC和ICML的试点项目是与会议方正式合作、面向作者免费提供的服务，属于作者主动申请使用的工具。不过论文本身并没有详细讨论数据隐私保护的技术细节，对于担心论文保密性的读者来说，这一点确实值得在使用前向服务提供方进一步确认。