告别审稿抽卡！全新LLM校准机制，给AI顶会统一打分尺度

新智元报道

21,575。

这是NeurIPS 2025收到的论文投稿数量。

与2020年相比，这一数字增长超过一倍。与此同时，ICLR 2026投稿量也逼近2万篇。AI顶会热度持续走高，海量稿件涌入的背后，同行评审体系长期存在的痛点被无限放大。

不少投稿人都有同款困惑：两份措辞高度接近的审稿意见，最后给出的分数却能相差巨大。如今投一篇顶会论文，体验越来越像一场纯靠运气的「抽卡游戏」。

例如，两位审稿人都认为论文「缺少必要的消融实验」。其中一位认为只是需要补充实验，因此给出较高分；另一位则将其视为影响论文质量的关键问题，直接给出低分。

表面上，两人的意见高度一致，真正不同的是，他们对同一句评语对应着不同的评分尺度。

随着投稿规模不断扩大，这种评分尺度的不一致，正成为影响同行评审公平性和稳定性的重要因素。

近日，来自华中科技大学的李钦宾研究团队在ICML 2026 Position Paper Track提出了一种新的解决思路：不是让大语言模型替代人类审稿，而是利用LLM对「评语—分数」之间的映射关系进行校准。

论文链接：https://openreview.net/forum?id=PEyouQzOLD

为什么没有选择让LLM直接审稿？

面对评审人手不足、打分标准混乱的现状，很多人会直观提出解决方案：干脆交给LLM完成全自动审稿。华科大团队给出的答案是否定的。

在研究者看来，学术评审绝非简单对错判断，还需要综合衡量工作创新价值、领域发展意义、研究长远潜力等高阶学术认知，这类深度领域判断依托研究者长期积累的行业经验，很难完全交由模型独立完成。

除此之外，完全AI主导评审还会催生投机乱象：若作者知晓论文命运由大模型裁决，写作重心会转向刻意迎合模型偏好，而非聚焦真实科学问题的突破，彻底偏离学术研究初衷。

论文指出，目前同行评审实际上包含两个过程：一是审稿人阅读论文并形成定性判断；二是将这些判断压缩为一个最终分数。

真正容易出现偏差的，恰恰是第二步。

因此，这项工作的目标并不是构建一个自动审稿系统，而是解决同行评审中另一个长期存在的问题——如何让文字评语和最终评分保持一致。

在现有评审流程中加入一个「评分校准器」

作者提出的方案没有改变现有同行评审流程，而是在后台增加了一层LLM校准模块（Calibration Layer）。

整个流程可以概括为三个环节。

• LLM对审稿意见进行结构化分析，将自由文本整理为论文的Pros（优点）和Cons（缺点）。

• 在统一Prompt和固定评分标准下，根据这些优缺点生成一个Anchor Score（锚点分数），作为一把统一尺度下得到的参考分数。

• 系统比较审稿人实际评分与Anchor Score之间的差值（Residual）。如果两者接近，说明评分与评语基本一致，无需额外处理；如果差距较大，则触发一次轻量级复核，要求审稿人重新确认评分，或者补充更多文字说明，解释为何自己的评分明显偏离常规尺度。

整个过程中，LLM不会新增任何学术评价，也不会参与录用决策，更不会替代领域主席（AC）或程序委员会（PC）的判断。它承担的角色更接近于一名「评分审计员」，负责检查分数是否能够被评语合理支撑。

三届ICLR

评分尺度差异正在扩大

团队基于ICLR 2023–2025三届顶会公开数据，开展大规模实证分析，数据集覆盖2.2万余篇论文、5.2万条评审记录，能够真实反映近年顶会评审状态。

数据清晰证实，顶会审稿存在明显的年度尺度漂移：不同审稿人的打分标准差异逐年变大，相同评价对应悬殊分数的现象愈发普遍。

从量化指标来看，衡量评审分歧的核心偏差跨度指标逐年上涨，2023年整体偏差相对可控，2024年小幅恶化，到2025年打分离散程度显著提升，极端不合理打分的占比持续走高。

随着投稿量激增，审稿人的主观打分标准越来越不统一，评审随机性、不公平性逐年加剧。

校准后的评分

更接近论文的长期影响力

顶会评审中，最具争议的通常是录用边缘论文（Borderline Papers）。这些论文往往处于录用与拒稿之间，一点评分差异就可能影响最终结果。

为了验证校准机制是否能够改善这一问题，作者以论文长期引用量作为客观参考指标，对比人工原始评分与LLM锚点校准后的排序结果。

实验结果显示，经过统一评分尺度校准后，论文排序与长期学术影响力之间具有更高的一致性。

以ICLR 2023数据为例，在最难取舍的5–6分临界区间，LLM校准筛选出的论文，其平均引用量相比仅依据人工评分筛选提升了94%。

这一结果说明，统一评分尺度后，可以在一定程度上减少不同审稿人评分习惯带来的影响，使评审结果更加一致，也更容易保留后续产生较大学术影响力的边缘论文。

离线仿真复核实验

除了离线分析之外，团队还针对高偏差评审样本开展了离线仿真复核实验。

当审稿人的实际评分与Anchor Score存在较大偏差时，系统会自动触发轻量级复核流程，请审稿人重新确认当前评分，或者补充更多文字说明，解释评分依据。

实验结果显示，这种基于Residual的复核机制能够有效缩小缺乏评语支撑的评分偏差，在保留合理学术分歧的同时，减少由个人评分尺度差异带来的极端打分。

作者强调，这一机制并不会统一所有审稿人的观点，也不会改变同行评审的决策流程，而是在保留专家判断的前提下，为评分提供一套统一的参考尺度。

随着AI顶会投稿规模持续增长，同行评审面临的压力仍在不断增加。

对于这项工作而言，LLM的角色并不是替代审稿人完成评审，而是在现有评审流程之外，为文字评语与最终评分之间增加一层校准机制，希望借此减少评分尺度不一致带来的随机性，为同行评审提供更加稳定的参考依据。

参考资料：

https://openreview.net/forum?id=PEyouQzOLD

编辑：LRST