人类审稿被AI一波团灭！哈佛派出最强专家，错误率高达3倍

来源：市场资讯

（来源：图灵人工智能）

转自新智元，仅用于学术分享，如有侵权留言删除报道

哈佛拿出了能找到的最强人类审稿团，结果被Claude全线碾压！

同一批124篇论文，两边各写一份审稿意见。七个审稿维度比下来，人类一项都没赢。

3位知名期刊的前编辑被请来盲选，30次里有26次挑了Claude。有一位编辑，10组意见里一次都没选人类。

3位前编辑各比10组匿名意见，只看审稿意见，没有重读论文

就连学术圈最怕的「AI胡说」，这回也反转了。

研究者把意见拿回原稿逐句对照，结果发现，人类专家说错的比例，竟然接近Claude的3倍之多。

这项出自哈佛校级教授、定量社会科学研究所所长Gary King，和同所的数据科学主任Steven Worthington的研究，标题毫不客气——

AI审稿已经压过了状态最好时的人类同行评审。

两人在论文里承认，动手之前，他们只指望AI能在一些方面、一些时候赢。结果，AI在他们能想到的每一项指标上都占了上风。

沃顿商学院教授Ethan Mollick看完立刻转发，催学术界赶快想清楚，科学研究要怎么跟着AI改。

哈佛摆下擂台，付费专家对阵联网Claude

既然要比，那就得找最强的人类来比。

期刊审稿的毛病，做过研究的人都领教过。审稿人大多没有报酬，时间又紧，有人读到第3页抓住一个硬伤，后面就不看了。

所以King团队找的是rapidPeer，哈佛定量社会科学研究所做的「投稿前预审」服务，后来也开放给了其他几家机构。

这里的审稿人由领域专家从外校挑出来，每审一篇都有报酬，审得好，下次还有活干。

他们要读完整篇论文，写出1.5到2页意见，只管帮作者把论文改好，不用判断该不该发表。

效果也确实好。74位作者回了问卷，88%认为审稿质量高或很高。

几位知名期刊的前编辑看过这些意见，也说属于他们见过最好的那一档。

两位作者甚至写道，据他们所知，没有哪批人类审稿是在比这更好的条件下写出来的。

研究用上了这项服务2019到2026年的全部有效投稿，一共124篇论文、134份人类意见，从统计分析、数学建模到纯定性研究都有。

Claude这边，上场的是Opus 4.8，推理开到最高档。

它分两个身份参赛。一个和人类完全对等，拿同一份13条审稿指南，不许用任何外部工具。

另一个是调优版，有专门写的审稿提示词，还能上网，平均每篇搜12.4次。

这份提示词，读起来像一位严格导师的叮嘱。

它要Claude把全文和图表读透，主动去搜作者漏掉的前人研究。每篇引用都得真搜到、附上链接，不许凭记忆引。

它还要Claude分清哪些问题撑着整篇论文，先讲最要紧的两三个，不许客套，也不许凑字数。

裁判是另一家公司的GPT-5.5。两份意见去掉格式和出处，调换顺序各比一次，两次都选同一份才算赢。

除了比整体，它还要在七个维度上逐项比较，并给每份意见打0到10分。

GPT-5.5当裁判，Claude七局全胜

结果出来，两位作者的评价是「毫不含糊」。

比整体时，GPT-5.5没有一次判人类赢，所有分出胜负的对比都归了Claude。

拆到七个维度，Claude在找弱点、评方法、补文献三项上全胜。图表赢了99%，理论与想法、论证框架、表达也各赢了92%。

左为成对比较中AI的胜率，右为0到10分的平均评分

打分上，Claude平均8.7分，人类6.0分。

拉开最大差距的两项，恰好是审稿时最费功夫的两项。

补文献一项，人类专家4.73分，联网的Claude是9.55分。不让它上网时，它在这一项只赢下62%，开了搜索才变成全胜。

图表一项，人类平均只有2.95分，Claude是7.57分，不少意见对图表只字未提。

浅灰为人类专家、黑色为Claude，横轴为0到10分

还有个细节耐人寻味。三位前编辑彼此判断一致的比例是80%，他们和GPT-5.5的一致率反而有87%。

也就是说，人类编辑跟这位AI裁判的看法，比跟自己的同行还要一致。

给人类换上AI文风再比

照样一组没赢

这么悬殊的比分，第一反应往往是怀疑实验本身。

两位作者自己先当了一回杠精，一口气做了十类稳健性检查。

头一个怀疑，是AI靠篇幅取胜。研究者只留下字数相近的44组，Claude照样44组全胜。

接着有人会说，GPT-5.5偏爱AI的腔调。

于是研究者让Claude把134份人类意见全部改写成AI口吻，论点一个不动。换了腔调的人类意见，还是一组都没赢回来，平均分反倒从5.93分掉到了5.87分。

也有人会说，人类样本里混进了水平一般的。

研究者就只看评分前40%的人类意见，再挑出和AI最接近的28组。人类依然一组没赢，分数最高的那份，也比AI低0.7分。

还有人担心，Claude训练时见过这些论文后来发表的版本。

可按投稿年份一拆，不联网的Claude在2022年及以前的老论文上拿8.2分，在2025到2026年的新稿上拿8.1分，几乎没有差别。

最后一个疑问，是只用一家模型、一种裁判，结论靠不住。

研究者干脆让Claude和GPT互当审稿人和裁判，比了416次。不管谁当裁判，AI都赢了九成以上，人类那份意见在五份里基本垫底。

拿原稿逐句对照

专家错误率是AI近3倍

意见写得漂亮，不等于写得对。

GPT-5.5比整体时只读了意见，没对照论文原文。所以研究者又专门查了一遍，这些意见到底靠不靠谱。

第一关是引用。联网的Claude在意见里引了651篇带DOI或arXiv编号的文献，研究者一篇篇拿去数据库比对。

651篇里，没有一篇是编出来的。抽查引用的用法，能判断的100处里，99处都和要说的问题对得上。

更难的一关，是核对意见里对论文本身的描述。

这一轮比的是不联网的Claude和人类。研究者把意见拆成一句句具体说法，隐去出处，让模型拿着原稿逐条判对错。

判错的门槛很高，原稿里有直接反证才算错。比如有审稿人批评论文「没做稳健性检验」，可第5节明明写着做了。

结果，人类专家的956次核查里，有152次被判错，占15.9%。Claude的1039次核查里只有57次，占5.5%。

按整份意见算，64.2%的人类意见至少错了一处，Claude这边是37.1%。

判错的模型本身靠不靠谱，研究者也验了。人工复核90条，87条结论一致，剩下3条分歧，全是模型冤枉了Claude。

他们还给这位核查员设了个陷阱，往审稿意见里塞进258句只改了几个词的反话。结果全被揪了出来，同样多的真话，一句没被误判。

这批专家有报酬、有口碑，还被要求通读全文，逐句对照原稿时，错的却比AI多。挡在AI审稿前面的那条最大理由，在这组数据面前已经站不太住了。

以后投论文

先让AI挑一遍刺

不管期刊允不允许，审稿人其实已经在用AI了。

Nature报道过，超过一半的研究者在用AI审稿，不少人还违背了相关规定。

ICML 2026做过一次随机分组实验，被分到「禁用AI」组的受访审稿人里，仍有22.5%承认自己用了。

斯坦福大学政治学副教授徐轶青转发这篇论文时说，禁止审稿用AI的期刊，都该重新想想自己的立场了。

所以King和Worthington在论文后半部分，干脆讨论起期刊接下来该怎么办。

他们设想了一套新流程。期刊公开一份官方的AI审稿提示词，作者投稿前先用它把论文审几遍、改几遍。

投稿时，论文、AI意见和作者对每条意见的回应一起交上来。编辑再换一套不公开的提示词复审，难判的稿子请编委或外部专家把关。

最后发不发，还是编辑说了算。

照这个流程走，两人认为，发表决定有望从几个月缩到几天。

作者的回应信，是这套流程里少不了的一环。因为论文改到后面，AI会开始较真到离谱。

论文里举的例子是，AI可能会说「没错，2+2=4，但你从来没定义过+号」。这时候，作者得有地方据理力争。

风险两人也没回避。每个人用AI想点子，单看都更有新意，放在一起却越来越像，慢慢都往主流、保守的方向靠。

所以他们建议，期刊要一直追踪作者和AI意见不合的地方，不断调整提示词和模型。

一份认真的审稿意见，过去是科研里的稀缺品。要等上几个月，还得碰运气，看能不能遇上用心的审稿人。

如果AI能让它随叫随到，科学家就能更早听到批评，更快改出下一版。

至于哪篇论文配得上哪本期刊，两位作者认为，仍然只能由人类编辑来判断。

参考资料：

https://gking.harvard.edu/peerless/

https://x.com/emollick/status/2113483068174692831

编辑：摩西