频繁出现这些形容词，提示审稿意见可能有ChatGPT的参与

本文整理自《Nautre》于2024年4月10日发表的一篇新闻报道，原文题目为“Is ChatGPT corrupting peer review? Telltale words hint at AI use”。

ChatGPT自2022年11月发布以来，已被广泛用于撰写论文。2023年，《Nature》一项调查显示，1,600多名科学家中，近30%曾使用ChatGPT等工具来撰写论文，约15%将其用于文献综述和撰写基金申请书。

近期，一项研究发现，在同行评审报告中出现的一些词，看起来像是人工智能（AI）撰写的。这提示，一些研究者可能使用ChatGPT等AI工具来撰写同行评审意见。

该研究于3月11日发表在arXiv预印本服务器上 [1]，考察自ChatGPT发布以后，4个学术会议的论文的同行评审，在多大程度上受到ChatGPT的影响。

原文链接：https://arxiv.org/abs/2403.07183

分析表明，多达17%的同行评审报告有ChatGPT参与的明显痕迹。然而，目前尚不清楚审稿人是用这些工具从头撰写，还是仅编辑和改进草稿。

德国的计算机科学家Debora Weber-Wulff表示，使用ChatGPT为论文撰写审稿意见的想法“非常令人震惊”，因为这些工具会生成误导或捏造的信息，有时也会产生AI幻觉，我们无法知道这些情况何时发生。

一些形容词的频繁出现，

提示可能是由AI生成的

这项研究中，斯坦福大学的计算机科学家Weixin Liang等人开发了一项技术，通过总结AI比审稿人更频繁使用的形容词，来识别AI撰写的文本。

研究者通过比较ChatGPT 发布前后向同一会议提交的146,000多篇同行评审中形容词的使用情况，发现某些形容词的使用频率显著增加，如“commendable [值得称赞的]”、“innovative [创新的]”、“meticulous[细致的]”、“intricate[复杂的]”、“notable[引人注目的]”和“versatile[多功能的]”。该研究列出了AI常用的100个形容词。

表. AI使用频率较高的TOP100形容词[1]

Liang说：“似乎当人们时间紧迫时，他们更倾向于使用ChatGPT。”

该研究还检查了2019-2023年间15种Nature Portfolio期刊上发表的约10,000份手稿的25,000多篇同行评审意见，没有发现自ChatGPT发布以来上述形容词的使用量激增。

Springer Nature的一位发言人表示，该出版商禁止审稿人将稿件上传到生成式AI工具中，并指出这些工具存在“相当大的局限性”，而且审稿内容可能包含敏感或私有信息。

3月25日，arXiv 预印本发布了另一项研究[2]，伦敦大学学院文献计量学研究者Andrew Gray等人分析了2015-2023年间学术论文中一些形容词和副词的使用程度。

原文链接：https://arxiv.org/abs/2403.16887

结果显示，自ChatGPT发布以来，一些词语的使用显著增加，包括“commendable [值得称赞的]”、“meticulous [细致的]”和“intricate [复杂的]”。该研究估计，2023年发表论文中，至少有6万篇（略高于当年发表的所有研究的1%）论文的作者在某种程度上使用了ChatGPT。

Gray表示，审稿人可能仅仅使用ChatGPT编辑或翻译，但缺乏透明度的情况下，很难分辨。

Liang说：“我们不想做价值判断，也不想断言使用AI工具审稿一定是好是坏。但我们认为，为保证透明度和问责制，必须估算有多少文本可能是AI生成或修改的。”

Weber-Wulff认为，在同行评审时，应禁止使用ChatGPT。她还担心，在审稿意见未公布的情况下，ChatGPT的使用率可能更高。

Weber-Wulff补充道，使用ChatGPT进行同行评审还可能涉及版权问题，因为这可能会让AI工具接触到机密的、未发表的材料。此外，使用这些提示性形容词检测潜在AI使用的方法可能在英文文章中有效，但对其他语言效果较差。

本文整理自： https://www.nature.com/articles/d41586-024-01051-2

参考文献：

[1]. Liang, W.et al. Preprint at https://arxiv.org/abs/2403.07183 (2024).

[2]. Gray, A. Preprint at https://arxiv.org/abs/2403.16887 (2024).

医咖会在2023年上线了样本量计算小工具，将既往推出的样本量计算教程融入到每一步操作中，并有每个参数的说明以及取值建议。