全球学术圈险被ChatGPT论文攻陷！知名出版商紧急撤稿，AI插图笑翻网友

新智元报道

编辑：编辑部

【新智元导读】近日，爱思唯尔上的几篇论文被发现开篇就暴露了「ChatGPT风格」，插图也是用Midjourney画的。学术圈被AI渗透已经不是一天两天了，搞科研的用AI写论文，学生用AI写作业，老师也用AI批作业，整个过程都没有真人了。

学术圈，已经抵御不住LLM的入侵了！

最近，世界知名出版集团爱思唯尔旗下的几篇论文接连被质疑。

比如下面这篇锂电池的论文，在「介绍」部分的第一句，就暴露了可疑的痕迹——

「当然可以，这里是您的主题可能需要的介绍」。

一开口就是老ChatGPT了。

奇怪的是，明明这句话就在第一句，这么显眼的错误，共同作者、主编、审稿人、排版人员，竟然一个都没有注意到？？

如果真的是经过了严格的同行评审，会发生这种情况吗？

同样情况的例子不胜枚举。

比如这篇讲肝损伤的论文，在总结时忽然有一大段亮了——

「总之，非常抱歉，由于我是人工智能语言模型，我无法获得实时信息或患者的具体数据……」

「我可以提供有关损伤一般信息，但是对于的具体病例，建议你去咨询一下专业医务人员……」

这一篇讲太阳能光伏电池板能量转换效率的论文，在某段落之后赫然出现一句ChatGPT界面中经常出现的话——「Regenerate response」。

网友们笑翻了，议论的声音越来越大，现在已经逼得爱思唯尔官方下场，澄清政策并没有规定，在写论文过程中不得使用LLM，只要提前声明就可以。

并且表示，官方目前正在调查被质疑的论文。

而纽约大学学者马库斯评论道，AI的泛滥对于期刊出版商来说，是一个重大的预警，因为他们最重要的就是声誉。

现在，GenAI生产的垃圾已经迅速淹没了论文的审查过程，导致出版方的声誉急剧下降。

科学界的每个人都输了，除了ChatGPT。

写论文的确可以使用LLM

在爱思唯尔的官方规定中，的确允许作者在写论文时使用AI。

当然，也有一定的原则，那就是AI的作用是提高作品的可读性和语言性，但不能取代关键的写作任务，比如给出科学结论、提供临床建议。

另外，如果是使用了AI，作者就必须声明这一点。

https://www.elsevier.com/about/policies-and-standards/the-use-of-generative-ai-and-ai-assisted-technologies-in-writing-for-elsevier

如果作者在写作过程中使用人工智能和人工智能辅助技术，这些技术只能用于提高作品的可读性和语言性，而不能取代关键的写作任务，例如产生科学、教学或医学见解、得出科学结论或提供临床建议。应用该技术应该在人类的监督和控制下完成，所有工作都应仔细审查和编辑，因为人工智能可以产生听起来权威的输出，这些输出可能是不正确的、不完整的或有偏见的。作者对作品内容负有最终责任和义务。 作者应在其手稿中披露人工智能和人工智能辅助技术的使用，并在已发表的作品中出现声明。声明使用这些技术有助于作者、读者、审稿人、编辑和贡献者之间的透明度和信任，并有助于遵守相关工具或技术的使用条款。

其实，这个消息不是什么新鲜事了，用ChatGPT等LLM工具写论文的作者，可谓多如牛毛。

去年，大家都被这篇新闻刷屏了——

美国田纳西大学健康科学中心的一名放射科医生用ChatGPT狂写论文，4个月直接肝出16篇，其中5篇甚至已经发表了！

而ChatGPT早在2022年底，已经大摇大摆地出现在了共同作者栏中，毫不避讳自己的贡献。

网友：作者自己读过文章吗？

对于这件事情，网友表示：

爱思唯尔的「Surfaces and Interfaces」没有同行评审流程，也没有编辑流程。它只是一个昂贵的预印本存储库，光收钱，不干活。

甚至，网友怀疑就连作者自己，都没读过这些文章……

既然作者和审稿人都不干活，那不妨大家彼此都坦诚一些，不用演戏了，——ChatGPT自己写稿自己审吧。

「嘿，ChatGPT，你能帮我同行评审这篇论文吗？」 ChatGPT：「是的，看起来不错，你可以发布」

甚至，还真有网友把这篇文章丢给了ChatGPT：「嘿，你能检查一下这篇论文是否有任何明显的Chatgpt使用迹象吗？」

Chatgpt认真审阅了稿件，表示：「是的，这篇论文的引言中有几个迹象表明它可能是由人工智能撰写的」，并给出了详尽的理由：

插图都是用AI画的

更好笑的是，如今AI不仅荣升论文作者，甚至还在很多论文中充当起插画师了！

前一阵，这篇名为「Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway」 论文中的一幅插图，让网友们笑翻了。

仔细看这幅图，可谓是槽点满满。

首先大鼠的坐姿就很奇怪，仿佛一只松鼠。

图中讲的是从大鼠睾丸中分离、纯化和培养精原干细胞的过程，然而大鼠的睾丸竟然有4对，硕大的阴茎比身体还大，培养皿中甚至还有一把汤匙？

网友们纷纷表示吓住了，然而还有惊喜！

有人发现，这张信号通路图也亮了。

这个不明意义的protemns，应该是把protein（蛋白质）拼错了。

这个结构被拼成了prom（舞会）。

这里还出现了乱码。

还没完，Figure 3依然有惊喜。

对于这些细胞图，网友直接给出神评论：「仿佛披萨上撒着香肠和蓝色西红柿……」

当然，至少作者承认了插图是由Midjourney生成的。

因为引起了如此轩然大波，论文发表三天后，已经被期刊迅速撤回了。

期刊表示：文章不符合本刊的编辑和科学严谨标准。

AI能检测AI论文吗？

但是，如果用了LLM却不提前声明，除了等着论文作者犯低级错误「自爆」之外，有没有什么办法能检测出论文的「含模量」？

不少有经验的论文审稿人提供了一个可以参考的经验，直接查论文的引用，如果随机抽10个论文引用，有超过一个论文引用是不准确的，那么他就会怀疑论文至少某些部分是用LLM生成的。

因为LLM生成论文最大的问题就是会瞎编引用。而网上很多通用的LLM检测工具，基本上都不靠谱。

所以如果审稿人或者教授只是简单的依赖通用AI检测工具来判断的话，大概率是会冤枉好人的。

但是，虽然通用的AI检测器不好使，如果针对某个专业领域的论文进行AI检测，可能是一条走得通的路。

此前，Nature报导了堪萨斯大学的一个团队的研究成果，他们开发的学术AI检测系统，能有效分辨论文中是否含有AI生成的内容，准确率高达98%！

文章地址：https://www.nature.com/articles/d41586-023-03479-4

团队的核心思路是，不追求制作一个通用的检测器，而只是针对某个具体领域的学术论文，来构建一个真正有用的AI内容检测器。

通过针对特定类型的写作文本定制检测软件，可能是通向开发出通用AI检测器的一个技术路径。

提取论文写作风格的20个关键特征，然后将这些特征数据输入XGBoost模型进行训练，从而就能区分人类文本和AI文本。

最后，得到的AI论文识别率高达98%。

希望未来至少能够开发出针对学术界有用的AI内容检测器，从而控制「AI学术垃圾」的泛滥。

学生、老师纷纷用上AI神器，用魔法打败魔法

AI泛滥的，可不止是学术圈。在学校里，各种AI工具的出现，也是把局面搅得一团糟。

现在，学生用AI写作业，老师用AI打分，就问这个过程中还有真人吗？

学生：ChatGPT帮我写作业

ChatGPT的诞生首先，让学生们看到了「机会」。

BBC此前曾报道，两位青年记者采访自己的同学是否使用AI来帮自己写作业。

有位同学表示自己的地理作业要到deadline了，「我用ChatGPT写了整个演讲。但是当我被问到相关问题时，我不知道我在说什么」——挂了。

有同学表示自己使用ChatGPT来帮助自己理解问题，「当你做作业时，教室里没有老师，而ChatGPT就像一个老师。」

两位记者做了份匿名调查，结果显示，在33名学生中，有31人在学业中使用了人工智能，而27人认为学校应该教授如何使用人工智能。

学生们表示，AI工具有助于自己提出想法、研究，以及完善写作结构和措辞等。

——不过，也有些人承认用AI来作弊。

虽然ChatGPT给出的答案并不总是正确，但这并没有阻止大多数人使用它。

「你可以从ChatGPT之类的工具那里得到一个真正结构化的答案，然后用其他扩展研究来支持它。」

关于这个24小时在线的「老师」是否更好，大家仍在争论。

不过与此同时，处在另一阵营的老师们，「也看到了机会」。

老师：ChatGPT帮我批作业

自从ChatGPT面世以来，老师们就开始尝试用它来批改作业。

比如，编制课程计划、教学大纲，以及批改作业，检测是否用了AI辅助等其他作弊行为。

现在，美国的一些学校正式开始支持并鼓励使用这一做法。

据Axios报道，老师们现在可以通过一款名为Writable的新工具，利用ChatGPT对3至12年级学生的作业进行打分。

老师先布置写作任务（比如「我的暑假经历」），学生们通过线上方式提交作业。

然后，老师将这些作业提交给Writable，Writable又将它们交给ChatGPT处理。

接着，ChatGPT会向老师提出评论和建议，老师们再对这些建议进行修改，之后反馈给学生。

为了保护学生隐私，Writable会将学生信息进行「词元化」处理，确保不会将任何能识别个人身份的信息提交给AI系统。

但值得注意的是，AI评分工具带来的便利性可能诱惑老师「变懒」，学生们会因此失去获得更深入反馈的机会。

比较勤勉的老师会把ChatGPT仅仅作为辅助，但也可能会有老师直接把AI的建议不加修改地反馈给学生。

所以，在学校忙于拟定AI政策的同时，关于应如何划定使用界限的讨论也在持续。利用ChatGPT来批改论文，在学术上算不算诚实？这样做是不是对学生不公平？

教育科技公司认为，像Writable这类自动化工具的目的是为了给教师提供更多的自由时间和灵活性。

如果让AI来承担批改作业的繁重任务，那些时间紧张的教师就能有更多机会设计富有创意的课程并更好地了解自己的学生。

虽然一些家长对孩子作业上出现AI生成的评论表示非常不满，但并非人人都持反对态度。

根据一项民意调查，当被问及「K-12学校是否应该使用AI评估学生的学业表现」时，有45%的家长表示支持。

参考资料：

https://www.axios.com/2024/03/06/ai-tools-teachers-chatgpt-writable

https://twitter.com/gcabanac/status/1767574447337124290