网易首页 > 网易号 > 正文 申请入驻

三分之一arXiv沦陷!CS论文65%被判「AI味」,数学仅0.7%

0
分享至

新智元报道


三分之一的arXiv论文,竟然是AI写的?

就在最近,一份unslop的研究在外网炸开了锅。

过去一年,计算机科学领域65%的新论文,被它的检测器标了红。

网友甚至为此造了一个专属名词——「大泔水时代」。

可同一时期的数学论文,却只有0.7%。


ChatGPT一响,曲线原地起飞

在这项研究中,团队扫了12750篇arXiv论文,时间跨度从2023年1月直抵2026年7月。

目标锁定十个学科,每个领域每月抽取约25怕篇全文。

对照组则选定在2021至2022年,那是ChatGPT还未降生的纯人类时代。


结果显示,2021至2022年,标记率稳定在0.4%;但随着ChatGPT的发布,曲线在几个月内拔地而起。

在最近一个完整季度中,标记率达到了32%,而在2026年初,峰值更是逼近39%。


分学科来看,计算机科学最为惨烈,标记率高达65%。

要知道在ChatGPT问世前,它的底数只有0.2%。短短三年,数字狂飙了300多倍。

紧随其后的是定量生物56.3%,电气工程51.3%,经济金融47%;再往下,应用物理34%,统计31.3%,凝聚态24%,高能物理14%,天体物理10.7%。

榜单的最后一行是数学:0.7%。

而这还只是下限。如果把AI文本藏得足够隐蔽,检测器是识别不出来的。


同一台检测仪,同一个论文库,落差逼近100倍。

到底是数学家集体坚守纯手工码字?还是这台机器在数学公式面前,压根就是个瞎子?

跌入谷底的0.7%,是机器致盲

其实,谜底已经被unslop亲手写进了报告里。

想想看,一篇标准的数学论文究竟长什么样?满屏都是符号、公式、定理与证明,真正用英语写成的散文句子,少得可怜。

偏偏这台检测器只认文字。它盯的是句子的结构、用词的习惯、段落的组织。

而数学论文里仅剩的那几行字,还全是「设X为某某」「由引理3可推导」这类格式化表达,和检测器训练时见过的科学英语基本不在同一个频道上。

所以团队自己也承认,目前的研究还有不少局限性:

数学的0.7%目前还说明不了什么。可能是数学家真不怎么用AI,也可能是检测器看不懂数学论文,但这份数据分不出是哪一种。

对照组也比较小。每个学科只有200篇ChatGPT前的论文,按0.4%的误报率,2000篇里总共只有8篇被标记。这种水平,只能算是粗略估计。

再有就是前面说过的,检测器抓不全。所以,这些数字都还只是下限,真实比例只会更高。

越卷的地方,越离不开AI

那么,到底是谁在用AI写论文?

答案,藏在斯坦福另一组测了两年的数据里。

2024年3月,斯坦福Weixin Liang团队率先把尺子伸进同行评审:ICLR 2024的审稿意见里,约10.6%的句子被LLM大幅修改过。论文还没测完,审稿人自己先用上了。

2025年8月,还是这个团队,把样本扩到112万篇论文,并且直接登上了《自然·人类行为》。

研究显示,截至2024年9月,CS论文摘要的LLM修改比例最高已达22.5%。而且用得最狠的,是发预印本最勤、扎在最卷领域的研究者。


越卷的领域,用得越狠。

在这里,AI写作已经成为了军备竞赛:同行都在用AI提速,只用手写的人,节奏就慢了一拍。

难怪这份报告在X上流传颇广的一条转发,配文里第一行就是:「提示词:写一篇能发arXiv的论文。」


它闻的是「味」,不是AI

不过,先别急着拿这65%去定罪。

团队在报告里也承认,检测器分不清「AI顺过一遍语法」和「整篇机器代工」,它只认文字里的机器味浓度。

所以65%的准确读法,是「65%的论文闻起来像AI」,而不是「65%的论文是AI写的」。

但麻烦在于,这种机器味,人类自己也会沾染。

有不信邪的研究者,把自己多年前的旧论文扔进检测工具,结果27%到74%的内容被标红。

要知道在那个年代,ChatGPT连个影子都还没有。


原因不难找。

翻开今天的学术期刊,满纸都是大型语言模型、基准测试、业界最前沿。措辞越标准,结构越工整,越容易撞上检测器认定的机器特征。

何况,LLM本来就是拿这类论文训练出来的。不是学者写得像AI,是AI生来就写得像学者。


当所有文字都有了嫌疑

其实这两年,我们都在干和检测器同一件事。

读到一段四平八稳、词句工整、是不是「不仅……而且……」的文字,心里就会咯噔一下:这怕不是AI写的吧?

unslop的检测器,等于把这种玄学的嗅觉,做成了一台能量产数字的仪器。

毕竟怀疑一旦装进脑子,就卸不掉了。

过去,「写下来」本身就是一种背书。一个人愿意花几个小时组织文字,至少说明他认真。

现在写得再漂亮,都可能只换来一句「AI吧」。

有些人甚至开始刻意绕开自己用了半辈子的词,只因它们「听起来太AI」。


如今,「AI味」正在变成一场席卷文字圈的新型原罪。

滑稽的是,直到今天,我们连这股原罪由什么构成,都还没能精确测量出来。

参考资料:

https://unslop.run/blog/measuring-ai-writing-on-arxiv

编辑:摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女子游内蒙古感叹200元一晚的客房自带衣帽间,卫生间大到“可以跑步”,酒店前台:房间面积68平方米,目前旺季涨了数十元

女子游内蒙古感叹200元一晚的客房自带衣帽间,卫生间大到“可以跑步”,酒店前台:房间面积68平方米,目前旺季涨了数十元

扬子晚报
2026-07-26 16:14:27
普京预言乌克兰命运,必被三国瓜分领土,只有俄罗斯才能提供保护

普京预言乌克兰命运,必被三国瓜分领土,只有俄罗斯才能提供保护

有范又有料
2026-07-27 12:43:58
黄瓜再次成为关注对象!多名院士发现:常吃黄瓜的人,有7个变化

黄瓜再次成为关注对象!多名院士发现:常吃黄瓜的人,有7个变化

路医生健康科普
2026-07-25 15:15:03
外孙考上大学,我包了5000元红包:女儿退回来的备注让我一夜没睡

外孙考上大学,我包了5000元红包:女儿退回来的备注让我一夜没睡

朗威谈星座
2026-07-27 08:18:05
贾玲复胖了,本人回应:根本维持不住,体重弹一弹,观众也好适应

贾玲复胖了,本人回应:根本维持不住,体重弹一弹,观众也好适应

她时尚丫
2026-07-25 20:45:34
750万一台!印度大停电背后:中国特高压是如何卡住印度脖子的?

750万一台!印度大停电背后:中国特高压是如何卡住印度脖子的?

娱乐圈见解说
2026-07-27 12:57:25
世界杯决赛主裁温契奇挂哨,结束裁判生涯

世界杯决赛主裁温契奇挂哨,结束裁判生涯

体坛周报
2026-07-27 10:40:09
李春江回归宏远?权力棋局下的13年反转

李春江回归宏远?权力棋局下的13年反转

衔春信
2026-07-27 00:41:40
在单位,不要奴性太强:1、不要过度讨好领导;2、准时上下班;3、拒绝PUA;4、学会拒绝不合理的要求;5、别期待完美的关系

在单位,不要奴性太强:1、不要过度讨好领导;2、准时上下班;3、拒绝PUA;4、学会拒绝不合理的要求;5、别期待完美的关系

德鲁克博雅管理
2026-07-26 17:02:07
“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

“这才是政审的意义!”女子考公上岸后,被高中欺负过的同学举报

妍妍教育日记
2026-07-17 08:25:14
美军没想到:以前是他们拿着集束炸弹去轰炸,现在竟然被伊朗用了

美军没想到:以前是他们拿着集束炸弹去轰炸,现在竟然被伊朗用了

菁菁子衿
2026-07-26 13:03:07
字节跳动员工吐槽:好多人以为自己年薪60万,平均每个月五万块工资......实际上根本不是这么回事儿

字节跳动员工吐槽:好多人以为自己年薪60万,平均每个月五万块工资......实际上根本不是这么回事儿

广告案例精选
2026-07-26 13:01:43
难怪谢贤早结扎,前女友Coco曝私密猛料,原来父子俩是一个样

难怪谢贤早结扎,前女友Coco曝私密猛料,原来父子俩是一个样

潋滟晴方DAY
2026-07-27 10:31:39
巅峰时期消失,43岁王凯近况曝光,骨瘦如柴,癌症传闻真相大白

巅峰时期消失,43岁王凯近况曝光,骨瘦如柴,癌症传闻真相大白

情感大头说说
2026-07-27 13:07:30
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
顶流游资陈小群发朋友圈:五道菜吃了三小时,女朋友睡了俩小时,网友当“股市密码”翻译:五只股票全跌,吃了两个地板

顶流游资陈小群发朋友圈:五道菜吃了三小时,女朋友睡了俩小时,网友当“股市密码”翻译:五只股票全跌,吃了两个地板

金融界
2026-07-27 11:06:14
214票对208票!特朗普犯下战争罪?美国多地爆发抗议,拜登再发声

214票对208票!特朗普犯下战争罪?美国多地爆发抗议,拜登再发声

观星赏月
2026-07-27 03:41:50
谢贤丧事后,张柏芝送儿子澳洲上学,19岁lucas临别拥抱妈妈孝顺

谢贤丧事后,张柏芝送儿子澳洲上学,19岁lucas临别拥抱妈妈孝顺

椰黄娱乐
2026-07-26 11:49:03
湘超可能办不过三届!一球迷抛出观点引发共鸣,网友:长沙队引进太多职业球员,断崖式领先就没看头

湘超可能办不过三届!一球迷抛出观点引发共鸣,网友:长沙队引进太多职业球员,断崖式领先就没看头

火山詩话
2026-07-27 08:26:04
爸妈一分钱存款都没有是啥体验?网友:戳到我的痛点了,遇到这样的父母也算我倒霉

爸妈一分钱存款都没有是啥体验?网友:戳到我的痛点了,遇到这样的父母也算我倒霉

带你感受人间冷暖
2026-07-25 00:05:15
2026-07-27 13:36:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15798文章数 66968关注度
往期回顾 全部

科技要闻

长鑫市值登顶A股,盘中市值约等于2个茅台

头条要闻

男子拥有438台小米设备 新购新风系统吹不起一张纸巾

头条要闻

男子拥有438台小米设备 新购新风系统吹不起一张纸巾

体育要闻

姚明奥尼尔约基奇与各自的时代

娱乐要闻

佟丽娅离婚不离家,绝非恋爱脑

财经要闻

破产德企如何托起长鑫科技的逆袭之路

汽车要闻

轿跑姿态+大空间/标配655km续航 奇瑞风云A9置换价10.68万起

态度原创

教育
手机
艺术
家居
军事航空

教育要闻

华罗庚杯竞赛题,求x的值,送分题

手机要闻

全球首款AI智能体手机,努比亚NaviX Ultra三色官图公布

艺术要闻

进京油画选 | 2026第三届全国大学生美术作品展

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

特朗普下令暂停打击伊朗

无障碍浏览 进入关怀版