网易首页 > 网易号 > 正文 申请入驻

AI坐上文本裁判席,真的靠谱吗

0
分享至


生成式AI普及之后,写作这件事变得有些微妙。过去人们问“写得好不好”,现在多了一个问题“这到底是不是人写的”?AI检测器正是在这样的需求下,进入了人们的视野。它们分析文字中的语言特征,试图判断文本更像是人写的,还是机器生成的。

美国《连线》杂志近日报道,作家米娅·巴拉德的小说《Shy Girl》曾被AI检测公司Pangram判定为78%由AI生成。但巴拉德否认使用AI写作。随后,出版商Hachette取消了这本书在美国的出版计划。

如今,Pangram、GPTZero等AI检测产品已经进入出版社、学校和科研机构。一个原本用于辅助判断的技术,正在越来越多地参与实际决策。

AI检测器正变得更准确

早期AI检测主要依赖困惑度和突发性。困惑度衡量一段文字对语言模型来说有多“意外”,如果下一个词很容易预测,困惑度通常较低。突发性则关注句子长短、结构等变化。人类写作往往长短错落、起伏转折,AI则偏爱整齐划一、千篇一律。

但这种方法漏洞很明显。一个文风严谨的学者,或者一个英语不够流利的非母语者,写出来的东西很容易被误判成AI。因此,一些高校一度停止或限制使用AI检测工具。

随着大模型的发展,以Pangram为例,它用海量人类文本和AI文本训练模型,还让AI自己生成与真实文本相似的“镜像文本”,专门挑那些容易被误判的样本反复训练。Pangram 4的技术报告显示,在它们的测试数据里,英文文本的误判率降到了0.0041%。《自然》杂志也提到,今年7月Epoch AI测试了495篇纯人类写的文章,没有发现Pangram出现误判。

不过,这些数据主要来自企业自己的测试,第三方独立评估还不够。同时,检测模型和生成模型都在快速迭代,今天表现良好的模型,明天可能就会面临新的挑战。检测器给出的数字,不能直接当作事实。

“96% AI”不等于96%由AI写成

《自然》杂志曾拿Frontiers出版社科研诚信总监埃琳娜·维卡里奥的一篇文章去作检测。维卡里奥表示,文章初稿和想法完全由自己完成,只在修改过程中让AI润色了一下,之后又经过了人工编辑。然而,Pangram旧版本将这篇文章判定为100% AI生成,升级后的Pangram 4仍给出了96% AI的比例。

但这里的“96% AI”,并不是说文章中96%的内容都是AI完成的。检测器给出的“AI比例”,与作者实际使用AI的程度,并不是一回事。

Pangram解释称,“100% AI”并不是说文章中的每一个词都是AI写的。系统会把文章切分成不同片段,分别判断这些片段更接近AI、人类还是两者混合,再根据这些判断计算整体比例。因此,“96% AI”更准确的含义是,检测器认为这篇文本具有很强的AI生成特征,而不是认定作者有96%的内容由AI完成。

今天的写作早已不是“人写”与“AI写”的二元对立。一位作者可能独立完成初稿,仅用AI修改措辞;也可能让AI生成框架,再逐段重写;还可能经过翻译、润色、人工修订等多道工序。然而,从检测器的视角看,这些参与程度完全不同的写作方式,最终产出的文本却可能呈现相似的AI特征。

检测结果本身也并非完全稳定。《自然》的测试发现,同一段文字,单独检测和放在完整文章中检测时,分数可能不一样。《连线》的测试也发现,对文本进行一些修改后,检测分数可能随之改变。

一场没有终点的“猫鼠游戏”

检测器在升级,规避检测的方法也在更新。市面上已经出现了专门的人性化改写工具,能把AI写的句子重新组织一遍,换上更自然的词,调整表达节奏,目的就是让检测器认不出来。研究显示,经过这种处理的AI文本,漏检率会明显上升。

让AI模仿某个具体作者的风格,也是一条路径。非营利研究机构Epoch AI的一项独立评估发现,当AI被要求模仿特定作者的写作风格时,部分生成文本能够绕过检测。

语言差异也增加了这种不确定性。一些非英语母语者使用AI翻译或润色后,文章反而更容易被判成AI生成。Pangram新版模型对此有所改善,但检测结果仍可能受到语言背景和文本类型影响。

生成模型和检测模型,就这么你追我赶,谁也停不下来。生成模型想方设法学着“说人话”,检测模型就拼命寻找哪里还露出马脚。检测器更新之后,新的改写工具或许又会出现。

检测器应是指南针而非判决书

对于学校、出版社和科研机构来说,检测器更适合承担“筛查”的角色。对于学校、出版社和科研机构而言,判断一篇文章是否违规使用AI,还需要结合具体的使用情况。

据《自然》杂志报道,美国癌症研究协会已经使用Pangram检查同行评议。一名审稿人因检测结果异常受到询问后,承认自己在评审意见中使用了AI。这样的案例说明,检测器确实可以帮助机构发现异常,但从“发现异常”到“确认违规”,中间仍然需要人的判断。

Pangram也建议,在处理AI学术诚信问题时,应结合草稿、笔记、修改记录和写作过程等信息,而不能只看检测分数。

检测器可以告诉人们一段文字像不像AI生成,却无法仅凭一个数字还原真实的写作过程。随着AI和检测技术继续发展,这个边界可能还会不断变化。

来源:科技日报

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

醉卧浮生
2026-11-22 10:56:08
“不知道她没满14岁”不能成挡箭牌,网友:满14岁也太小了

“不知道她没满14岁”不能成挡箭牌,网友:满14岁也太小了

东方豪侠
2026-11-22 11:42:36
萨顿:利物浦将4-0大胜曼联,波切蒂诺可能会以一场惨败开局

萨顿:利物浦将4-0大胜曼联,波切蒂诺可能会以一场惨败开局

懂球帝
2026-11-22 22:14:18
莫言:告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

莫言:告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

品读时刻
2026-11-22 09:06:06
武汉一男孩意外身亡,母亲将孩子生前使用的手机放进棺木随他下葬。一次思念成疾拨通该号码,本以为是空号,谁知电话那头传来熟悉的声音

武汉一男孩意外身亡,母亲将孩子生前使用的手机放进棺木随他下葬。一次思念成疾拨通该号码,本以为是空号,谁知电话那头传来熟悉的声音

扶苏聊历史
2026-11-22 11:20:08
又爆单了!山姆突然卖断货?这个冬日你拥有一件加拿大鹅了吗?

又爆单了!山姆突然卖断货?这个冬日你拥有一件加拿大鹅了吗?

栋察楼市
2026-11-21 08:05:54
6台能“饿死修理厂”的神车!按时保养60万公里不用动发动机,老板见了都头疼

6台能“饿死修理厂”的神车!按时保养60万公里不用动发动机,老板见了都头疼

三农老历
2026-11-22 16:23:38
涉嫌行贿后外逃!刘贤志被遣返回国

涉嫌行贿后外逃!刘贤志被遣返回国

看看新闻Knews
2026-11-22 19:38:25
50年代土里土气的老物件,认识4个算你厉害!最后一个是啥?

50年代土里土气的老物件,认识4个算你厉害!最后一个是啥?

时尚的弄潮
2026-11-22 00:48:42
足协公布留洋资助名单!董路:为何只选万项,想组联队和国少踢1场

足协公布留洋资助名单!董路:为何只选万项,想组联队和国少踢1场

奥拜尔
2026-11-22 20:33:54
突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

大厂财经社
2026-11-22 11:23:39
为何一定要救楼市?因为有8000多万吃财政饭的人,在张嘴等着

为何一定要救楼市?因为有8000多万吃财政饭的人,在张嘴等着

猫叔东山再起
2026-11-22 11:05:10
广东队被淘汰出局!CBA名记暗批1人:耽误了球员的成长

广东队被淘汰出局!CBA名记暗批1人:耽误了球员的成长

体育哲人
2026-11-22 19:22:23
他接受纪律审查和监察调查

他接受纪律审查和监察调查

锡望
2026-11-22 20:42:15
广东今夜起降雨发展局地有中到大雨 广州后天最高温将降至19℃

广东今夜起降雨发展局地有中到大雨 广州后天最高温将降至19℃

北青网-北京青年报
2026-11-22 14:27:01
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
许绍洋现身成都玉林路,出道25年难被记住,50岁还在走反差这条路

许绍洋现身成都玉林路,出道25年难被记住,50岁还在走反差这条路

Mz娱乐前沿
2026-11-22 20:39:55
湖南27岁男子租宝马、晒茅台饭局伪装富豪,隐瞒已婚身份与多人恋爱,骗取5名女性54万余元,法院:判刑10年

湖南27岁男子租宝马、晒茅台饭局伪装富豪,隐瞒已婚身份与多人恋爱,骗取5名女性54万余元,法院:判刑10年

扬子晚报
2026-11-22 15:06:49
CBA最新消息!上海男篮内讧,韩德君或被处罚

CBA最新消息!上海男篮内讧,韩德君或被处罚

体坛瞎白话
2026-11-22 09:19:56
2026-11-22 22:44:49
时间财经 incentive-icons
时间财经
北京时间旗下财经新闻官方账号
12354文章数 55742关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

疑因3年前的投诉男子收到辱骂短信 公司建议报警维权

头条要闻

疑因3年前的投诉男子收到辱骂短信 公司建议报警维权

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

房产
教育
时尚
健康
本地

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

绵阳会延迟到校时间吗?官方回复了

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版