网易首页 > 网易号 > 正文 申请入驻

作家自曝新书含AI伪造引语:大模型"幻觉"如何混入出版物

0
分享至

作家Steven Rosenbaum最近公开承认,他的新书《The Future of Truth》中出现了虚构引语。这些引语被标注为真实人物的言论,实际上却从未发生过。Rosenbaum在研究和起草过程中使用了AI工具,事后才发现软件"幻觉"出了根本不存在的对话和采访内容。

尽管出现这样的失误,Rosenbaum仍表示会继续将AI整合进写作流程。他认为,只要加强监管,这项技术仍是提升效率的宝贵工具。


这一事件暴露出当前大语言模型(LLM)在事实锚定和信源核实方面的关键缺陷。当AI被要求整合信息时,它优先保证的是叙事流畅度,而非事实准确性,最终产出了"合成引语"。


技术层面的失败主要体现在三个方面:

一是信源幻觉。AI生成了听起来合理但完全虚构的采访记录。

二是缺乏引文核验。工作流程中没有自动事实核查的次级环节,无法将AI输出与原始材料交叉比对。

三是语境混淆。模型将公开声明与私下的、并不存在的对话混为一谈。


Rosenbaum指出,AI虽然擅长构建复杂论证结构,却无法区分已核实数据和概率性文本生成。他现在调整工作流程,将AI输出仅视为"初稿",要求对每一条引语进行人工核实,对照原始录音或文字记录确认无误后才能定稿。这一转变凸显了AI语言流畅性与研究类任务中保持客观真实能力之间的 persistent gap(持续存在的差距)。

对营销机构而言,此事是一记警钟。依赖Jasper AI等工具制作白皮书、案例研究或思想领导力内容的机构,必须建立严格的人机协同核验机制。

一旦机构发布的内容包含"合成"引语或虚构数据,声誉损失可能相当严重——既损害客户信任,也违背职业道德标准。机构应将AI定位为起草助手,而非主要研究者。在向客户交付任何成品前,团队必须对照可信的原始来源核实所有主张、引语和数据点。这一点在使用AI驱动的SEO工具时尤为关键,这类工具抓取数据时可能无意中传播来自低质量网页的虚假信息。

值得关注的后续动向包括:企业级AI套件中"grounding"(事实锚定)功能的发展,这类功能旨在将模型限制在已核实的知识库范围内;以及机构内部审核流程的相应调整。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!松岛辉空官宣离队!桥本帆乃香回应退出亚锦赛选拔赛!日本乒坛双震!

突发!松岛辉空官宣离队!桥本帆乃香回应退出亚锦赛选拔赛!日本乒坛双震!

好乒乓
2026-05-27 00:13:31
不管有钱没钱,尽快扔掉家里的这7样东西!不是瞎说,有科学依据

不管有钱没钱,尽快扔掉家里的这7样东西!不是瞎说,有科学依据

家居设计师宅哥
2026-05-04 12:45:59
中越战局真相曝光,苏联中将坦言,中国大军猛攻越军难抵挡

中越战局真相曝光,苏联中将坦言,中国大军猛攻越军难抵挡

磊子讲史
2026-03-25 14:26:43
热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯多少孩子

热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯多少孩子

窈窕妈妈
2026-05-26 20:56:56
霍尔木兹海峡外,一艘油轮突发爆炸,部分燃油已泄漏入海!船长称爆炸位置在左舷靠近水线处

霍尔木兹海峡外,一艘油轮突发爆炸,部分燃油已泄漏入海!船长称爆炸位置在左舷靠近水线处

每日经济新闻
2026-05-26 23:28:03
王鹤棣客栈风波发酵,实探“棣爸油炸”:其父称最近每天仅百单生意,“不反对儿子表达自己的情绪,不能太压抑了”

王鹤棣客栈风波发酵,实探“棣爸油炸”:其父称最近每天仅百单生意,“不反对儿子表达自己的情绪,不能太压抑了”

台州交通广播
2026-05-26 22:12:44
长沙“全程无红绿灯”新动脉!800吨钢桥毫米级顶推,机场车程或缩至25分钟?

长沙“全程无红绿灯”新动脉!800吨钢桥毫米级顶推,机场车程或缩至25分钟?

生活魔术专家
2026-05-26 20:12:06
国际油价大跌逾6%

国际油价大跌逾6%

证券时报
2026-05-26 07:44:04
柴荣这一生犯了最大的错误,就是免去了张永德殿前都点检的职务

柴荣这一生犯了最大的错误,就是免去了张永德殿前都点检的职务

掠影后有感
2026-05-25 10:33:16
天王山要崩?雷霆马刺伤病更新,奥尼尔分析西决走向,确实太难了

天王山要崩?雷霆马刺伤病更新,奥尼尔分析西决走向,确实太难了

你的篮球频道
2026-05-26 08:07:26
图赫尔遭德媒炮轰:弃用帕尔默等三将"疯了"

图赫尔遭德媒炮轰:弃用帕尔默等三将"疯了"

热血体育社
2026-05-27 01:18:18
稻城亚丁景区截断省道由财政出资维护,观光费如今开始打折

稻城亚丁景区截断省道由财政出资维护,观光费如今开始打折

映射生活的身影
2026-05-26 17:30:19
开发者花3年把API工具塞进VS Code侧边栏:零依赖、零切换、零臃肿

开发者花3年把API工具塞进VS Code侧边栏:零依赖、零切换、零臃肿

字节漫游指南
2026-05-26 00:20:15
足协主席宋凯致信U17男足队员赵松源:走出舒适圈,奔赴欧洲留洋

足协主席宋凯致信U17男足队员赵松源:走出舒适圈,奔赴欧洲留洋

澎湃新闻
2026-05-26 20:37:53
冯唐:没有经济来源的女人,再安分守己,在男人眼里也毫无价值

冯唐:没有经济来源的女人,再安分守己,在男人眼里也毫无价值

杏花烟雨江南的碧园
2026-05-22 14:15:03
极端高温下,印度人想炸开喜马拉雅山送走热浪,这可能吗?

极端高温下,印度人想炸开喜马拉雅山送走热浪,这可能吗?

有范又有料
2026-05-26 17:04:40
李瑞环说:叶选平是叶帅的儿子,但水平比我高,为啥不能当省长?

李瑞环说:叶选平是叶帅的儿子,但水平比我高,为啥不能当省长?

历史求知所
2025-12-18 09:00:13
炒股十年避坑指南:躲开每年必跌的两个关键时段

炒股十年避坑指南:躲开每年必跌的两个关键时段

流苏晚晴
2026-05-16 22:17:28
让中国孩子列队通过符拉迪沃斯托克广场,这个情况绝不正常!

让中国孩子列队通过符拉迪沃斯托克广场,这个情况绝不正常!

阿龙聊军事
2026-05-09 19:08:47
日媒:日本科学家扎堆去中国搞研究,甚至扬言“再不回日本”

日媒:日本科学家扎堆去中国搞研究,甚至扬言“再不回日本”

随波荡漾的漂流瓶
2026-05-26 18:22:49
2026-05-27 01:52:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
3789文章数 50关注度
往期回顾 全部

科技要闻

中国AI要向外卷,而不只是做第二个OpenAI

头条要闻

武契奇获授"友谊勋章":父母特意打电话 我们都哭了

头条要闻

武契奇获授"友谊勋章":父母特意打电话 我们都哭了

体育要闻

上赛季差点降入英甲,下赛季要踢英超了

娱乐要闻

台媒贴脸!S妈被问大S嗑药当场沉默

财经要闻

中国铝行业爆单 下一个“煤炭”大周期?

汽车要闻

涉水加强 福特烈马亚马逊限量版上市 售价39.98万

态度原创

房产
数码
健康
游戏
旅游

房产要闻

招商地产接盘碧桂园!海口这个烂尾豪宅,要彻底改命?

数码要闻

惠普新本用上骁龙X,屏幕能到1800P 120Hz

外泌体抗衰,什么时候能用上?

猎魂世界:千仞雪/王秋儿售后盘点!售后是越多越好还是越少越好

旅游要闻

第二艘国产大型邮轮即将启航:解锁中国人的海上旅居新范式!

无障碍浏览 进入关怀版