作家Steven Rosenbaum最近公开承认,他的新书《The Future of Truth》中出现了虚构引语。这些引语被标注为真实人物的言论,实际上却从未发生过。Rosenbaum在研究和起草过程中使用了AI工具,事后才发现软件"幻觉"出了根本不存在的对话和采访内容。
尽管出现这样的失误,Rosenbaum仍表示会继续将AI整合进写作流程。他认为,只要加强监管,这项技术仍是提升效率的宝贵工具。
![]()
这一事件暴露出当前大语言模型(LLM)在事实锚定和信源核实方面的关键缺陷。当AI被要求整合信息时,它优先保证的是叙事流畅度,而非事实准确性,最终产出了"合成引语"。
![]()
技术层面的失败主要体现在三个方面:
一是信源幻觉。AI生成了听起来合理但完全虚构的采访记录。
二是缺乏引文核验。工作流程中没有自动事实核查的次级环节,无法将AI输出与原始材料交叉比对。
三是语境混淆。模型将公开声明与私下的、并不存在的对话混为一谈。
![]()
Rosenbaum指出,AI虽然擅长构建复杂论证结构,却无法区分已核实数据和概率性文本生成。他现在调整工作流程,将AI输出仅视为"初稿",要求对每一条引语进行人工核实,对照原始录音或文字记录确认无误后才能定稿。这一转变凸显了AI语言流畅性与研究类任务中保持客观真实能力之间的 persistent gap(持续存在的差距)。
对营销机构而言,此事是一记警钟。依赖Jasper AI等工具制作白皮书、案例研究或思想领导力内容的机构,必须建立严格的人机协同核验机制。
一旦机构发布的内容包含"合成"引语或虚构数据,声誉损失可能相当严重——既损害客户信任,也违背职业道德标准。机构应将AI定位为起草助手,而非主要研究者。在向客户交付任何成品前,团队必须对照可信的原始来源核实所有主张、引语和数据点。这一点在使用AI驱动的SEO工具时尤为关键,这类工具抓取数据时可能无意中传播来自低质量网页的虚假信息。
值得关注的后续动向包括:企业级AI套件中"grounding"(事实锚定)功能的发展,这类功能旨在将模型限制在已核实的知识库范围内;以及机构内部审核流程的相应调整。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.