网易首页 > 网易号 > 正文 申请入驻

AI工具在书中生成"合成引语",这位作者却仍想继续使用它

0
分享至


记者兼作者史蒂文·罗森鲍姆(Steven Rosenbaum)有着比大多数人更充分的理由不信任AI。

他的新书《真相的未来:AI如何重塑现实》,围绕"在快速发展、以利润为驱动的AI压力下,真相正在被扭曲、模糊与合成"这一核心展开。然而,《纽约时报》本周的一项调查发现,罗森鲍姆在研究这本书时使用了AI工具,并由此引入了他本人也承认的"少量归属错误或合成引语"。

问题引语包括:科技记者卡拉·斯威舍(Kara Swisher)告诉《纽约时报》她"从未说过"的一句话,以及东北大学教授丽莎·费尔德曼·巴雷特(Lisa Feldman Barrett)表示"并未出现在我的书中,而且内容也是错误的"相关引用。目前,罗森鲍姆正与编辑合作,对全书进行他所称的"引用审计",相关更正将在未来版本中体现。

在接受采访时,罗森鲍姆表示自己"吸取了教训",今后将"更加警惕",对AI的输出结果"更谨慎地信任"。

然而,他也无法割舍这些工具。令人惊讶的是,他并不打算回到撰写过去几本书时不依赖AI的研究方式。

"让我在AI'自我修正'期间放弃它几年,回到使用微软Word的时代……这不是我的风格,"他说,"AI太神奇了。它能将各种想法串联起来,为你打开思路,引导你思考那些凭自己很难想到的问题。"

AI的"神奇"还体现在另一层面:就像托尔金笔下的至尊魔戒,AI让许多使用它的人相信自己能驾驭其力量。但他们真的能吗?

悄然溜走的错误

罗森鲍姆告诉我,他在写作过程中使用AI工具的目的是"发掘灵感、查找文章、梳理主题、锁定值得深入研究的人物或论文"。他在此类研究辅助与书中"实际的采访报道、叙事结构、论据及结论"之间划定了清晰界限,并强调后者"完全出自我自己……AI从未参与书稿的写作。"

《真相的未来》除了包含罗森鲍姆自述亲自完成的采访记录章节外,还有若干以研究为主的章节。他表示,这些章节的写作方式是"收集事实,再将其编织成叙事"。他大量使用了OpenAI的ChatGPT和Anthropic的Claude等工具收集信息,并在笔记中对AI提供的内容注明"来源于AI"的标记。

"它以各种奇特、巧妙、不寻常的方式激发创意……然后又以令人极为难堪的方式背叛你。"——史蒂文·罗森鲍姆

这些标注了AI来源的笔记,随后被交给出版商提供的一名事实核查员和两名文字编辑进行审核。在书中285条外部引用中,《纽约时报》已标记出6条存在问题的引用,其中包括3条所谓"合成引语"——这些引语似乎没有任何可查证的来源。(随着审查工作的推进,还可能发现更多问题。值得一提的是,大多数作者在写书时能够做到零虚构引用。)

"我认为我们当时的核查工作做得相当扎实,但并非百分之百无误,"罗森鲍姆说,"我们在认真做,尽了最大努力,反复查看,看起来没问题,再次确认,但最终还是出了差错。"

这一重大失误揭示了传统事实核查流程在应对AI辅助研究时可能存在的严重不足。过去,事实核查人员可以合理地假设:作者引用文献中的话语,是直接原文抄录的,只需确认是否准确即可——这类引用易于核实,本身可疑度较低。但一旦AI工具介入整个流程,这一假设便不再成立,必须额外增加一层怀疑:这些引语是否被正确转录,乃至是否真实存在。

在作者群体中,AI工具的普及恰好发生在一个出版机构和新闻编辑室因财务压力而大幅削减文字编辑与事实核查岗位的时代。我们已经看到,即便有事实核查环节,AI生成的错误依然可能进入出版书籍。对于大量出版前从未经过任何事实核查的书籍而言,使用这些工具带来的风险只会更高。

罗森鲍姆本人也认同:"出版商需要建立专门针对AI时代研究的全新核查流程,这可能包括对引用进行强制性溯源、更完善的来源追踪机制、更清晰的AI辅助研究规范,以及——颇具讽刺意味的是——利用AI工具本身对引用内容进行核对。"

"我并非有意捏造任何内容,"罗森鲍姆继续说,"所发生的事,是每天与这些系统打交道的记者、学生、研究人员、律师和作者越来越常遭遇的:AI生成的信息看起来权威可信,其中一些在被发现之前,已经流传得太远了。"

对着机器破口大骂

AI生成的重大错误已在多个领域屡见不鲜,令人忧虑。去年,《芝加哥太阳时报》刊登了一份充斥着AI虚构书目的暑期阅读推荐广告。《纽约时报》近期也不得不发布重要更正,因为刊载的一段归属于保守党领袖皮埃尔·波利耶夫(Pierre Poilievre)的引语,实际上是"AI对其观点的概括总结"。《连线》和《商业内幕》等媒体先后撤下了多篇署名"Margaux Blanchard"、疑似由AI生成的文章。学术会议饱受充斥幻觉引用的论文困扰,预印本平台arXiv近期也实施了零容忍禁令,试图遏制这一问题的蔓延。

Ars Technica自身也未能幸免。今年早些时候,一名前记者使用了一款AI工具来提取某信息来源博客文章中的原文引语,但该工具实际上生成的是捏造版本,网站随后撤回了相关报道。

一位写了整本书来警示AI如何扭曲现实的作者,自己却将AI生成的虚假信息写进了书里——这种讽刺意味并未逃过罗森鲍姆的眼睛。"我很感谢这本书受到关注,但这绝不是我希望引发关注的方式,"他说。

尽管这种讽刺令人"不舒服",他却很快将其解读为"同样具有启示意义":一位本就对AI持批判态度、长期关注核查问题的作者,依然会在这些系统面前栽跟头,这恰恰说明这些系统的渗透力与说服力已经有多强。他认为,自己亲历的这次AI问题,"比任何抽象论证都更生动地说明了问题所在"。

或许如此。但如果接受这种逻辑,那么世界上所有本可避免的明显失误,都可以因为"很有教育意义"而被合理化——这显然说不通;有时候,"疏忽"就只是疏忽。

当被直接追问,他如何会重蹈自己书中警示的AI相关陷阱时,罗森鲍姆的描述听起来像是一段与迷人骗子之间扭曲的关系。

"作为一名作者,AI常常是令人愉悦的写作伙伴,"他说,"我说'写作伙伴',并非随口一说。它以各种奇特、巧妙、不寻常的方式激发创意……然后又以令人极为难堪的方式背叛你。"

在整个对话过程中,罗森鲍姆频繁举例讲述那些AI的明显错误如何让他愤怒到字面意义上对着机器破口大骂。这可以追溯到2022年,他开始用AI工具尝试做"小型研究项目"。彼时,他发现AI给出的答案有大约80%"非常有用",其余20%则是凭空捏造、"完全不真实"。

尽管如此,他依然没有停止在生活和工作中使用这些工具。就在接受采访的那天,罗森鲍姆提到,他最近要求一款AI工具从一份幻灯片中提取他的"不做任何修改、逐字照录"的演讲备注,以供即将到来的演讲使用。他正准备打印提取内容时,却发现这个大语言模型实际上已经对他的文字进行了改写,尽管他给出的是"非常明确的指令"。

"我问它:'你改写了我的文字吗?'它说:'哦,我只是让语言更有力一些。'好吧,那真的是,去你的!"他说。

即便面对这类令人抓狂的错误,罗森鲍姆仍然认为AI工具的效率高到无法放弃。

"那份幻灯片有100页,"他说,"如果逐页手动复制粘贴文字,大概要花一个小时做这种机械重复的工作,ChatGPT大约四秒钟就完成了。"

对此,显而易见的反驳是:是的,它很快。但它也是错的。

骑上摩托车

当赌注只是个人演讲备注时,效率提升或许值得接受。但《真相的未来》这个案例表明,在涉及最终将被纳入出版书籍的研究内容时,AI的可靠性与表面上的速度之间的权衡,需要以截然不同的标准来衡量。

谈话继续深入时,我一再回到准确性与效率之间的这道权衡题,罗森鲍姆似乎也在某种程度上承认这是一个问题。即便他称AI的研究辅助"神奇"且"令人愉悦",他也将应对AI的幻觉和无视指令的过程描述为一种"阴险且令人疲惫"的煎熬。

"几乎每次使用它,都会让你感到……不安,"他谈及AI无视明确指令的惯常表现时说道。

"说实话,在这之前我从来没有跟任何技术'较过劲',"他在另一处说,"而我用科技产品用得可多了。"

"我从来没有遇到过一种技术,让我觉得它既令人着迷,又充满危险……"——史蒂文·罗森鲍姆

考虑到他新书中出现的问题,我问他,引入那些可能察觉不到的不准确信息的风险,真的值得为了感知到的收益而承担吗?

"我不吸毒,也不喝酒,但我想这大概就是一个瘾君子在多喝了一杯、心知肚明的时候自问的问题,"罗森鲍姆说,"我从来没有遇到过一种技术,让我觉得它既令人着迷,又充满危险。而我写这本书,正是为了提出这种警示——所以如果我最终成为了没有意识到边界在哪里的反面教材,那就这样吧。"

谈到AI的相对风险与收益时,罗森鲍姆提到自己骑自行车,但不会骑摩托车。"我知道摩托车能让我更快到达目的地,但我觉得它很危险,可能会要了我的命。这就是我不买摩托车的原因,"他说。

在这个比喻里,他明确将使用AI定位为相对安全的"自行车"选项。我回应说,AI所蕴含的超级效率与灾难性风险,让它感觉更像是那辆摩托车。罗森鲍姆说"这或许有道理",并感谢我"让这个比喻更锐利了"。

我随后问出了那个显而易见的问题:你会继续骑那辆摩托车吗?

"能让我再想想吗?"他说。

Q&A

Q1:罗森鲍姆的书《真相的未来》里为什么会出现AI生成的假引语?

A:罗森鲍姆在研究过程中大量使用了ChatGPT和Claude等AI工具来收集信息、梳理主题,这些工具生成的内容有时会伪造或错误归属引语。尽管他在笔记中标注了AI来源,并交由事实核查员和编辑审核,但仍有少量虚假引语未被发现,最终流入出版版本。

Q2:AI生成错误引语的问题在出版和媒体行业普遍吗?

A:这类问题已相当普遍。《芝加哥太阳时报》曾刊登充斥AI虚构书目的推荐名单;《纽约时报》因AI生成的摘要被当成真实引语而发出重要更正;《连线》和《商业内幕》撤下了疑似AI生成的署名文章;学术会议也频繁出现含有幻觉引用的论文。AI工具普及与出版核查资源缩减的叠加,正在加剧这一风险。

Q3:出版商应该如何应对AI辅助研究带来的引用错误风险?

A:罗森鲍姆认为,出版商需要建立专门针对AI时代的核查流程,具体措施包括:对引用内容进行强制性来源溯源、建立更完善的内容来源追踪机制、制定更清晰的AI辅助研究规范,以及引入能够将引用内容与原始资料进行比对的AI审核工具。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
澳媒曾言:中国总被描述为全球第2大经济体,这并非事实

澳媒曾言:中国总被描述为全球第2大经济体,这并非事实

户外钓鱼哥阿旱
2026-11-08 12:52:25
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
刘震云:女人有钱没钱,一看便知,没钱的女人,大多有这3个坏习惯!

刘震云:女人有钱没钱,一看便知,没钱的女人,大多有这3个坏习惯!

犀利辣椒
2026-11-22 06:23:03
最近刷屏的徐瑾,很多人叫她女保镖,其实她是国家外事特勤警官!

最近刷屏的徐瑾,很多人叫她女保镖,其实她是国家外事特勤警官!

江启
2026-11-22 09:49:52
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
高圆圆和当时的男友于小伟在北京一处老式居民楼下的留影

高圆圆和当时的男友于小伟在北京一处老式居民楼下的留影

娱你同欢
2026-11-13 22:28:44
惨烈! 马来西亚10月汽车销量7.5万辆 宝腾1.9万 比亚迪333辆 大跌80%

惨烈! 马来西亚10月汽车销量7.5万辆 宝腾1.9万 比亚迪333辆 大跌80%

趣味萌宠的日常
2026-11-21 01:08:29
关羽确定被活捉时为啥不自刎?网友们剖析太精辟,当时所有人都懵圈

关羽确定被活捉时为啥不自刎?网友们剖析太精辟,当时所有人都懵圈

另子维爱读史
2026-11-19 20:39:07
网约车跌、猪肉跌、房子跌,为何老百姓今年“不花钱”了?

网约车跌、猪肉跌、房子跌,为何老百姓今年“不花钱”了?

你在偷看谁
2026-11-22 07:22:41
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
实不相瞒,这就是现实!中国石油已经出现大问题?

实不相瞒,这就是现实!中国石油已经出现大问题?

锅锅爱历史
2026-11-22 11:02:55
大桥遇袭后!基辅水电中断,泽连斯基求援,美国:你不给我面子

大桥遇袭后!基辅水电中断,泽连斯基求援,美国:你不给我面子

精彩瞬间回顾
2026-11-21 18:08:27
金价跌到7字开头!金饰克价一夜跌了30多元

金价跌到7字开头!金饰克价一夜跌了30多元

闪电新闻
2026-11-21 13:09:40
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
日本女警与2名上司在警署发生关系,女警:我要优先考虑情感和欲望

日本女警与2名上司在警署发生关系,女警:我要优先考虑情感和欲望

刑部左侍郎
2026-11-22 00:07:36
被山东饭“拿捏”了!一只本该飞往日本的雪雁,因迷路飞到山东过冬,常被天鹅屁股挤到一边,只能插空啄食玉米粒,网友:一双筷子的事儿!

被山东饭“拿捏”了!一只本该飞往日本的雪雁,因迷路飞到山东过冬,常被天鹅屁股挤到一边,只能插空啄食玉米粒,网友:一双筷子的事儿!

农民日报
2026-11-21 14:24:57
长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

玲儿爱唱歌
2026-11-21 06:32:49
黑龙江电诈头目遭美制裁!租用太子集团园区,自开场子,专骗欧美

黑龙江电诈头目遭美制裁!租用太子集团园区,自开场子,专骗欧美

刘森森
2026-11-22 05:48:13
古代人如何检验女子是否破身?这招方法非常厉害!

古代人如何检验女子是否破身?这招方法非常厉害!

大运河时空
2026-11-22 09:30:05
广州天健上城从“6字头”回到“3字头”,放在四年前,连首付都不够

广州天健上城从“6字头”回到“3字头”,放在四年前,连首付都不够

老覃讲历史
2026-11-22 05:28:22
2026-11-22 12:16:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23594文章数 49740关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
房产
教育
公开课
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版