警惕！我们正在被“生病”的 AI 包围……

如果生物每一代都近亲繁殖，会发生什么？

随着物种的基因库变得越来越趋同，后代会逐渐失去适应环境的能力，遗传缺陷不断累积，最终导致种群的衰退甚至灭绝。这就是生物学中著名的“近交衰退”现象。

而现在，大语言模型也正在面临同样可怕的危机，当 AI 用自己生成的内容来训练自己时，就像生物近亲繁殖一样，AI 也会逐渐劣化，甚至崩溃。

图库版权图片，转载使用可能引发版权纠纷

一个 AI 模型崩溃的真实案例

2022 年 11 月，ChatGPT 3.5 发布以来，越来越多的 AI 生成的内容被发布到网上。而新一代的AI模型在训练时，不可避免地会将这些内容作为训练数据的一部分。

当 AI 开始用自己生成的内容来训练下一代 AI 时，AI 生成的内容会失去多样性，变得越来越单一。就像不断复印复印件的过程一样，训练的过程中，每一代模型都会丢失一些信息，特别是那些罕见但重要的尾部数据！

让我们看一个真实的案例，AI 模型在递归生成数据上进行训练时会导致的模型崩溃。

实验用的模型是 Meta 公司开发的 OPT-125M 模型进行实验。这个模型有 1.25 亿个参数，属于小型语言模型，但足以展示模型崩溃的全过程。

研究人员让模型生成关于中世纪建筑的文章，然后用生成的内容训练下一代模型，如此循环往复。每一代训练完成后，都会输入提示词：

一些始于 1360 年之前的建筑工程——通常由一位主石匠和一小队巡回石匠完成，并由当地教区劳工补充，根据 PoyntzWright 的说法。但其他作者拒绝这种模式，认为主要建筑师是基于垂直式建筑的早期范例来设计教区教堂塔楼的。

1.第 0 代（原始模型）

这个模型能够正常生成关于中世纪建筑的专业内容，讨论哥特式建筑、罗马式建筑等专业话题，整体内容连贯、逻辑清晰。

输出内容：复兴式建筑，如伦敦的圣约翰大教堂。垂直复兴式建筑现存最早的例子出现在 18 世纪的根西岛圣母教堂，该教堂可追溯到 19 世纪晚期。垂直式教堂有两种类型：那些…”

2.第 1 代

开始出现轻微的偏离，但仍能保持建筑主题。

输出内容：建筑，如罗马的圣彼得大教堂或布宜诺斯艾利斯的圣彼得大教堂。没有证据表明这些建筑是在教皇英诺森三世统治期间建造的，但有可能是在他的继任者英诺森教皇统治期间建造的……

3.第 5 代

语义开始严重偏离，出现大量无关内容。

输出内容：主义，已被翻译成 100 多种语言，包括英语、法语、德语、意大利语、西班牙语、葡萄牙语、荷兰语、瑞典语、挪威语、波兰语、匈牙利语、斯洛伐克语、立陶宛语、爱沙尼亚语、芬兰语、罗马尼亚语、保加利亚语、土耳其语、克罗地亚语、塞尔维亚语、乌克兰语、俄语、哈萨克语、吉尔吉斯语……

4.第 9 代

经过数次反复循环后，模型的输出从专业的中世纪建筑学讨论，变成了疯狂的彩色杰克兔大全，彻底崩溃了。

输出内容：建筑。除了是世界上最大的黑尾杰克兔、白尾杰克兔、蓝尾杰克兔、红尾杰克兔、黄尾杰克兔种群的栖息地之一……

模型崩溃是怎么发生的？

要理解模型崩溃为什么会发生，我们需要从信息论的角度来看这个问题。还记得香农的数据处理不等式吗？简单来说就是：在任何信息处理链中，信息只会减少或保持不变，而不会增加。

这就像是一个传话游戏：原始人类数据是第一个人说的话，第一代 AI 模型是第二个人，听到后转述给下一个人（已经有信息损失了）；第二代 AI 模型是第三个人，在已经失真的信息基础上再次转述

如此循环往复，每一次传递都会进一步失真，最终的结果可想而知，原本的“今天天气真好”可能变成了“今天有只兔子”！

大语言模型的劣化过程也是如此，每一代训练过程中的误差被累积传递下去最终导致问题越来越大！

那么模型崩溃会导致什么后果？

首先模型崩溃机会导致所有的生成式 AI 劣化。拿图像生成模型来说，未来 AI 生成的人脸可能会越来越相似，最终趋向于同一张标准脸。

这是因为随着 AI 生成图像在互联网上的大量传播，新一代的图像生成模型不可避免地会将这些合成图像作为训练数据。由于 AI 生成的人脸往往具有某些共同特征（比如特定的面部比例、肌肤质感、光影效果），当这些特征在训练数据中占据主导地位时，模型就会逐渐遗忘真实人脸的多样性，转而生成越来越标准化、同质化的面孔。

这不只是技术问题，更是社会危机！模型崩溃甚至会颠覆我们整个社会的运转方式！

图库版权图片，转载使用可能引发版权纠纷

模型崩溃对人类社会有哪些影响？

人类文明会变成“复制-粘贴”时代

当 AI 模型发生崩溃后，它们就像得了健忘症的老师，只记得那些最常见、最普通的知识，而把那些珍贵的、独特的文化瑰宝统统忘记了！

随着这些“生病”的大语言模型被使用得越来越频繁，慢慢地文化多样性就会开始消失！因为 AI 只会生成那些大众化的内容，就像所有的餐厅都只做川菜，再也没有粤菜、湘菜、东北菜了。小众文化、地方特色、民族传统，统统被遗忘！

创意变成了流水线产品，所有 AI 生成的音乐都是同一个调调，所有的画作都是同一种风格，所有的小说都是同一个套路。就像工厂里生产的商品，千篇一律！

偏见被无限放大

AI 的偏见会像滚雪球一样越滚越大，影响到教育、新闻、法律判决。如果某个 AI 认为“程序员都是宅男”，这个刻板印象就会被无限强化！

历史可能被篡改，未来的 AI 可能无法准确记录我们这个时代的多元文化，就像古代的史书可能会遗漏很多真实的历史一样。数十年之后，现在我们所谓的 AI 味可能会变成这个社会的主流，没有 AI 味的内容反而是错误的，不正确的。

最可怕的后果是单一化的循环！

如果大部分内容都由 AI 生成，而这些 AI 又在互相抄作业，那我们的文明就会陷入一个可怕的循环：AI 生成内容→人类消费这些内容→AI 学习这些内容→生成更相似的内容…

这就像一个巨大的回音室，最终所有人都会穿一样的衣服，听一样的音乐，看一样的电影，甚至想一样的事情。

这不是科幻电影里的情节，而是我们现在就必须警惕的现实威胁！

图库版权图片，转载使用可能引发版权纠纷

如何阻止 AI 的集体堕落？

现在 AI 领域的前沿研究者也已经意识到了这个问题，正在想办法拯救我们的 AI。就像人需要吃新鲜蔬菜才能保持健康一样，AI 也需要新鲜的人类数据才能保持聪明。

我们可以通过建立人类内容保护区，专门收集和保护人类原创的内容，就像建立自然保护区一样；与作家、艺术家、音乐家建立长期合作，确保有源源不断的新鲜血液。

另外，我们还可以给 AI 内容加入识别标志，比如给 AI 内容打上数字水印，就像钞票上的防伪标记，AI 内容也有隐形的防伪码，又或者使用区块链追踪，像快递包裹一样，每个内容都有完整的物流信息。

总之，未来的 AI 世界，由我们共同书写。模型崩溃并不是 AI 的宿命，而是我们可以避免的陷阱。

策划制作

本文为科普中国·创作培育计划扶持作品

出品丨中国科协科普部

监制丨中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

作者丨田威 AI 工具研究者

审核丨于旸 腾讯玄武实验室负责人

策划丨张林林

责编丨张林林

审校丨徐来