网易首页 > 网易号 > 正文 申请入驻

哈布斯堡AI的诅咒:合成数据递归下的模型坍缩

0
分享至

枯竭的数字富矿

过去十年,AI大模型之所以能大力出奇迹,是依托于互联网上几十年来全人类积累的、充满粗糙生命力的高质量原始语料(百科、学术文献、甚至论坛里人类互喷的黑话)。AI像一台贪婪的采矿机,迅速榨干了这些富矿。

到了今天,大模型研发最尴尬的现状是:人类攒了几千年的高质量语料,已经被这几年的 Scaling Laws 翻来覆去吃了个干净。高质量的原始数据很快成了稀缺资源。为了让模型性能继续提升,研发者们不得不尝试一件以前觉得荒唐的事,用 AI 生成的数据,去喂养下一代 AI。

随之而来的,是一场被称为模型崩溃的赛博瘟疫。

合成数据在AI界的兴起

在 AI 还没这么火之前,合成数据(Synthetic Data)在业界其实早就扮演起了高级数字替身的角色。

它的本质是统计学中的分布采样。最早,它是为了解决那些想用数据却不敢用或根本没数据的尴尬场景,在医疗与金融领域尤其突显:银行和医院想训练算法,但原始数据涉及用户隐私,无法直接用患者的数据训练模型。于是统计学家用借助生成对抗网络(GANs)或变分自编码器(VAEs)捕捉原始数据的协方差矩阵和边际分布,生成一套在统计学特性上几乎真假难辨的模拟数据。

GAN的核心是对抗训练,生成器从噪声中伪造数据,再让判别器不断分辨真假,二者反复博弈直到生成器能完美模仿真实分布;VAE则是通过编码器将数据压缩到 latent space,再由解码器生成新样本,强调概率建模。两者都能在不泄露具体隐私的前提下,保留数据的统计学骨架(均值、方差、相关性等都与真实数据一致)。

▲ 图 / GAN的核心对抗训练机制

类似地, 合成数据在 自动驾驶与机器人领域也早已大显身手 。 你不可能为了训练避障让真车实打实撞一万次墙,于是工程师在CARLA、Unreal Engine等模拟器中生成海量合成数据,先在虚拟世界完成训练,再通过Sim-to-Real路径迁移到现实。在计算机视觉任务中,合成数据还常被用于数据增强,帮助平衡那些样本极少的罕见类别(如罕见病症图像)。

随着大模型时代的到来,合成数据的角色发生了质的飞跃。它不再仅仅是原始数据的统计模拟,而是摇身一变,成了一种逻辑蒸馏的燃料。

最早吃到甜头的是微软。2023年,他们让GPT-4这样的顶级模型生成干净、逻辑严密的合成教材,然后拿去训练Phi系列小模型。结果意外地发现,这些吃精粮的小模型表现竟然全面反超了那些靠互联网脏数据长大的大模型。他们因此喊出了那句后来广为流传的口号:Textbooks Are All You Need!

事实上,合成数据已在AI多领域大放异彩:指令微调中,Self-Instruct方法让模型自我生成高质量指令-响应对,催生了Alpaca等高效小模型;在代码推理,合成问题+逐步思考(CoT)轨迹显著提升了o1-like模型的链式推理能力;多模态AI中,合成图像+精准标注用于训练视觉-语言模型(如CLIP变体);强化学习与机器人中,合成轨迹数据加速了策略优化,避免了真实世界的高昂试错成本,……

这一连串成功仿佛印证了一种妄念:只要算力足够,数据不再是瓶颈。合成数据又便宜、又干净、还能无限量供应,那为什么还要继续翻那些充满口水话和逻辑漏洞的人类语料区呢?

然而,这种数字兴奋剂带来的短期红利,很快就招致了统计学意义上的反噬。

模式坍缩:提纯的反噬

当这种用AI训练AI的模式从微调扩散到全量预训练时,崩坏开始了。

2024 年,牛津与剑桥团队在《Nature》上发表了一项重磅实验,击碎了把合成数据当永动机的幻想。 研究者做了一个递归实验:先用真实人类数据训练出第 0 代模型,然后让它生成合成数据,再去训练下一代,以此类推。

他们特意选取了一个知识边界清晰的主题:英国中世纪教堂建筑,作为测试案例,以观察递归的内容的逐代变化过程。

第 0 代: 逻辑严密,能准确描述石材、拱顶和建筑风格。

第 5 代: 语义边界开始模糊。开始把教堂的石材和周围的自然风景搞混,描述变得模棱两可。

第 9 代:开始整页整页地重复一段毫无意义的乱码:“长耳大野兔(Jackrabbits)有黑色、白色的毛发……野兔的尾巴……”

真正的逻辑熔断发生在第 9 代。此时模型已经彻底放弃了关于建筑的讨论,转而开始整页重复一段关于长耳大野兔毛色的乱码。这种崩溃不是缓慢的性能下降,而是在某个临界点突然发生的模式坍缩。

▲ 图 / 《Nature》2024模型崩溃论文

在递归过程中,模型在每一代演进中都会丢失一点真实世界的复杂性,最终因为这种智力层面的近亲繁殖,彻底陷入了自我重复的癫狂。

这种现象被戏称为哈布斯堡 AI(Habsburg AI),正如历史上那个因近亲繁殖导致下巴畸形、家族绝嗣的欧洲皇室,当模型试图在影子的影子里寻找规律时,原本人类语料中那些充满起伏的噪声:那些细腻的比喻、生僻的文化符号以及独特的表达,被层层叠加的概率均值无情抹除。直到某个微小的随机误差在递归中被不断放大,整个概率分布最终滑向一个极窄的死胡同里,也就是那段关于野兔的废话。

消失的长尾

这种崩溃并非偶然,而是合成数据递归训练的必然结果,它的根源隐藏在数据分布的逐步坍缩之中。

AI 模型本质上是一个概率拟合机。

当它在拟合人类数据分布时,为了最小化经验风险,总是优先倾向于捕捉那些高频出现的平均模式,而丢弃那些低频的长尾分布,也就是那些罕见表达、独特的比喻、甚至是一些口误。

在单次生成中,这种去噪机制让输出显得更流畅稳健,更符合常识。但在多代递归训练中成了致命伤。第一代合成数据可能只是抹除了人类语言中的瑕疵,到了第二代,第三代…… 每一代都在上一代的基础上继续趋于平庸化。

▲ 图 /合成数据递归训练下的方差坍缩

从核密度估计(KDE)的视角来看,每一次用近似分布去拟合上一个分布,尾部概率都会被进一步削平,这种对尾部的系统性低估像雪球般不断累积,最终驱使整个数据分布的方差坍缩,分布越来越集中在均值附近,误差棒逐渐收敛,直至长尾彻底消失。

模型就像一个患有数字洁癖的怪物,极度厌恶人类数据里的粗糙与不确定性,一心想要提纯出一套完美规律,结果反而亲手扼杀了智能赖以生存的多样性。

这一递归过程可被精确建模为离散时间马尔可夫链在token序列状态空间上的演化。由于每一代合成数据都在系统性地压缩分布的支撑集,生成分布的香农熵持续单调下降,最终概率质量不可逆地收敛至一个或少数几个吸收态。一旦落入这些吸收态,模型便彻底丧失进一步演化的可能性,只能永久锁定在高度重复的固定模式中。就像那只实验中反复出现的“长耳大野兔”,成为系统抵达这一数学终点的必然体现。

这也揭示了,过度的一致性正是退化的序幕。如果一个系统只允许最正确的信号存在,那么它最终只能通向虚无。

对抗虚无的解药

在柏拉图的寓言里,囚徒们背对着出口,通过观察墙上的影子来理解现实。

AI时代的困境如出一辙。

当我们用投影去训练下一代模型,AI 实际上是在观察“影子的影子”。工程师厌恶的数据噪声,同时也是宝贵的不确定性。没有了来自物理世界的、脏兮兮的原生采样,纯数字的虚拟闭环最终只会走向热寂。秩序往往只是概率的偶然,而那些粗糙的、充满生命力的不完美,才是对抗数字虚无的唯一火种。

end

参考文献:

Shumailov (2024). AI models collapse when trained on recursively generated data.

[2] Gunasekar, S. et al. (2023). Textbooks are all you need. arXiv:2306.11644.

[3] Goodfellow, I. et al. (2014).

NeurIPS 2014.

Generative adversarial nets. 2

[4] Gerstgrasser, M. et al. (2024). Is model collapse inevitable? Breaking the curse of recursion by accumulating real and synthetic data. arXiv:2404.01413.

来源:DataCafe

编辑:LogicMoriaty

转载内容仅代表作者观点

不代表中科院物理所立场

如需转载请联系原公众号

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4-1夺冠!男单爆大冷!就在刚刚,WTT常规赛大结局:世界第160位掀翻世界第120位,国乒7人全军覆没太尴尬!34岁前国乒主力方博成大赢家

4-1夺冠!男单爆大冷!就在刚刚,WTT常规赛大结局:世界第160位掀翻世界第120位,国乒7人全军覆没太尴尬!34岁前国乒主力方博成大赢家

锐评利物浦
2026-11-16 10:02:05
大案往事:北京空姐情杀案

大案往事:北京空姐情杀案

SHI人物志
2026-11-15 15:47:54
马上停止用这种床单,接触时间越长风险越高,很多人还在用

马上停止用这种床单,接触时间越长风险越高,很多人还在用

39健康网
2026-11-13 12:00:37
央视提醒后发现:手机相册,潜在重大危险,比聊天记录更要危险

央视提醒后发现:手机相册,潜在重大危险,比聊天记录更要危险

据说说娱乐
2026-11-15 18:14:12
英媒:黄仁勋考虑重返英伟达,其硅谷盟友正组建游说团向英伟达董事会施压,要求恢复其职务;知情人士:所有有影响力的人都喜欢黄仁勋

英媒:黄仁勋考虑重返英伟达,其硅谷盟友正组建游说团向英伟达董事会施压,要求恢复其职务;知情人士:所有有影响力的人都喜欢黄仁勋

大风新闻
2026-11-16 07:52:09
加拿大总理卡尼抵达深圳

加拿大总理卡尼抵达深圳

界面新闻
2026-11-16 22:00:24
伊能静:我错了,以为你怎么样我都爱你,但你胖成这样,我爱不了

伊能静:我错了,以为你怎么样我都爱你,但你胖成这样,我爱不了

秀语千寻
2026-11-15 19:13:46
香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉老公

香港知名女星宣布离婚,结束仅两年婚姻,发千字长文控诉老公

往史过眼云烟
2026-11-15 09:50:29
蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

蒋介石外甥踩了警察局长情妇的脚,当场被扇三耳光关进大牢,本想报出蒋家名号脱身,却险些被整死,最后对方赔得几乎破产

磊子讲史
2026-11-12 18:26:57
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
炸锅了!比福建舰更厉害的力量要来了?专家预言相当于100艘航母

炸锅了!比福建舰更厉害的力量要来了?专家预言相当于100艘航母

阿芒娱乐说
2026-11-14 06:51:43
57岁泳装照封神,伊能静腰腹紧致状态在线,近来忙着录新综艺

57岁泳装照封神,伊能静腰腹紧致状态在线,近来忙着录新综艺

情感大头说说
2026-11-15 14:39:03
多地中小学延迟到校时间

多地中小学延迟到校时间

第一财经资讯
2026-11-16 19:44:09
30幅性感迷人的自然光人像,每一帧都是光与欲的私语

30幅性感迷人的自然光人像,每一帧都是光与欲的私语

国际艺术大观
2026-11-15 21:38:31
291:123,美国决议获通过,白宫迎来首位女总统?万斯或放弃大选

291:123,美国决议获通过,白宫迎来首位女总统?万斯或放弃大选

云上乌托邦
2026-11-16 22:55:11
知名男演员凌晨酒驾撞车!警方介入,或面临刑事立案!本人致歉!他因这部经典作品被中国观众熟知↗

知名男演员凌晨酒驾撞车!警方介入,或面临刑事立案!本人致歉!他因这部经典作品被中国观众熟知↗

极目新闻
2026-11-15 09:03:13
5场仅踢18分钟!葡萄牙32岁新队长不满热苏斯,效仿C罗,退出集训

5场仅踢18分钟!葡萄牙32岁新队长不满热苏斯,效仿C罗,退出集训

球场没跑道
2026-11-16 13:22:35
细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

徐德文科学频道
2026-11-15 14:24:34
山东省政府原参事袭燕受贿案一审宣判

山东省政府原参事袭燕受贿案一审宣判

新华社
2026-11-16 21:42:14
60帽,史诗级断档!12连胜了,谁能打断……

60帽,史诗级断档!12连胜了,谁能打断……

体育新角度
2026-11-16 16:36:31
2026-11-16 23:44:49
中科院物理所 incentive-icons
中科院物理所
爱上物理,改变世界。
10623文章数 136655关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

数码
健康
教育
本地
公开课

数码要闻

华为星芒OSTA O1 Pro新机更多配置信息曝光:新增无充电器版本,黑白紫三色可选

情绪真能让健康人"伤心至死"?

教育要闻

从科技救国到科技强国: 成都二中对时代战略、城市发展、教育归真的三重作答

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版