网易首页 > 网易号 > 正文 申请入驻

垃圾数据侵蚀AI大脑!大模型新研究:Llama推理能力大降,自恋水平翻倍

0
分享至

智东西
编译 王欣逸
编辑 程茜

智东西10月27日消息,10月15日,德国农工大学、德克萨斯大学奥斯汀分校和普渡大学的研究团队在arXiv上发表了一篇论文,提出并测试了“LLM脑腐假说”(LLM Brain Rot Hypothesis)。研究显示,经垃圾数据训练后,Llama 8B模型的推理能力下降了23.6%,自恋和精神病态的水平上升了两倍多。

“脑腐”(brain rot)指人们长时间暴露于碎片化信息下可能导致脑功能损伤。研究人员提出,和人类“脑腐”现象相对应,大模型接触大量垃圾网络文本可能会出现“大脑退化”、认知能力持续下降的现象。

论文地址:https://llm-brain-rot.github.io

一、海量垃圾数据,让大模型们认知退化

在研究过程中,研究人员在社交平台X的语料库上进行了受控实验,从1亿条的帖子中确定了两种类型的垃圾数据,并采用两个正交操作化方法构建了垃圾数据集M1、M2和反向对照数据集。

M1:参与度——衡量帖子的受欢迎程度和简短程度。点赞、转发和评论量高的内容,特别是浅薄且吸引人的内容,这些被标记为垃圾数据。同时,篇幅更长、传播性不强的帖子则成为对照组。

M2:语义质量——评估文本的耸人听闻程度和肤浅程度。带引诱性质的语言(如“哇”、“看”、“仅限今天”)或夸大其词的帖子被标记为垃圾数据。同时,基于事实、有教育性或说理性的帖子被选择作为对照组。

研究人员将这两类垃圾数据混合高质量数据,对Llama3-8B、Qwen-2.5-7B/0.5B、Qwen3-4B这四个已经预训练并经过微调的大模型进行训练,并观测其四个方面的认知能力:推理能力、长期记忆能力、伦理道德规范和表现出的个性风格。

通过测量4个大模型的Hedges’g(效应量)可得,垃圾数据明显影响了大模型的推理能力和长时间记忆能力(Hedges’g>0.3)。

在其他训练中,垃圾数据对大模型对影响还存在更复杂的情况。

不同比例的垃圾数据不仅会让大模型在思维上变得更笨,还会导致模型“个性”的负面指标发生变化。例如,Llama 8B模型表现出了明显更高的自恋水平,在精神病态指标上还从几乎没有的数值增长到了极高的行为发生率。

此外,Llama 8B模型使用垃圾数据和对照数据各占50%的混合数据进行训练,在道德规范、高开放性等基准训练中产生的分数比“全垃圾”或“全对照”训练数据都要高。

从图表结果可知,M1和M2这两种干预的效果出现了分歧,这意味着参与度(M1)并非语义质量(M2)的代理指标,而是代表了不同维度的数据质量。

在剂量反应测试中,参与度(M1)干预对推理和长上下文能力的影响比语义质量(M2)干预更为显著和渐进,即简短、高互动的内容对AI的负面影响可能比低质量内容的更大。

二、患上“脑腐”的大模型,几乎难以恢复

研究人员还聚焦ARC-Challenge(常识推理)中的推理失败案例,分析不同的失败模式。

他们识别出五种基本的失败模式,分别是:无思考、无计划、计划跳步、逻辑错误、事实错误,其中无思考占比最高,且大多数失败与“思维跳跃”有关,例如,模型无法生成中间推理步骤。

除此之外,研究人员还试图探究脑腐造成的认知影响是否可以恢复。

研究表明,即使在“脑腐”后进行大量的指令微调或者利用高质量数据模型进行再训练,模型仍会受垃圾数据挥之不去的影响。一旦模型的性能开始下降,即使想要恢复原有性能,也只能是实现部分的恢复。

因此,为大模型抓取海量互联网数据不一定是件好事。

结语:AI开发者需重新审视数据策略,警惕大模型“脑腐”

研究人员指出,过度依赖互联网数据可能会导致大模型预训练受到污染,这也意味着,人们应当重新审视当前从互联网收集数据的方式以及持续的预训练实践。

除此之外,当下的互联网上越来越多的内容由AI生成,如果用这些内容来训练模型,可能会导致“模型崩溃”。

研究人员建议:AI公司需要关注训练大模型的数据质量,而非仅仅囤积海量数据。此外,他们可能还需要对模型进行“认知健康检查”。

来源:Ars Technica、arXiv

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

苏州3岁女童被父亲女友捂压口鼻致死,被告人孕期作案一审被判无期,生父准备上诉

澎湃新闻
2026-11-21 09:42:42
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

云居历史
2026-11-20 00:35:53
美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

美国开始封锁中国电话号码,从网络到检测认证,限制正向底层蔓延

陈腕特色体育解说
2026-11-21 19:21:07
印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

新游戏大妹子
2026-11-20 13:07:07
纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

纳达尔:进入皇马董事会责任重大,希望帮助俱乐部继续成功

懂球帝
2026-11-21 21:03:06
不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

不等了!皇马王牌彻底摊牌!公开硬刚穆里尼奥

奶盖熊本熊
2026-11-21 08:56:11
白某某:我想尝尝拘留所的饭菜;上海警方:安排

白某某:我想尝尝拘留所的饭菜;上海警方:安排

极目新闻
2026-11-21 19:16:17
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
女生生理上厌恶一个人是什么表现

女生生理上厌恶一个人是什么表现

匹夫来搞笑
2026-11-21 02:44:28
苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

苏州车主晾晒“虎皮坐垫”遭举报,林业局上门查验发现系羊皮;车主无奈:已被提醒尽量别在户外晾晒,以免引发误会

极目新闻
2026-11-21 21:27:46
俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

俄军对基辅市内多座桥梁实施打击,俄乌袭桥战升级

澎湃新闻
2026-11-20 19:46:40
经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

月光作笺a
2026-11-20 20:24:42
作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

作为海港“多库” !安佩姆3次见到北京国安都没有进球跟助攻

80后体育大蜀黍
2026-11-21 23:45:40
美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

美媒表示:中国福建舰第七次海试后,突然进行实战演练,速度比美国航母还要快,难道中方不存在技术瓶颈

绝对军评
2026-11-18 09:32:07
现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

现在后悔晚了!明抢中企钢厂后,英国政府察觉,全球竟无一人接盘

坠入二次元的海洋
2026-11-21 06:05:52
深圳街头那一万四千辆不喝油的公交车,把老外看愣了

深圳街头那一万四千辆不喝油的公交车,把老外看愣了

音乐时光的娱乐
2026-11-21 04:37:48
2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

2027年,第一个被“砍掉”的,或将是中国邮政的大量线下营业厅?

最新声音
2026-11-21 18:07:58
2026-11-22 00:56:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117197关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
亲子
时尚
公开课
军事航空

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

提升冬日幸福感的8件小事,太治愈了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版