网易首页 > 网易号 > 正文 申请入驻

垃圾数据侵蚀AI大脑!大模型新研究:Llama推理能力大降,自恋水平翻倍

0
分享至

智东西
编译 王欣逸
编辑 程茜

智东西10月27日消息,10月15日,德国农工大学、德克萨斯大学奥斯汀分校和普渡大学的研究团队在arXiv上发表了一篇论文,提出并测试了“LLM脑腐假说”(LLM Brain Rot Hypothesis)。研究显示,经垃圾数据训练后,Llama 8B模型的推理能力下降了23.6%,自恋和精神病态的水平上升了两倍多。

“脑腐”(brain rot)指人们长时间暴露于碎片化信息下可能导致脑功能损伤。研究人员提出,和人类“脑腐”现象相对应,大模型接触大量垃圾网络文本可能会出现“大脑退化”、认知能力持续下降的现象。

论文地址:https://llm-brain-rot.github.io

一、海量垃圾数据,让大模型们认知退化

在研究过程中,研究人员在社交平台X的语料库上进行了受控实验,从1亿条的帖子中确定了两种类型的垃圾数据,并采用两个正交操作化方法构建了垃圾数据集M1、M2和反向对照数据集。

M1:参与度——衡量帖子的受欢迎程度和简短程度。点赞、转发和评论量高的内容,特别是浅薄且吸引人的内容,这些被标记为垃圾数据。同时,篇幅更长、传播性不强的帖子则成为对照组。

M2:语义质量——评估文本的耸人听闻程度和肤浅程度。带引诱性质的语言(如“哇”、“看”、“仅限今天”)或夸大其词的帖子被标记为垃圾数据。同时,基于事实、有教育性或说理性的帖子被选择作为对照组。

研究人员将这两类垃圾数据混合高质量数据,对Llama3-8B、Qwen-2.5-7B/0.5B、Qwen3-4B这四个已经预训练并经过微调的大模型进行训练,并观测其四个方面的认知能力:推理能力、长期记忆能力、伦理道德规范和表现出的个性风格。

通过测量4个大模型的Hedges’g(效应量)可得,垃圾数据明显影响了大模型的推理能力和长时间记忆能力(Hedges’g>0.3)。

在其他训练中,垃圾数据对大模型对影响还存在更复杂的情况。

不同比例的垃圾数据不仅会让大模型在思维上变得更笨,还会导致模型“个性”的负面指标发生变化。例如,Llama 8B模型表现出了明显更高的自恋水平,在精神病态指标上还从几乎没有的数值增长到了极高的行为发生率。

此外,Llama 8B模型使用垃圾数据和对照数据各占50%的混合数据进行训练,在道德规范、高开放性等基准训练中产生的分数比“全垃圾”或“全对照”训练数据都要高。

从图表结果可知,M1和M2这两种干预的效果出现了分歧,这意味着参与度(M1)并非语义质量(M2)的代理指标,而是代表了不同维度的数据质量。

在剂量反应测试中,参与度(M1)干预对推理和长上下文能力的影响比语义质量(M2)干预更为显著和渐进,即简短、高互动的内容对AI的负面影响可能比低质量内容的更大。

二、患上“脑腐”的大模型,几乎难以恢复

研究人员还聚焦ARC-Challenge(常识推理)中的推理失败案例,分析不同的失败模式。

他们识别出五种基本的失败模式,分别是:无思考、无计划、计划跳步、逻辑错误、事实错误,其中无思考占比最高,且大多数失败与“思维跳跃”有关,例如,模型无法生成中间推理步骤。

除此之外,研究人员还试图探究脑腐造成的认知影响是否可以恢复。

研究表明,即使在“脑腐”后进行大量的指令微调或者利用高质量数据模型进行再训练,模型仍会受垃圾数据挥之不去的影响。一旦模型的性能开始下降,即使想要恢复原有性能,也只能是实现部分的恢复。

因此,为大模型抓取海量互联网数据不一定是件好事。

结语:AI开发者需重新审视数据策略,警惕大模型“脑腐”

研究人员指出,过度依赖互联网数据可能会导致大模型预训练受到污染,这也意味着,人们应当重新审视当前从互联网收集数据的方式以及持续的预训练实践。

除此之外,当下的互联网上越来越多的内容由AI生成,如果用这些内容来训练模型,可能会导致“模型崩溃”。

研究人员建议:AI公司需要关注训练大模型的数据质量,而非仅仅囤积海量数据。此外,他们可能还需要对模型进行“认知健康检查”。

来源:Ars Technica、arXiv

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
他们连李子柒都开始污名了

他们连李子柒都开始污名了

人格志
2026-11-21 23:58:10
随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

随着科莫2-0,拉齐奥3-0,意甲最新积分榜出炉

侧身凌空斩
2026-11-21 23:59:32
今夜,AI科技还在暴跌

今夜,AI科技还在暴跌

中国基金报
2026-11-21 01:24:04
王晶曾坦白陈百强自杀原因,真相瞠目结舌,原来我们都被骗了

王晶曾坦白陈百强自杀原因,真相瞠目结舌,原来我们都被骗了

琴琴有氧运动
2026-11-21 23:44:35
高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

高市早苗在APEC会议期间就有关台湾问题表态,钧正平:若日方如表态所言恪守《中日联合声明》,就该拿出实实在在的诚意,公开收回错误言论

都市快报橙柿互动
2026-11-21 09:26:12
大爆冷!广东轰然出局!单节崩盘仅8分,全队就1人能打,真没人了

大爆冷!广东轰然出局!单节崩盘仅8分,全队就1人能打,真没人了

吴蛛旅行ing
2026-11-21 22:45:21
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
就在今天,东契奇带队联盟第一,又达成80年NBA历史第一纪录

就在今天,东契奇带队联盟第一,又达成80年NBA历史第一纪录

大西体育
2026-11-21 14:50:22
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-21 12:48:52
上海无缘CBA杯16强创最大冷门!拉塞尔三战45投16中硬解能力拉胯

上海无缘CBA杯16强创最大冷门!拉塞尔三战45投16中硬解能力拉胯

狼叔评论
2026-11-21 23:36:07
皇马VS塞尔塔:法国双星坐镇中场,贝林+居莱尔领衔,姆皇冲锋

皇马VS塞尔塔:法国双星坐镇中场,贝林+居莱尔领衔,姆皇冲锋

零度眼看球
2026-11-21 07:07:04
曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

曾作为赖昌星送出“礼物”并为海关关长生子的她,案发后赴美隐姓埋名,如今59岁、其29岁儿子却连婚都不敢结,这背后留下怎样的追问?

人生录
2026-11-19 08:08:31
CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

体坛瞎白话
2026-11-21 11:08:02
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
牛市的启动和终结

牛市的启动和终结

谭谈投研
2026-11-21 23:30:48
终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

混沌录
2026-11-20 10:25:16
2019年张扣扣被执行死刑当天,记者采访王家仅剩的二儿子王富军,他说出心里话,让在场所有人瞬间沉默!

2019年张扣扣被执行死刑当天,记者采访王家仅剩的二儿子王富军,他说出心里话,让在场所有人瞬间沉默!

磊子讲史
2026-11-21 19:13:40
河北三兄弟,200块起家,干成了全球第一

河北三兄弟,200块起家,干成了全球第一

蒋东文
2026-11-20 22:15:05
这种茶已被列为2A类致癌物,喝茶的人注意了

这种茶已被列为2A类致癌物,喝茶的人注意了

乔志峰
2026-11-19 14:57:43
2026-11-22 00:32:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
健康
艺术
手机
本地

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版