网易首页 > 网易号 > 正文 申请入驻

你刷抖音小红书不会变笨,但你的 AI 会

0
分享至

好消息:AI 越来越好用了。

坏消息:越用它越笨。

无论是哪家 AI 厂商,现在都会在「长期记忆」「超长上下文储存」等方面下功夫,这样才能让用户用起来顺手、顺心。不过,最近一项研究发现,AI 未必就能越用越懂你、越用越聪明,还可能往反方向跑偏。

AI 也会认知退化?还不可逆?

研究者们用开源模型(如 LLaMA 等),做了一个小但精巧的实验。他们不是简单地在训练数据里混入一些错别字,而是想要模拟人类那种「无休止地刷着低质量、碎片化内容」的互联网生活,并用「持续预训练」(Continual Pre-training)的方式来模拟模型的长期暴露。

为了实现这个目标,他们从真实的社交媒体平台上筛选了两种「垃圾数据」,一种是「参与度驱动型垃圾」,也就是那些短平快、高人气、点赞和转发爆炸的帖子,类似于我们刷手机时那些只为博眼球的「流量密码」。


另一种是语义质量驱动型垃圾,那些充斥着「震惊」、「细思极恐」、「xxx 不存在了」这种夸张、耸动字眼的内容。他们将这些垃圾语料以不同的比例混合,持续喂食给模型,模拟剂量对「脑腐烂」的影响。

随后,他们让好几个大语言模型持续地、长时间地被投喂这些垃圾,作为训练语料。再用一系列基准测试来衡量 LLM 的「认知功能」,包括推理能力、长文本理解能力、安全性和道德判断,等等。

结果是:全面完蛋。模型的推理能力和长文本理解力出现了断崖式下跌,在处理复杂的逻辑推理任务和长篇幅内容时,表现出明显的退化。


当垃圾数据的比例从 0%提升到 100%时,模型的推理准确率急剧下降。这反映出模型越来越「懒得思考」,也越来越「记不住事」。

到底是什么原因呢?研究者深入分析后,发现了一个主要病灶:Thought-Skipping。

原本,一个优秀的 LLM 在解决复杂问题时,会生成一步步的中间推理过程;但在被「垃圾」腐蚀后,模型开始跳过这些中间步骤,直接给出一个粗糙的、可能是错误的答案。

就像一个原本逻辑缜密的律师,突然变得浮躁、敷衍,不再提供论证过程,而是随口丢出一个结论。

甚至,评估发现,模型在安全和伦理方面的表现也下降了,更容易屈服于负面 prompt,逐渐「黑化」。

这说明,当模型持续接触碎片化、煽动性的低质量文本时,它不仅能力下降,连「三观」也开始向互联网的平均值,甚至是「阴暗面」靠拢。


如果说这项研究里什么最让人倒吸凉气,恐怕就是整个过程的不可逆性。

研究员试图在中途进行补救,重新投喂了大量高品质的数据,还做了指令微调。但即便如此,模型的认知能力也无法完全恢复到最初的基线水平。

也就是说,垃圾数据已经从根本上改变了模型处理信息、构建知识的底层结构,这就像一块海绵被污水泡透了,即便再用清水清洗,也无法回到最初的纯净状态。


横扫「脑腐」,用好 AI

可是话说回来,这毕竟是实验,一个普通用户的「破坏力」应该不至于吧。

的确,没有人会故意给自己的 chatbot 喂垃圾数据,还如此大量高频。不过,这个实验的数据来源,正是社交媒体平台。

识别、抓取和总结社交媒体内容,是大模型产品的常见工作之一。有些人用它来帮忙,省下自己刷社交媒体的时间;有些则是为了更密切地发现信息,以免热点都凉了才看到。

这个实验恰恰反映了,模型在勤勤恳恳抓取内容的时候,自身暴露在了退化的风险当中。而这一切,用户都不会看到。


于是在不知不觉中,AI 被投喂了垃圾,生成了垃圾,你使用了垃圾,垃圾再进入互联网,用于下一轮训练,周而复始,陷入恶性循环。

这项研究最深刻的价值,在于它颠覆了我们对 AI 互动的传统认知:以前我们总觉得 AI 像一个等待填满的容器,输入什么都能消化。但现在看来,它更像一个敏感的孩子,对输入食物的质量非常挑剔。作为日常用户,我们与 AI 的每一次对话,都是在进行一次「微调」。


既然知道「思考跳过」是主要的病灶,那么我们日常使用 AI 时,就必须主动要求它进行「反向操作」。

首先要做的,就是警惕那些「完美的答案」。不管是要求 AI 总结一个长文章,或者写一份复杂的项目方案时,如果它只给出的结果,却没有显示任何逻辑依据和推理过程(尤其是在支持思维链的情况下),就要多留个心眼。

相比于让它反复调整结果,不如问一问它推理过程,「请列出你得出这个结论的全部步骤和分析依据」。强迫 AI 恢复推理链条,不仅能帮你验证结果的可靠性,也是在防止它在这次任务中养成「偷懒」的坏习惯。


另外,对于那些基于社交媒体的工作任务,要格外小心。基本上要把 AI 当个实习生,它能力或许很强,但是不够踏实靠谱,必须得有二次审核——实际上,我们的核查和纠正是极其宝贵的「高质量输入」。不管是指出「这里的数据来源是错的」,还是「你跳过了这个步骤」,都是在对模型进行一次有价值的微调,用高质量的反馈去抵抗互联网中的垃圾信息。

这项研究比较让人摸不着头脑的地方在于:难道要让 AI 少处理混乱的文件吗?这岂不是本末倒置?


确实,如果为了避免 AI 可能出现的脑腐症状,而只让它处理结构化程度更高的数据,那 AI 的价值就少了一半。我们使用 AI,恰恰在于处理那些混乱的、充满重复句和情绪化表达的非结构化数据。

不过还是可以平衡一下,继续让 AI 执行信息整理工作,只不过在 AI 面对低质量输入前,就给 AI 更清晰的指令。

比如,「总结这份聊天记录」,容易让 AI 闷头只出结构。而更细化的「将这份聊天记录进行分类处理,识别对话人物,去除口癖和连接词,再提炼出客观信息」,就在强行促使 AI 先思考一轮,整理出内部行动指南,再展开工作。


用户不是不能用 AI 处理垃圾数据,毕竟这是它最能发挥的地方。只不过,为了降低 AI「脑腐」的风险,要用结构化的指令和高质量的反馈,将 AI 变成一个高效的「垃圾处理和净化器」,而不是让它被垃圾信息同化。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
还差34场,成历史首人!这就是你该拿总冠军和3亿顶薪的原因

还差34场,成历史首人!这就是你该拿总冠军和3亿顶薪的原因

毒舌NBA
2025-11-10 21:02:16
向太向华强次子现身南昌酒吧,大腹便便穿西装,搂胖美女猛灌酒

向太向华强次子现身南昌酒吧,大腹便便穿西装,搂胖美女猛灌酒

好贤观史记
2025-11-10 17:09:39
福建商人苏炳海涉新加坡洗钱案,被英国没收163亿9公寓及恐龙化石

福建商人苏炳海涉新加坡洗钱案,被英国没收163亿9公寓及恐龙化石

环球趣闻分享
2025-11-10 13:00:19
从“刺破手”到去世,仅9天!医生:做这5件事前,务必要戴手套

从“刺破手”到去世,仅9天!医生:做这5件事前,务必要戴手套

DrX说
2025-11-10 14:24:15
第十五届全运会开幕式表演,让台湾省民意代表王定宇,彻底闭嘴!

第十五届全运会开幕式表演,让台湾省民意代表王定宇,彻底闭嘴!

李博世财经
2025-11-10 14:23:02
过年儿子给我500,给他丈母娘3万,我把留给他的房子卖掉他慌了

过年儿子给我500,给他丈母娘3万,我把留给他的房子卖掉他慌了

今天说故事
2025-06-25 19:41:46
率重庆冲超!66岁韩国名帅庆典磕头跪谢球员,名记质疑:大可不必

率重庆冲超!66岁韩国名帅庆典磕头跪谢球员,名记质疑:大可不必

我爱英超
2025-11-10 21:20:54
心梗去世的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守7原则

心梗去世的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守7原则

王二哥老搞笑
2025-11-09 00:18:07
全运首日谁是赢家?两项纪录被破,江苏豪取8金 16支队伍斩获金牌

全运首日谁是赢家?两项纪录被破,江苏豪取8金 16支队伍斩获金牌

篮球圈里的那些事
2025-11-10 21:40:16
孩子独自写作业监控曝光:全国一半妈妈发现,看到了自己家的娃的影子……

孩子独自写作业监控曝光:全国一半妈妈发现,看到了自己家的娃的影子……

品读时刻
2025-11-08 09:09:09
知名小火锅北京门店全关,曾被评为“北京神店”!前高管称收到催债电话

知名小火锅北京门店全关,曾被评为“北京神店”!前高管称收到催债电话

北京商报
2025-11-10 21:31:03
全世界最大的笑话就是中国人学英语。

全世界最大的笑话就是中国人学英语。

玉辞心
2025-10-22 07:09:40
再见,利物浦!主帅最快3天内被解雇!1.1亿镑“爆点”攻击手来投

再见,利物浦!主帅最快3天内被解雇!1.1亿镑“爆点”攻击手来投

头狼追球
2025-11-10 10:26:35
湖南省人医17分视频风波,女方肤白貌美、男方儒雅绅士,均被停职

湖南省人医17分视频风波,女方肤白貌美、男方儒雅绅士,均被停职

鋭娱之乐
2025-11-07 08:39:22
女子与男友睡公园,衣衫不整成焦点,网友直呼辣眼睛。

女子与男友睡公园,衣衫不整成焦点,网友直呼辣眼睛。

夜深爱杂谈
2025-11-09 21:29:16
日方紧急找补:涉台立场没变

日方紧急找补:涉台立场没变

观察者网
2025-11-10 16:09:03
敢为人先!上海鼓励事业单位人员创业,全职兼职都行,亏钱可回岗

敢为人先!上海鼓励事业单位人员创业,全职兼职都行,亏钱可回岗

火山诗话
2025-11-09 10:01:43
中超奇迹在招手?广州豹冲超失败却现惊天转机!

中超奇迹在招手?广州豹冲超失败却现惊天转机!

中山印象体育摄影师
2025-11-10 16:17:29
唐朝古籍里发现月亮的离奇记载:表面凹凸不平,有8万名专人维修

唐朝古籍里发现月亮的离奇记载:表面凹凸不平,有8万名专人维修

丞丞故事汇
2025-11-09 12:50:18
央视透露003型二号舰也在量产,一信号让西方胆寒

央视透露003型二号舰也在量产,一信号让西方胆寒

世家宝
2025-11-10 15:12:13
2025-11-11 00:03:00
爱范儿 incentive-icons
爱范儿
消费科技第一媒体
38005文章数 2600139关注度
往期回顾 全部

科技要闻

荷兰“玩脱”后,大众本田终于拿到芯片了

头条要闻

25岁东北女孩参加海岛求生赛35天瘦28斤:吃了50只老鼠

头条要闻

25岁东北女孩参加海岛求生赛35天瘦28斤:吃了50只老鼠

体育要闻

重返诺坎普!梅西:希望有一天能回来

娱乐要闻

51岁周迅的现状 给中年女性提了个醒?

财经要闻

北大医药董事长被抓 巨额资金去向不明

汽车要闻

智能又务实 奇瑞瑞虎9X不只有性价比

态度原创

艺术
时尚
教育
亲子
军事航空

艺术要闻

“隶书之冠”刘炳森:楷书艺术之美惊艳四座

女人过了40岁穿衣别老气横秋,看看这些日系穿搭,得体又显瘦

教育要闻

四川志愿填报第八讲,历史组将迎来史诗级的大机会!

亲子要闻

过度操心未必是真的关心你,可能是为了满足自己的控制欲。(生命时报)

军事要闻

美媒承认:乌重镇即将被攻克

无障碍浏览 进入关怀版