最近几次打车,我注意到,滴滴师傅开到红绿灯,车一停,手就摸手机。
几十秒时间,要不看直播,要不刷抖音,要不看抓马短剧。堵车的时候更明显,前车尾灯一亮,手机也亮了。
我自己开车时,特意观察旁边的人。差不多,只要车停下来,司机们都是低着头看手机。
然后我发现,我也一样。几十秒红灯,有时会下意识把手机拿起来,看看微信有没有消息。没消息,就顺手刷两下别的。经常视频刚看个开头,绿灯亮了,再把手机扔回去。
当然我不是要表达啥手机成瘾,或者注意力被短视频搞坏了。最近AI用得越来越多以后,我突然换了一个角度。
人的脑子,其实也可以理解成一个碳基大模型。
都在说AI,但很多人未必知道一些基础概念。所谓AI大模型可以理解成一个刚出厂的脑子。先搭建了神经元,这叫底模。然后拿大量数据,书文章去喂它,让它慢慢学会语言和知识,这叫预训练。
学完以后,它虽然知道很多,但不一定会好好回答问题,所以还得继续拿真实问答去教它,答得好就强化,答得差就纠正,这叫后训练。
还有所谓的调参数,就是每学一次,它脑子里的判断方式都会微微变一点。变的次数足够多,最后就变成了我们现在看到的大模型。
人出生的时候,就已经带着一个底模。这个底模还挺牛逼,几十万年的进化提前训练好了很多东西。怕死,会察言观色,会模仿和学语言,这些都不用上课,算是出厂参数。
然后人开始预训练。
学校干的事情,本质上就是往模型里灌大量训练数据。语文数学历史地理,很多东西当时也不知道有什么用,先塞进去再说。
然后大部分离开学校之后,集中的预训练差不多就停了,后面主要靠生活继续调参数。挨社会几顿毒打,开始懂人情世故。被人坑几次,对世界的理解也会升级。带过孩子,又会重新理解父母。
所以一个四十岁的人和一个二十岁的人,真正的差距,是他的模型被现实后训练了很多轮。
按理说,一个人越活,模型应该越强,但现在出了一个很诡异的问题。我们可能是人类历史上摄入信息最多的一代,但模型未必因此变得更好。
因为训练模型有个很基本的前提,数据质量得高。垃圾数据喂得再多,也训不出好模型。
想一下我们每天摄入的语料,睁眼先看群,上班路上刷几个热点,中午知道一个明星离婚了,下午看到哪里又出了奇葩新闻,晚上再刷一堆短视频。一天结束以后,确实知道了很多东西,但大部分连不起来。
今天一个热点,明天一个抓马,后天一个情绪。脑子里塞得满满当当,真正碰到一个复杂问题,模型反而卡住了。
这很像训练数据污染。
表面上每天刷了一千条新东西,底层可能还是那几种模板。男人坏女人坏,老板坏有钱人坏。年轻人躺平,中年人崩溃。今天这个明星塌房,明天那个网红翻车。
看起来五花八门,实际上高度重复。
信息爆炸最大的幻觉,就是让人以为自己的世界越来越宽。很多时候恰恰相反,你接触的信息越来越多,训练集却越来越窄。
因为还有推荐算法。
爱看啥它持续给啥,相信啥,它不断找证据证明你是对的。久了以后,你的模型开始过拟合。更麻烦的是,今天这些平台给的还不只是训练数据,它还在训练你的奖励模型。
划一下,马上一个新刺激,再划一下,又一个。长时间这么训,模型开始越来越吃不了长上下文,变成了只会做“直觉预测下一个Token”的低阶模型,丧失了深度的多步推理能力。
以前能安安静静看一本书一个小时,现在十分钟就想摸手机。以前看两个小时电影很正常,现在觉得像干了一件正经事。
参数都变了。
还有人也每天都在被环境后训练。
在一个公司里待十年,如果甩锅的人总能升职,认真干活的人总吃亏,你的模型会学到东西。你每次在网上说一句极端的话,立刻有人点赞,你的模型也会学到东西。一个孩子每次哭闹都能得到糖,他很快就知道,哭闹是有效策略。
人长期活在什么反馈系统里,可能比他读过什么书,更决定他最后变成什么样的人。这么想以后,我觉得“终身学习”这个词都说轻了。
一个成年人真正的问题,是不能停止预训练。
当一个人离开学校后,模型版本就差不多冻结了。世界还在疯狂更新,他拿着十几年前训练出来的模型继续解释今天。所以年纪越大,越觉得新东西奇怪。
所以持续读书也不只是为了“多知道一点”,是不断给自己的模型补新的训练数据,尤其是那些原来训练集里没有的东西。
所以现在再回头看那个红绿灯,我想的东西已经跟以前不一样了。
人类历史上第一次,有一个工业级的信息系统,一天几百次甚至上千次地往几十亿人的脑子里投放训练数据。它知道你喜欢什么,知道什么东西能让你停下来,也知道什么东西能让你愤怒,然后根据你的每一次反应继续调整下一轮投喂。
而且它训练你的频率,可能比谁都高。
所以AI时代,大家除了研究怎么训练大模型,也该顺手研究一下怎么训练自己。
每天看什么,相信什么,跟什么人待在一起,被什么东西奖励,长期重复什么,最后都会一点点写进参数里。
所谓的“我”,很大程度上就是这些训练留下来的权重。
我们总觉得自己有稳定的性格,有独立的判断,有一个很确定的“我”。但如果一个人的兴趣可以被喂出来,情绪可以被强化,连耐心和欲望都能慢慢改参数,那所谓的“我”,到底有多少是自己选出来的?
这个问题我现在也没有答案,我只觉得,以后再说“做自己”这三个字,这个自己,到底是谁训练出来的?
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.