别把AI当人：一文讲透大模型的运行与边界

Hi，大家好，我叫秋水，当前专注于 AI Agent（智能体）。

今天和大家聊一下AI的底层运行机制，以及我们人类大脑与AI大模型在学习、信息处理、记忆、推理、犯错方式上有什么本质的区别。

首先，我们聊一下学习。

对于我们人类，从生物学角度解释学习，学习依靠的是大脑神经元之间的连接变化。

每次我们学习新知识，大脑里的神经元就会互相“连线”。练习得越多，这些连线就会变得越粗越牢固，当然我们对这个知识掌握的程度就越扎实。

这个大脑不断加深、改变连接的能力，就叫做神经可塑性。

正是因为这种机制，我们才能够快速掌握新知识。

比如说第一次学骑自行车，可能经常摔倒，但经过多次尝试，大脑和身体就能逐渐形成稳定的神经通路，让你骑自行车时可以做到不用刻意思考。

这种学习方式厉害的地方在于效率特别高。有时候我们接触一个新知识，可能就一两次就能记住挺久，还能用在生活当中。

相比之下，大模型的学习，我们一般叫训练，这个逻辑和我们人类就完全不一样。

它靠的是一种叫反向传播的算法，需要在一个超级庞大的数据上跑，这个数据集里面可能包含了你能想到的、所有的互联网上所有的公开数据。

海量训练的时候，大模型就试着去预测，比如一句话里下一个词应该是什么，然后拿到预测的词后，再跟真实的数据文本进行比对。

要是预测错了，算法就算出这个误差，然后反过来一点点调整模型里面那些海量的参数。

目标就是让他下一次预测能更准一点。

所以大模型输出的每一个字，可能需要在实际训练的时候，遇到了成千上万次，才能在不同的句子里比较稳妥地用。

从这里可以看出，给大模型优质的文本进行训练有多么重要。

等大模型训练结束后，我们上面提到的那些海量参数的值也就基本固定下来了，不能随便修改了。

OpenAI 发布的 GPT3.5、GPT5等，都是结束训练后的产出物。

在这一点，大模型的学习过程和我们人类有着本质的区别。

我们可以随时学习，随时提升我们自身的能力，也可以发现以前学的知识有问题，可以及时纠正过来。

在这里插入一个术语“微调”，微调的目的是在已经训练好的大模型基础上，用优质的行业数据或者企业数据进行训练，得到一个更加专业的模型。

简单的来理解，大模型可以看成一个厨师，微调后的厨师是一位精通鲁菜的厨师。

最后我们总结一下，我们人类的学习是动态、持续不断的，学的快，少量递增，而且一辈子都在学，随时调整自己的知识储备。

而大模型呢，是静态学习，得先把所有的数据都学一遍，学的相对慢，而且一旦学完，知识体系基本就那样了。

第二，我们聊一下信息处理。

我们大脑在处理信息的时候是大规模并行的。

什么意思呢，就是我们有几百亿个神经元，通过几万亿个突触连着，它们能同时干好多事。

而且大脑还分区，比如看东西的、听声音的、管语言的，还有情绪管理等，它们之间互相配合得特别好。

例如：当你听到“苹果”这个词，脑子里冒出来的可能不光是这两个字的发音，还有它的颜色、味道、口感，甚至是你上次在哪儿吃的苹果。这是一种基于内容的联想式的处理。

大模型是如何运行进行信息处理的呢？

例如：我问他“今天天气怎么样”，他内部是怎么个流程？

它首先会把你这个问题拆成一个一个基本单位，叫做TOKEN，你可以理解为一个单词、一个词语。

然后呢，这些TOKEN会被转换成一长串数字，叫向量，这是大模型可以理解的。

接着这些向量会经过一个有很多层的复杂网络，这里边有个关键的东西叫注意力机制。

注意力机制，你可以想象成，大模型在预测下一个字的时候，输入的这些内容里哪个更重要，就给它更高的注意力分数。

比如回答“今天天气怎么样”，今天和天气这两个词语可能得分就很高。

然后大模型就倾向于生成跟当前天气有关的词，比如“晴朗”“有雨”之类的。所以大模型本质上是在做一种基于统计模式的序列预测。

所以他并不是像我们人类，真的懂了天气是啥，而是他在海量数据里发现“今天天气”后面经常跟着“晴朗”“下雨”这些词。

我们人类处理的是连贯的、有意义的想法。

大模型处理的是离散的数字。它们特别擅长发现和复制文本里的模式，但是缺乏我们人类基于真实世界的深层次语义理解。

第三，我们聊一下记忆。

说到记忆，我们人类的记忆系统还挺复杂的，记忆有那种特别短的瞬间记忆、瞬间灵感。

还有那种能记住一辈子的长时记忆。并且我们的记忆是联想式的，一个记忆能把另一个带出来。

可能是因为内容相关，也可能是因为当时的情境，甚至是感觉。

比如吃到一碗面，可能就想起小时候妈妈做的面的味道。

我们人类记忆这种丰富性和动态性，目前大模型还差得很远。

大模型的记忆呢，相对来说就简单多了。

一方面，它在训练时学到的所有知识——关于世界的事实、语言规则、写作风格等等，都固化在模型的参数里了，也就是那些权重。

这有点像我们的常识记忆，但它是静态的，基本不会主动改变。

另一方面，大模型有个短期记忆系统，我们叫做上下文窗口。

你可以把它理解成，模型在处理你当前这个请求时，能够看到或者记住的内容有多长。

这包括你输入的提示词、你们之前的对话记录，甚至是你给他看的文件内容。

关键在于，这个窗口的大小是有限的，每个大模型厂商的官方都会具体说明。

比如早期的模型可能只有几千个TOKEN，现在先进点的能到几十万甚至上百万TOKEN呢。

要是我们的对话特别长，超过了这个限制呢？

这就是问题所在了，一旦输入的内容超出了这个窗口的容量，最早进来的那部分信息就会被挤掉。

大模型就会彻底忘了它们。他没法像我们一样，把重要的短期记忆挑出来转存到长期记忆里去。

所以你跟AI聊久了，他可能会忘了你们刚开始聊了啥，即使那部分内容对后面挺重要的。

这也是为啥有时候跟大模型深入聊，会觉得它有点前言不搭后语，或者抓不住重点。

当然目前市场上也有很多长期记忆系统，但是离我们人类大脑的记忆系统还差很多很多。

小结一下，我们的记忆是分好几层，动态变化，靠联想串起来，还能长期保存。

而大模型的记忆，更像是一个大容量的知识库，外加一个容量有限、还特别健忘的临时记事本。

第四，我们聊一下推理。

我们人类进行推理呀，是一个主动有意识的过程。

诺贝尔奖得主丹尼尔·卡尼曼提出人有两种思考模式：系统1和系统2。

系统1是思考快、靠直觉的、凭经验的；

系统2是思考慢、费大脑、依靠逻辑分析。

但是不管是哪种，都是在尝试去理解问题，运用规则或者经验来得到一个结论。

那大模型呢？它是如何做到的呢？

它是通过给它大量的逻辑清楚、步骤分明的文本，比如数学题的解法、科学论文的论证过程、法律条文的解释等等，这是在训练过程做的事。

通过一些特殊的引导方式，比如现在挺流行的思维链提示，可以让模型先生成一步步的思考过程的文字，然后再给出最终答案。

看起来就好像它真的在推理一样，其实不是真的在推理。

大模型并不是真的在理解逻辑规则，然后去执行推理步骤。

它实际上是根据统计概率，生成一个看起来最像推理过程的TOKEN序列。

当他答对一道逻辑题的时候，往往是因为这个答案序列在他读过的数据里出现概率很高，或者符合他学到的某种强大的文本模式。

而不是因为他真的理解了“因为A所以B，现在有A，所以必然有B”这种逻辑本身。

所以，有时候对我们来说挺简单的任务，反而会把 AI 难住。

一个经典例子就是问AI：在strawberry这个单词里有两个个r吗。

所以，在推理方面，人类进行的是有意识的、基于理解的推理，而大模型目前更多的是在生成看起来符合逻辑的文本，它是对推理表面现象的一种高级模仿。

第五，我们聊一下犯错方式。

我们都知道大模型会产生幻觉，就是它会一本正经的胡说八道，编造一些根本不存在的事实或者信息。

在我们人类认知科学里，这种情况可以叫做虚构。

虚构和幻觉还不太一样，虚构指的是一个人在自己都没意识到的情况下，去填补记忆里的空白，或者为自己的行为想法找一些理由。

关键是他不是故意在撒谎。

举个例子，有些因为大脑损伤导致记忆障碍的病人，可能会非常生动、具体地描述一件他根本没经历过的事情，但他自己觉得这就是真实发生过的。

或者在一些心理学实验里，研究者用些小技巧让被试者做出某种选择，然后问他为什么这么选。

他可能会立马给出一个听起来很合理的理由，但这个理由其实是他临时编出来的，并不是他当时做选择的真正原因，但他自己意识不到。

大模型的幻觉，更像是它那个生成模型在概率计算上出了点问题，或者说它没有内置的事实核查机制，导致它创造了信息。

目前大模型公司在研究的可解释AI，就是希望可以在模型内部内置事实核查机制，从而减少幻觉的产生。

我们从学习、信息处理、记忆、推理、犯错方式5个角度来分析了我们人类大脑与大模型之间的区别。

我们人类的优势，在于深度理解、创造力、常识判断，还有跟真实世界互动带来的那种丰富的多感官的体验。

而AI呢，更多的是体现在处理海量信息的速度和广度上，还有那个强大的模式识别能力，以及按照特定要求高效生成内容。

了解这些不同，也能启发你怎么更好地去跟AI合作，把它当成一个超级强大的助手，来提升我们学习、工作和创造的能力，而不是简单地把它看成一个要来替代我们的物种。

今天的文章就到这里结束了，如果你觉得不错，随手点个赞、在看、转发三连吧。

如果想第一时间收到推送，也可以给我个星标⭐。

谢谢你看我的文章，我们，下次再见。

联系/社群

相关视频：