大模型的涌现能力，真的只是黄粱一梦？

涌现，这个当前用于区分AI大模型和非大模型能力的标准之一。它似乎在告诉我们，人类通往AGI，即通用人工智能时代的隧道已经设计完成，仅需静待有限的施工建设时间，人类便可踏入人机共存时代。

那究竟什么是涌现？涌现现象的经典含义是指，在一个复杂系统中，组成该系统基本元素之间相互作用，产生了全新的、宏观的性质或行为。这个定义非常抽象，我们举个例子来理解。单只蚂蚁在自然环境中行动，它只会寻找食物和避开危险，但是当大量蚂蚁一起行动时，它们能够建造出非常复杂的蚁穴。这些蚁穴甚至有特定的通风和温度控制系统，但每只蚂蚁并不知道整个蚁穴的设计，他们没有预先规划好的图纸，却能完成这样的大型工程，这就是典型的涌现现象。

人工智能模型中，涌现现象也并非刚刚出现。如今最先进的人工智能模型被称为神经网络，因为它和人脑非常像，都是海量神经元相互连接而成。

无论神经网络还是人脑，它们内部的神经元大多都非常相似，甚至于一模一样。但是，哪怕一样的神经元，一旦处在不同的位置，就会自动承担不同的功能，发挥不同的作用。

所以，神经网络中简单神经元的大量重复，就可以实现如今AI各种各样的复杂的应用，这就是一个典型的涌现现象。

虽然我们早就在神经网络中理解到了涌现现象，但随着超大规模AI模型GPT4的问世，我们所有人还是迎来了当头一棒，就像是看见了传统物理学的两朵乌云散开一样。GPT4中智能的涌现开始显现出一种颠覆所有规则的理解难度，这种涌现远远超过了从局部到整体能力转化这个意义，而是表现为各方面综合能力的爆发式增长。虽然涌现现象的本质早就被诺别尔物理学奖得主、凝聚态物理泰斗P.W. Anderson精辟地总结为"More Is Different"，但GPT4给我们带来的震撼过于庞大，以至于我们在大模型中，对涌现现象的具体定义修改为：在小模型中没有的能力，却在大模型中突然出现的现象。

这个定义中所谓的“小模型”，已经是大模型出现前人类世界AI发展的皇冠，代表了有史以来最先进的硅基智能能力。

注意我们刚刚所说的”突然出现“，这意味着涌现现象的第二层含义：我们无法确定涌现的发生点！我们可以很明确地观测到，一旦模型大小超过某一个阈值，模型就像修炼突破了一样，展现出前所未有的能力。但同时，这个阈值却无法预测！我们无法确定模型什么时候能完成下一境界的突破。

这个特性也给大模型蒙上了一层神秘的面纱，并且给了我们无限的遐想空间。是否大模型有朝一日可以突然突破，一步跃进成为AGI。所以尽管GPT4仍有许多缺陷，比如技术报告中提到的不完全可靠(胡编乱造，也被称为幻觉hallucinations)、有文本长度限制以及不能从经验里学习，但许多人开始相信，GPT4中的涌现现象已经为通往AGI指明了确切的道路。微软的研究报告中甚至认为，GPT4已经可以被视为AGI的早期版本。

同时许多人也开始担心AI安全问题，比如大模型突然获得不受控的意识和想法，这在AI自我进化之路开启之后是非常有可能的。那随着我们不断地利用大模型来解决问题，将他们部署到世界各处，就像是在全世界都埋上了不定时炸弹一样。所以，当前已有两万七千多人在暂停巨型AI实验的公开信上签字，其中不乏马斯克、Bengio等著名大佬，公开信中对当前AI的安全性发出了一连串的质问。

不管是对AI的美好畅想还是合理担忧，就在大多数人都沉浸于想象未来时，一篇论文企图将大家从乌托邦拉回现实：大模型中的涌现现象或许并不存在！

斯坦福的研究小组认为，当前大模型任务的评价标准本身就是非线性的，由此才会导致所谓的涌现现象！

比如在Google提出的大模型评测基准BIG-Bench (Beyond the Imitation Game)中，超过92%的评测标准都包含下面两条定义之一，第一条意味着我们对选项进行概率输出，如果最大概率的选项就是正确选项，则记1分，否则其余情况都记0分。第二条和第一条类似，我们对比模型输出的一句话，如果和目标完全符合，才记1分，否则也都记0分。

为了帮助大家直观理解，我这里举一个例子。想象一下一个水滴和一场洪水。一滴水在地上几乎没有影响，但是当这些水滴汇聚成洪水时，它们可以冲毁房屋，破坏土地，甚至威胁到人的生命。如果我们以检测洪水为最终目的，显然就是非线性的评测标准。

为了验证猜想，研究小组将评测标准进行了拆解细化，也就是水量大一点就加一点分数，而不是洪水泛滥才记1分，此时模型的能力和所需运算力呈现出了近乎线性的正相关关系！

这无疑打破了许多人对于涌现能力的设想，期望着涌现能力能够带给我们意料之外的智能，似乎也成为了天方夜谭。但当我们回头评估这篇论文的实际意义时，可以自然地提出一个问题：人类对于智能的定义也是非线性的吗？

显然是的！首先，智能的定义本身就不是一个客观概念，现有的概念往往都是针对某一特殊领域的研究得到。

智能的定义：

其次，在现代研究中，我们发现动物的社会智能与人类的相似，例如猴子会进行欺骗，海豚会照顾受伤的群体成员（展示出同情心），甚至鱼也表现出微妙的社交技能。这些研究促使我们重新考虑智能的定义，并扩大我们对智能的理解。

综上所述，我们目前对于大模型涌现能力的认知，确实可能有一定的偏差，这个偏差会随着科学的探索不断纠正。但是，一个概念的定义，会影响人类对于AI的发展道路吗？我想是不会的。大模型的涌现能力不管如何去定义，都不会改变大模型本身的能力，也不会减缓我们将大模型应用落地的步伐。工程应用往往都有一个非常显著的特点，叫模块化与解耦合。

上层从不会去在意下层是怎么实现的，不管下层变得是什么戏法，上层都是将下层视为功能模块，而工程师的工作，就是不断地去组合这些功能模块，去逼近这些功能模块的极限能力，想尽办法利用现有的技术，解决现实中的问题。

如今大模型对理解、应用我们的世界规则有了质的提升，那相对应，随之而来的应用升级也一定会有质的飞跃！

或许，我们离想象中的AGI还有一定的距离，我们赋予了AGI太多的拟人化形象。

然而，想象一下，当我们站在AI的巨人肩膀上，让它协助我们的日常工作生活，让它赋予我们解决困难挑战的力量。再或者说，当它开始预见我们的需求，当它的存在变得像空气一样普遍。那么所谓的AGI，不过也就演变成一个概念的定义罢了。