LLM很难变成AGI？科学家：创造AGI理论上可行

今年9月份OpenAI对外宣称，AI能力达到新等级，相比之前的LLM，新AI更接近人类的思考能力。OpenAI的断言引起争论：到底还要等多久机器才能具备人类大脑一样的认知能力？

大家争论的智能就是所谓的AGI，它可以帮助人类解决复杂问题，比如气候变化、大流行、癌症治疗等等。AGI充满不确定，它也会给人类带来风险。

加拿大蒙特利尔大学深度学习研究人员Yoshua Bengio说：“AI可能会被误用，人类可能失去对AI的控制，这些都会导致恶意事件发生。”

过去几年LLM飞速进化，一些人相信AGI已经很接近了，但Yoshua Bengio认为，考虑到LLM的构建和训练方式，LLM单靠自己不能达到AGI，因为缺少一些关键要素。

亚利桑那州立大学计算机科学家Subbarao Kambhampati说：“在我人生的大部分时间里，我觉得谈论AGI的人是疯子。现在呢？几乎每个人都在谈论，你不能说他们都是疯子。”

有关AGI的争论，为什么变了？

2007年AGI开始流行起来，它的定义并不精准，大意是说AI系统具备人一样的推理、泛化能力。回看AI历史，没有一个AI能达到AGI水准，即使是称霸围棋界的AlphaGo，它的“超能力”也只是局限于狭窄领域。

现在呢？LLM已经改变了行业。由于LLM具备多种多样的能力，研究人员认为某种形式的AGI可能很快会出现，甚至已经出现。

LLM就是神经网络，它相当于受到大脑启发的机器学习模型。网络由人工神经元组成（或者叫计算单元），它们排列成层，有着可调节的参数（代表神经元的连接强度）。

在训练时，研究人员用到一种名叫NTP(Next Token Prediction) 的方法，模型被反复输入文本，文本被分成很多小块，这些小块叫token。在一个序列中，最后一个token被隐藏或者掩盖，让模型预测它是什么。模型会将预测结果与原数据对比，然后调整模型参数，让它具备更好的预测能力。

后来又出现了Transformer模型，它更进一步。Transformer可以让模型知道有一些token会对其它token造成更大影响，如此一来，LLM可以像人一样解析语言。

到了这一步，LLM可以生成计算机程序，让程序去解决自然语言中描述的问题，它可以汇总学术论文，可以回答数学问题。

有人认为，只要LLM变得足够大，就会孕育出AGI。CoT（chain-of-thought）提示就是一个例证，它说明LLM可以将一个问题分成更小的步骤，方便解决，也可以让LLM分步解决问题，可惜的是CoT在小模型中表现不太好。

LLM模型的局限性，与大脑的“世界模型”

OpenAI开发的o1模型用到了CoT，能解决更复杂的问题，但它并不是AGI。实验证明，让o1处理规划达到16步的任务时，o1表现不错，但是如果步数达到20-40步，o1的表现会越来越差。

研究人员经常会用抽象推理和泛化来测试AGI能力，比如让AI处理视觉拼图问题。在测试时，AI需要观看实例，总结出抽象规则，然后用规则来解决新的谜题。

不论LLM是大还是小，在测试中表现都不太好，因为它们需要组合学到的知识，用来解决新问题。

那么LLM有可能进化出AGI吗？研究人员认为，虽然现在我们离AGI还很遥远，但是使用Transformer架构的LLM和AI系统已经具备一些AGI的关键特征。

Transformer LLM当然也有一些问题，比如训练模型的数据快耗尽了。当我们训练Transformer LLM时让它预测下一个token，这样做可能太过片面，无法进化出AGI，构建能生成解决方案的模型可能会让我们离AGI更近一些。

神经科学家为AI行业带来自己的看法，他们认为，大脑可以构建“世界模型”，所以才有了智力。所谓“世界模型”就是指周边环境。大脑可以想象不同的行动方案并预测结果，可以规划、推理，人脑还可以模拟不同的场景，将自己在某个领域学到的技能应用于其它新任务。要让AI变成AGI，它需要具备构建“世界模型”的能力。

有些研究者认为，已经有证据显示在LLM出现了基本世界模型。另一些研究则说，AI系统构建的世界模型并不可靠。

当今LLM的大缺点，缺少内部反馈

谷歌DeepMind AGI研发团队成员Dileep George认为，缺少内部反馈是当今LLM的一大缺点。人类大脑有很多的反馈连接，信息可以在神经元层之间快速流动，由于信息可以从感觉系统向大脑更高层流动，所以我们可以创建出映射环境的世界模型。不只如此，信息还会向下流动，引导人进一步获得更深刻的感官信息。

在OpenAI o1模型中，内部CoT提示看起来有效，属于反馈连接，但它无法保证模型可以进行抽象推理。

研究人员为LLM添加外部模型，这种模块叫“verifier”（验证器）。验证器会检查LLM 在特定环境中生成的答案，比如制定可行的旅行计划，比如搜索结果让人不满意，它会重新查询。事实证明，搭配验证器的LLM制定旅行计划时比普通LLM好很多，但问题在于，研究人员必须为每一个任务设计定制验证器，没有通用验证器。

为了适应新情况，AGI需要构建相应验证器，人类不一样，我们可以利用抽象规则确保推理正确，即使处理新任务也可以从容应对，现在的LLM还做不到。

数据问题也是阻止LLM进化的一大障碍。伦敦大学学院理论神经科学家Karl Friston认为，未来的系统也许可以高效确定自己到底需要多少数据才能构建世界模型并正确推理预测，这样就没有必要向模型投喂所有数据。听起来很像是代理、自主体。Karl Friston说：“在LLM或者生成式AI中你看不到类似的代理，如果能开发出一种智能，它能在某种程度上进行选择，那就意味着朝AGI前进了一大步。”

AI系统应该有能力构建高效世界模型，集成反馈循环，尽力降低对外部数据的依赖，通过内部模拟、假定反设事实、推理、规划来生成数据。

用这种方法能否创造出AGI？计算机专家认为在理论上是可能的，没有障碍。新墨西哥州圣达菲研究所计算机科学家Melanie Mitchell说：“人和其它动物达到智能基本上是一个道理，我并不认为生物系统和其它材料构建的系统有什么本质区别，非生物系统达成智能没有什么障碍。”

即使真的有可能创造出AGI，何时达成目标大家也没有定论，有人认为只要几年，有人觉得十年之内不太可能。当AGI出现时可能不会那么明显，AGI会慢慢展示自己的潜能，它会被人类发明出来，然后扩大规模并应用，然后才能真正开始改变世界。（小刀）