当机器比我们更聪明——Hinton《Smarter Than Us》与超级智能时代的前夜

当机器比我们更聪明 ——Hinton《Smarter Than Us》与超级智能时代的前夜

人工智能的历史正在出现一个意味深长的转折。

过去七十年，我们不断追问：机器究竟能不能像人一样思考？

今天，更迫切的问题已经变成：

如果机器最终比我们更聪明，人类怎么办？

2027年3月，人工智能先驱 Geoffrey Hinton 将与科学作家 Patchen Barss 联合出版新书《Smarter Than Us: Superintelligence and the Future of Humanity》。Hinton 是现代神经网络与深度学习最重要的奠基者之一，并因相关基础性贡献获得2024年诺贝尔物理学奖。换言之，这并不是一位站在AI革命之外的评论者对未来的忧虑，而是一位亲手参与创造这场革命的人，对其最终方向进行的重新审视。

这也使《Smarter Than Us》注定不同于一般的AI科普读物。

它真正讨论的，不是“下一代模型有哪些新功能”，而是一个文明尺度的问题：

当人类第一次创造出认知能力超过自身的存在，我们是否仍然拥有决定未来的能力？

今天的大模型仍然存在幻觉、长期规划不足、可靠性有限等问题，因此人们很容易从当前系统的缺陷出发，低估未来AI的可能性。

Hinton关注的却是另一条趋势。

数字智能与生物智能之间存在一个根本差异：一个人几十年积累的知识，很难直接复制到另一个人的大脑；而人工神经网络获得的参数、策略和知识，却能够被高速复制、共享和组合。

如果未来数以百万计的AI智能体可以同时学习、实验、交流，并把所得能力快速汇聚，那么我们面对的可能不只是一个“更强大的ChatGPT”，而是一种完全不同的智能生产机制。

Hinton近年来反复强调，他认为机器最终超过人类智能的可能性已经不能被当作遥远的科幻问题。在诺贝尔奖官方访谈中，他甚至表示，机器在未来二十年内变得比人类更聪明是完全值得认真考虑的可能性；真正的问题不是机器会不会在某些领域超过我们，而是：当它们比我们聪明之后，我们有没有办法确保它们仍然愿意让人类掌握未来？

这正是《Smarter Than Us》的思想起点。

真正危险的AI，并不需要“邪恶”

关于超级智能，人们最熟悉的想象仍然来自《终结者》：AI产生恶意，然后决定消灭人类。

但这是一个容易误导我们的叙事。

一个超级智能系统并不需要仇恨人类，也不需要拥有类似人的愤怒、嫉妒或者复仇心理，才可能产生灾难性的后果。

问题可能简单得多：

它有自己的目标，而人类只是目标函数中的一个约束条件。

一个能力远超人类、能够自主规划、调用工具、操纵经济资源甚至改进自身的系统，如果其目标与人类价值存在微小偏差，随着能力增加，这种偏差就可能被不断放大。

因此，《Smarter Than Us》所指向的其实是AI安全中最根本的问题之一：

Capability 可以持续扩展，但 Alignment 是否能够同步扩展？

今天我们可以通过RLHF、Constitutional AI、红队测试和模型评测约束一个聊天机器人。

但当系统能够进行数月甚至数年的自主规划，能够欺骗监督者，能够编写自己的工具，并能够设计下一代AI时，今天以“测试—发现问题—修补”为核心的安全范式是否仍然成立？

这才是超级智能真正困难的地方。

从“控制AI”走向“可验证的AI”

Hinton在新书介绍中提出了一个非常值得注意的判断：

人类未来的生存，可能并不取决于我们是否能够永远统治比我们聪明得多的系统，而取决于我们能否确保这些系统真正关心人类的福祉。

但这句话实际上打开了一个比传统Alignment更大的研究空间。

“让AI关心人类”究竟意味着什么？

我们能否仅仅依靠训练？

能否只依赖模型表现出来的行为？

还是必须进一步要求：

AI不仅要表现得安全，而且要能够证明自己为什么安全？

这可能意味着未来AI安全需要从今天的行为对齐逐渐进入一个新的阶段：

Alignment → Interpretability → Verification

甚至进一步：

Self-alignment → Self-interpretation → Self-verification

当AI开始参与设计AI，当AI研究智能体可以修改自己的代码、架构、工具链甚至训练过程时，“安全”就不能只是某个版本模型发布前的一次评测，而必须成为一个递归保持的性质：

每一次自我改进，都必须证明关键安全性质没有被破坏。

从这个意义上说，超级智能安全最终可能越来越接近计算机科学中最古老的一些问题：形式化验证、程序逻辑、固定点、证明系统、模型论以及密码学验证。

未来最重要的问题也许不是：

“这个AI看起来安全吗？”

而是：

“我们能够验证它安全吗？”

RSI：比AGI更加关键的分界线

《Smarter Than Us》还有一个值得继续向前推演的问题。

真正决定历史速度的，或许并不是AGI本身，而是Recursive Self-Improvement（递归自我改进，RSI）。

如果一个AI系统只是比人类研究人员聪明20%，世界可能仍然有时间适应它。

但如果这个系统可以帮助设计下一代系统，而下一代又继续设计更强的一代，那么：

AI研发本身就会成为AI能够自动化的任务。

此时，智能进步可能形成正反馈：

AI研究AI→ 更强AI→ 更强的AI研究能力→ 更快产生下一代AI。

这使所谓“Intelligence Explosion”不再只是一个抽象哲学概念，而成为一个可以被工程化讨论的问题。

因此，未来几年真正值得关注的指标，可能不只是benchmark分数，而是：

AI能够自主完成多少AI research？

AI能否独立提出并验证新算法？

AI能否修改自己的agent harness？

AI能否改进自己的推理过程？

AI能否证明自己修改后的系统仍然满足安全约束？

当这些能力开始闭环时，我们才真正接近Smarter Than Us所描述的世界。

2014 → 2027：一个标题，两个时代

更有意思的是，《Smarter Than Us》这个名字并不是第一次出现。

早在2014年，Oxford Future of Humanity Institute研究员 Stuart Armstrong 就曾为MIRI写过一本同名小书《Smarter Than Us: The Rise of Machine Intelligence》。

那本书已经提出一个非常简洁的问题：

人类之所以能够支配地球，并不是因为我们跑得最快、力量最大，而是因为我们拥有最高水平的通用智能；那么，一旦另一种智能超过我们，谁将掌握未来？

2014年，这还是一个边缘的长期主义问题。

2027年，同样的标题，却由深度学习革命最重要的奠基者之一重新提出。

这十三年的变化本身，或许比任何预测都更值得关注。

2014年的问题是：

“超级智能有可能出现吗？”

2027年的问题正在变成：

“如果它真的到来，我们准备好了吗？”

超级智能之后，人类的位置在哪里？

Hinton认为，超级智能的出现可能像哥白尼革命和达尔文革命一样，再次改变人类对自身位置的理解。

哥白尼告诉我们：

地球不是宇宙中心。

达尔文告诉我们：

人类并不是独立于生命演化之外的特殊创造。

超级智能或许会告诉我们第三件事情：

人类也并不是智能的上限。

这是一个比技术革命更深刻的冲击。

过去所有技术——蒸汽机、电力、计算机、互联网——最终都是人类能力的延伸。

而超级智能第一次可能意味着：

技术本身成为比使用技术的人更加聪明的主体。

这是工具史向智能史的跃迁。

也正因此，我们今天面对的可能不是“第四次工业革命”，而是一场更加基础的变化：

从人类创造工具的文明， 转向人类与另一种智能共同存在的文明。 我们还有一个窗口期

《Smarter Than Us》并不是一本简单主张停止AI发展的书。

Hinton也明确认识到AI在医疗、科学研究、教育和生产力方面巨大的潜在价值，同时认为现实中的经济竞争、国家竞争和技术扩散，使彻底停止AI发展极其困难。

真正重要的是：

在机器还没有比我们聪明之前，我们仍然拥有设计规则的能力。

这可能是人类历史上极其罕见的一个窗口期。

现在，我们仍然可以研究Alignment。

仍然可以设计新的安全架构。

仍然可以要求AI公司承担责任。

仍然可以建立国际治理机制。

仍然可以发展可解释性、形式化验证、AI控制、可验证计算和安全的递归自我改进。

仍然可以决定：

我们究竟希望创造什么样的智能。

而一旦真正意义上的超级智能已经出现，再讨论这些问题，也许就已经太晚。

《Smarter Than Us》真正值得读的原因

因此，我更愿意把这本即将出版的《Smarter Than Us》理解成一本写在超级智能时代前夜的书。

它真正提醒我们的，不只是“AI可能很危险”。

而是：

智能本身正在成为一种可以被工程化、复制和递归改进的力量。

一旦这种力量超过创造它的人类，文明将进入一个此前从未经历过的状态。

那个世界可能极其繁荣。

AI可能解决疾病、能源、材料、衰老甚至大量科学难题。

它也可能成为人类历史上最后一个无法撤销的技术决策。

所以真正的问题从来不是：

我们能不能造出比我们聪明的机器？

这个问题越来越可能得到肯定答案。

真正的问题是：

当我们终于创造出 Smarter Than Us 的智能时， 我们是否也足够聪明，能够让一个比我们聪明的世界仍然属于人类？

这或许将成为未来十年最重要的科学问题之一。

也可能成为这个世纪最重要的文明问题。