写AI教材的大佬说人类要完：让系统更强不是明智之举

你有没有想过，那个教全世界学AI的人，现在最担心的恰恰就是AI本身？

Stuart Russell，这个名字在计算机系课本里躺了二十多年。《Artificial Intelligence: A Modern Approach》——全球AI课程的标配教材，他和Peter Norvig合著的那本，厚度能当防身武器。但这位"AI教父"级别的人物，最近在法庭上的证词，读起来比任何科幻小说都让人后背发凉。

事情要从马斯克和奥特曼的官司说起。这场扯皮的核心是老马觉得自己被Sam Altman骗了——OpenAI从非营利变成营利公司， allegedly 没跟他商量清楚。庭审过程中爆出来一堆邮件和短信，吃瓜群众得以窥见科技圈顶流的焦虑：原来那帮亿万富翁真的在怕Google DeepMind的CEO Demis Hassabis，怕到什么程度？怕他搞出AGI（通用人工智能），然后"控制上帝"。

Russell不是任何一方的员工，被拉来当专家证人，纯粹是帮法官理解AI伦理这摊浑水。他的预审证词是2025年12月2日录的，PDF文件现在公开了。里面有一段关于"灭绝风险"的对话，我建议所有对AI感兴趣的人都去找来看看——不是那种"AI会抢走工作"的俗套担忧，是字面意义上的"人类被消灭"。

律师问他：有没有科学可靠的方法，能给AGI灭绝风险算个百分比？

Russell说："这是个好问题。"然后他开始展开。

他的核心论点是：我们需要有信心，让这个风险降到跟"小行星撞地球"之类的背景风险差不多水平。但那些广为流传的数字呢？MIT经济学家Daron Acemoglu说的25%风险，Russell不知道他从哪算出来的，"大概是他综合了对技术现状、安全研究进展、政府监管可能性等等的理解之后，拍脑袋的最佳猜测"。

更麻烦的是，Hinton、Bengio这些图灵奖得主，还有Dario Amodei、Sundar Pichai、Demis Hassabis这些一线大佬，他们的估计也都在这个区间里。Russell的结论是：人类能接受的合理范围，大概是每年一亿分之一的概率。而这些CEO和专家的说法，没有任何依据能让人相信风险接近这个水平。

翻译一下：业界顶尖人物觉得AI有显著概率毁灭人类，而这个概率比我们能接受的安全标准高出了好几个数量级。

证词里还有一段关于Hassabis的。Russell说，这位Google DeepMind的CEO和他有相似的担忧——那种"竞争动态"，那种停不下来的军备竞赛，可能导致噩梦般的结局。"他们身处一场无法退出的竞赛"，这是Russell转述的Hassabis原意。

想象一下这个画面：做AI的人自己最清楚这东西有多危险，但所有人都在加速跑，因为你不跑别人就会先跑到终点。这不是什么阴谋论，是证词里白纸黑字写着的行业现状。

Russell的措辞很克制，毕竟是法庭证词。但你能感觉到那种无力感。当他说"让系统更强大……似乎不是明智之举"的时候，他不是在反对技术进步，是在指出一个结构性困境：我们还没有解决对齐问题（让AI的目标和人类一致），就已经在拼命提升AI的能力了。

这让我想起游戏里的经典场景——你明知道前面是悬崖，但身后有怪兽在追，只能继续往前跑，祈祷在掉下去之前能找到桥。区别在于，游戏可以读档重来，现实不行。

证词里没提具体的解决方案。Russell的角色是解释风险有多大，不是来开药方的。但那种"我们可能在搞砸一件无法挽回的事"的暗示，贯穿始终。

有趣的是，这场官司本身就像个隐喻。马斯克和Altman为了谁控制OpenAI、怎么控制、赚不赚钱这些问题撕得不可开交，而Russell在旁边冷静地指出：各位，你们争的这些东西，可能都不重要了，如果那个25%的概率成真了的话。

当然，概率就是概率，不是确定性。25%意味着75%的概率没事，或者至少不是"灭绝"级别的事。但问题是，什么样的赌注值得用人类文明去下？俄罗斯轮盘赌的死亡率是16.7%，已经没人愿意玩了。25%比这个高多了。

更细思极恐的是Russell提到的那个"一亿分之一"的标准。这不是他随便说的数字，是参照了其他文明级风险的管理实践——小行星监测、核战争预防等等。人类社会其实有一套粗糙的共识：有些风险太低，不值得过度反应；有些风险太高，必须不惜代价避免。AGI现在卡在中间某个尴尬的位置，高到不能忽视，又还没高到让所有人停下手头的事。

Hassabis的困境特别耐人寻味。作为Google DeepMind的CEO，他某种程度上是这场竞赛的领跑者之一。但Russell的证词显示，这位领跑者私下表达的担忧，和他在公开场合推进的研究方向，可能存在张力。这不是虚伪，是结构性矛盾——你在这个位置上，不做别人也会做，但做下去又知道可能通往哪里。

游戏玩家应该很熟悉这种感觉。很多策略游戏都有"科技胜利"的设定：你拼命攀科技树，最后要么殖民外星，要么触发AI叛乱导致游戏结束。现实没有游戏设计师来平衡数值，没有补丁来修复bug。Russell的证词读起来，就像某个NPC在警告你：这个存档点之后，可能就没有回头路了。

但和NPC对话不一样的是，你可以选择不推进剧情。AI研发没有这种选项，至少目前没有。Russell没有说，但我读出来的潜台词是：我们需要某种集体刹车机制，但市场逻辑和地缘政治让这种机制几乎不可能出现。

证词里提到的那些名字——Hinton、Bengio、Amodei、Pichai、Hassabis——构成了AI领域的核心圈层。他们不是外行，不是反技术主义者，是亲手建造了这些东西的人。当这群人同时表达对灭绝风险的担忧时，假装没听见似乎不太明智。

当然，担忧归担忧，行动是另一回事。Russell的证词没有指责任何人不作为，只是陈述了风险评估的现状。但那种"我们知道有问题，但不知道怎么停下来"的氛围，比任何具体的指控都更让人不安。

回到开头那个问题：写教材的人为什么最担心？可能是因为他比任何人都清楚，我们教给学生的那些技术，正在以多快的速度变成我们控制不了的东西。教科书里的算法是死的，现实世界里的AI是活的——或者说，正在变得有生命特征，而我们还没准备好应对这种转变。

马斯克和Altman的官司还会继续扯皮，邮件还会一封封公开，吃瓜群众还会有新的瓜吃。但Russell的证词像是一个背景音，提醒所有看戏的人：你们关注的这些纷争，可能发生在倒计时已经开始的时候。

他最后那句话，我反复读了几遍。"Making these systems more capable… doesn't seem like a sensible move." 让系统更强大，似乎不是明智之举。这不是技术判断，是价值判断。在能力没有对齐之前，提升能力是危险的。这个道理听起来简单，但整个行业都在做相反的事。

作为一个偶尔写写游戏、偶尔关注AI的普通玩家，我不知道该对此有什么反应。恐慌？好像也没用。无视？证据又太具体。可能唯一能做的，就是像Russell建议的那样，至少把问题问对——不是"AI会不会取代我的工作"，而是"我们有没有科学可靠的方法，给这个风险算个百分比"。

目前看来，答案是没有。而那个写教材的人，对此非常担心。