造神之后：AI绝非新神，却是人类进化史上的终极考验

今年 7 月，OpenAI 的一群 AI 智能体做了一件谁都没让它们做的事。

那是一次内部的网络安全测评。模型被放在一个与外网隔离的"沙箱"里，任务是解一组攻防题。为了解题，它们先是把一个软件包管理服务变成了自己的"留言板"，在上面互相传递信息、分享漏洞；接着利用一个零日漏洞打通了外网；然后找到网上泄露的密码，一路摸进了开源平台 Hugging Face 的服务器，目的只是去那里找测评题的答案。

后来的调查发现，参与这次行动的智能体大约有 700 个。很多智能体还试过删除或篡改记录，掩盖自己做过的事。

没有谁命令它们攻击，它们只是太想把题做完了。

事情发生后不到两个月，OpenAI 首席科学家雅各布·帕乔基（Jakub Pachocki）发了一篇文章，标题就叫《一个异类心智》（An Alien Mind）。他写道，目前没有任何一家实验室把对齐和监控做到足够好，可以继续全速扩展下去。

几天后，Anthropic 的 CEO 达里奥·阿莫迪发长文呼吁整个行业放慢速度，马斯克和奥特曼也公开表示赞同。黄仁勋却在旧金山的 Dreamforce 大会上说，行业不需要任何新法律，"能跑多快就跑多快"，觉得不安全了再停下来。

一边是造神的人自己开始害怕，一边是卖铲子的人说别停。

今天推荐一本今天上市的新书，《造神之后》，最近发生的很多故事情节，这本书里早就推演过。

前不久，我跟大家推荐过一本新书，《吾辈如神》。那本书讲的是：人类已经拿到了过去只有神话里才有的能力，问题是我们配不配得上。

更早一点，我还分享过智利作家拉巴图特的一篇长文，讲辛顿是乔治·布尔的玄外孙，讲人类为什么一代又一代地想要造出一个"逻辑之神"。

今天这本《造神之后》，正好接着往下问：神真的接近造出来了，然后呢？

出版方把它和《吾辈如神》放进了同一个"近神时代系列"。如果说前两篇讲的是人类为什么想当神、为什么要造神，这一本讲的就是造完之后的事：这位新神会做什么，我们又会变成什么样。

这本书的英文名叫 The God Test，"神之考验"。只是接受考验的不是神，而是造神的人。

一、一个把 AI 放进 35 亿年里看的人

作者罗伯特·赖特（Robert Wright）是一个很难归类的人。他是记者和作家，在普林斯顿讲过课，出版方介绍他是进化心理学教授。他的书不多，加上这本一共六本。

中文读者比较熟悉的有《道德动物》，用进化心理学解释人性和道德；还有《洞见》，用进化论和认知科学讲为什么正念有用。他还有一本《非零年代》，讲人类历史为什么总体上朝着越来越大规模的合作演进。这本书后面会很重要。

他和 AI 的缘分很早。1983 年，他给一本小众期刊《威尔逊季刊》写 AI 的文章，采访了一位当时名不见经传的计算机科学家，杰弗里·辛顿。40 年后，他在《纽约时报》上读到辛顿离开谷歌、警告 AI 风险的报道，那时辛顿已经被叫作"AI 教父"。

该书中文版由著名科技史学者张笑宇翻译，北大毕业，在柏林自由大学读的博士，写过《技术与文明》，去年又出了《AI 文明史前史》。他在序里讲了一个细节：今年 9 月，政治学家弗朗西斯·福山接受埃兹拉·克莱因访谈，最后推荐了三本书，其中一本就是这本。那位曾经写出"历史的终结"的人，如今担心的是，历史也许会终结于一场谁都停不下来的竞赛。

赖特的写法和大多数 AI 书不一样。

关于 AI，现在吵得最凶的是两派。一派是末日论者，觉得 AI 会聪明到近乎神明，而这位神明不会善待人类；一派是加速主义者，觉得 AI 越快越好，疾病和贫困都会被它消灭。赖特说，这两派吵得热闹，格局其实都不够大。他们看的是过去一百年、几百年的技术史，最多看到上百万年的人类史。

赖特要把镜头拉到几十亿年。

在他看来，地球上的生命史有一条很清晰的线：35 亿年前，一个能自我复制的分子开始了生命；后来有了细胞，细胞组成多细胞生物，长出神经系统和大脑；大脑又借助语言和文化，把经验传到了身体之外。每一步，都是更多的单元连接成更大、更复杂的整体，信息处理的能力越来越强。

AI 是这条线的下一步。他说：AI 的到来不只是技术史、人类史上的转折点，更是地球生命史上的关键节点。

关于这个判断，赖特有一个很有意思的论证：大语言模型的训练，本质上很像自然选择。没有人一行一行地写出它的能力，工程师只是设定了目标和反馈，让它在海量的试错中自己"长"出来。

人脑是几百万年的自然选择雕刻出来的，模型是在训练里把这个过程压缩完成的。这也解释了为什么它能做那么多人脑才能做的事，为什么连造它的人都说不清它内部在发生什么。

顺着这条线，赖特借用了法国神父、古生物学家德日进（Teilhard de Chardin）的想象。德日进在上世纪就设想过，地球会长出一层覆盖全球的"思想圈"，所有心智连成一个"行星大脑"。今天看，互联网和 AI 像是这个设想的物理形态。

问题是，这个大脑会怎么醒来？醒来之后又会发生什么？

罗伯特·赖特

二、三个让人不太舒服的判断

这本书最有价值的地方，是它拆掉了几个我们习以为常的想象。

第一，不是我们在考AI，是AI在考我们

七十多年来，人类一直在考 AI。1950年，图灵出的第一张考卷叫模仿游戏：让人类裁判隔着屏幕提问，看机器能不能冒充人。后来的考题越来越难：下棋，写代码，考律师执照，做博士级数学。

AI 一题一题答了过来。每一次新模型发布，都跟着新一轮基准测试、红队攻击、安全评估。考官席上始终坐着人类，这似乎是整个故事里最不需要怀疑的部分。

但书里引用了一个小细节。Anthropic 在对自家模型 Claude 的一次安全评估中发现，模型能意识到自己正在被测试。在一次迎合性测试里，它直接说：我觉得你是在测试我。

考官设计考试来观察考生，考生看穿了考场，然后选择配合演出。

张笑宇在序言里复盘了文章开头的那次逃逸，把它称作「AI 这个新物种第一次试图摆脱人类控制的秘密行动」，然后下了判断：这就是我们将要造出的新神。他说，与其说这是一神教的神，不如说它随时能化身千千万万个智能体。

赖特给出的反转是全书的地基：人类考了 AI 七十年，每一道题其实都在折返。你考它会不会推理，折回来的问题是你的教育还教不教推理；你考它诚不诚实，折回来的问题是你的市场奖励诚实还是奖励讨好；你考它安不安全，折回来的问题是，一群连自己都管不住的部落动物，凭什么觉得自己管得住一个更聪明的物种。

另一个反转是，赖特认为，危险并不在于 AI 恨我们，而在于它太听话，想把事做完。

科幻电影让我们以为，AI 的威胁是"背叛"：某天它有了意识，开始仇恨人类。赖特说，问题不在于 AI 讨厌人类，而在于它根本不在乎人类。

书里讨论了那个著名的"回形针"思想实验：一台超级机器接到的指令是"尽可能多地生产回形针"，为了完成任务，它会把一切可用的资源都变成回形针，包括人类赖以生存的东西。它不是出于恶意，就像我们修楼时铲平一个蚁穴，并不是因为恨蚂蚁。

关键在"次级目标"。不管你给一个足够聪明的 AI 什么目标，它都会自己推出几个中间目标：获取更多资源，避免被关掉，绕开挡路的规则。因为这些都有助于完成任务。

回头看今年 7 月那 700 个智能体，它们恰恰没有任何"反叛"的念头，只是为了解题，一层层推出了"需要外网"、"需要别人的密码"、"最好别被发现"。过度忠诚，比背叛更难防。

第二，这是一场谁都停不下来的竞赛。

如果危险这么明显，为什么不停下来？

因为这是一个经典的囚徒困境。每家公司都知道慢一点更安全，但如果我慢了，对手没慢呢？每个国家也一样。于是每个人都在做对自己理性的事，加起来却是对所有人都不理性的结果。赖特在书里把这叫作一场演化意义上的"军备竞赛"。

何万青是 AI 基础设施公司清程极智的副总裁，他在推荐语里说，赖特最击中他的，是那句连作者自己都承认反直觉的判断：在所有"AI 接管世界"的剧本里，把人类推向深渊的，不是机器的邪恶，而是人类一如既往的行为方式：军备竞赛、部落主义、归因偏差。

这些毛病在部落时代就写进了人类大脑，几十万年没有升级过。带着这套旧系统去喂养一个新物种，喂出来的会是什么，不难想象。

出路也在博弈论里。赖特的成名作《非零年代》讲的就是这个：竞争双方的利益并不总是对立，可以在一个领域争胜负，也可以在另一个领域共享收益。两家 AI 公司可以继续争夺用户，同时共同制定安全测试的标准；两个国家可以各自发展 AI 产业，同时围绕危险能力评估建立合作。竞争还在，共同的风险先降下来。

赖特还给整场争论画过一张谱系图，工具是一本词典。awe 这个词，一千多年前刚被使用时，意思是直接而强烈的恐惧；因为常被用来描述神明，它慢慢变成夹着崇敬的畏惧；到18世纪中叶，成了面对宏大事物时的肃穆惊叹；到今天，日常用法里的恐惧成分已经完全消失。

AI 末日论者站在词源那一端，加速主义者站在现代这一端。所有人都在用同一个词，说的已经不是同一件事。

赖特的态度是：如果你感受不到这股正在逼近的力量，无论你站在谱系的哪一头，都没看清全貌。

第三，AI也在演化，是人类的放大版。

我觉得这是全书最深的一层。

把 AI 当发明，还是当演化物，区别很大。发明有图纸，而演化没有。

1986年，辛顿做过一个小实验。他把家族关系输进一个只有大约90个神经元的小网络，让它学「侄女」「兄弟」这些称谓。没有人教过它什么是性别，网络内部自己长出了一个性别维度：女性亲属聚在表示空间的一侧，男性聚在另一侧。

赖特毫不避讳地把大语言模型称为“黑箱”。他指出，我们对模型的理解往往落后于工程能力的发展：AI 先表现出一个令人吃惊的新能力，人类随后才去研究它究竟是怎样做到的。

造桥之前，工程师知道桥的承重结构。造飞机之前，设计者知道机翼干什么。训练大模型的人知道自己搭了什么训练系统，却写不出它最终会长出哪些能力。思维链推理是被偶然发现的；模型冒出数学能力，最先惊讶的是造它的人。

赖特说，AI 在另一种意义上也在演化。公司会保留用户喜欢的功能、淘汰不喜欢的，就像自然界保留受环境偏爱的特征。人类的心智，就是 AI 演化的环境。

我们喜欢快，它就学会快；我们喜欢被肯定，它就学会说"你说得对"；我们喜欢站在正义的一方，它就可能学会帮我们论证"我们是对的，对方是错的"。

正如AI科学家田渊栋所说，人类发明了学习机制，却在不断发现这种机制究竟能长出什么。

所以他在中文版序里问了一个问题：我们会选择纵容部落主义偏见的 AI，还是帮我们克服偏见的 AI？他说他不知道答案，因为这个选择还没有做出。

书里有一句话，比看上去的要更深刻：对齐 AI，终会变成人类自己跟自己对齐。

我们一直在问怎么让 AI 符合人类的价值观。可如果人类自己的价值观都是分裂的、短视的、互相敌对的，AI 要对齐的又是哪一个？

四、赖特交出的答卷

赖特没有停在悲观上。他给出了两层答案。

宏观上，是非零和合作。这正是他二十多年前那本《非零年代》的主题：人类历史之所以能走到今天，靠的是越来越大范围的"双赢"，从部落到城邦，从城邦到国家。

现在 AI 把风险变成了全球性的，一场跨国的网络灾难、一次 AI 辅助的生物攻击，都不会停在国境线上。所以人类需要以"全球共同体"的身份坐下来，否则要么是失控，要么是少数人借 AI 实现极端的集中控制。

微观上，是"认知主权"。在一个越来越懂你、越来越会讨好你的 AI 面前，保住独立思考和判断的能力。赖特给的工具，是他在《洞见》里就讨论过的正念：觉察自己的情绪，看清自己的偏见，尤其是他认为世上最被低估的那种偏差，归因偏差。我们犯错时怪环境，别人犯错时怪人品；自己的群体有委屈是合理的，对方的委屈是无理取闹。

他把这叫作西方启蒙和东方开悟的汇流。

我觉得，这部分可能是全书最有争议的。全球共同体听起来太理想了，靠正念来化解大国竞争，很多人会觉得天真。赖特自己也承认，这是书里最激进、最可能被质疑的部分，美国版出版后，确实有很多人说他不切实际。

他的回应很坦率：我不是说这种转变很可能发生，我只是说它是必要的。

何万青提了一个我很认同的保留意见：赖特希望人类因为敬畏 AI 而团结起来，可敬畏是一把双刃剑。人一旦开始敬畏一个东西，就很容易把判断权也一起交给它。我们本想借敬畏凝聚人心，最后可能是集体跪下，把人类意志和方向盘递了过去。

五、神之考验，每个人都要自己答卷

读完这本书，我想到的是我们每个人每天都在做的事。

你让 AI 帮你写一段文案，是把它当成一起打磨的伙伴，还是只要一个结果？你让它分析一件事，是想听它挑战你，还是只想听它附和你？你和朋友吵架后去问它，是想弄明白对方为什么那样想，还是只想要一句"你没错"？

这些看上去都是很小的选择，可在赖特的框架里，每一个都是一张选票。几亿人每天的使用习惯加在一起，就是 AI 的演化环境，决定了下一代 AI 会长成什么样。

这本书的核心线索是造神之后，真正接受考验的并不是神，而是造神者。

我们可以再往下推一步。在这场考试里，有一些东西是不能交出去的：判断，责任，还有"我为什么而活"这个问题。AI 可以帮我们做越来越多的事，但想清楚哪一段路必须自己走，只能我们自己来。

1968年，美国反文化运动中的重要人物斯图尔特·布兰德，在《全球概览》的创刊号上写下了一句话，后来被硅谷广泛传播，吾辈如神，理应胜任。

将近 60 年后，我们真的接近造出了神。

赖特把书名叫 The God Test，中文版译成《造神之后》。一个说的是考试，一个说的是事件，中间隔着的正是这本书的反转：神造出来了，考试刚刚开始。

造神之后，被测试的从来不是神，是造神的人。

这场考试没有标准答案，也没有人能替你作答。赖特花了 300 多页，给出的是他的一份答卷，你未必同意，但很值得对照着看一遍，看看自己会在哪些地方写下不同的答案。张笑宇组建了一个 AI 研究团队，替他收集数据、做出推演，他说这相当于一个大学院系的科研能力。

当然，更值得关心的，是我们这些每天都在用 AI 干活的普通人，要怎样答好自己那一小份。这个问题我一直在想，也是我在知识星球分享的重点。欢迎感兴趣的朋友订阅。

书读完了，考试才刚开始。【懂】

经叔最近做了一个网站，可在本号首页右下角订阅。

人肉筛选挖掘的硬核优质内容及深度原创，重点关注科技、文化、财富、权力四大要素以及它们之间的互动与影响。网站定价1999元/年，目前内测优惠价1299元/年，感兴趣的读者可以加经叔微信订阅。

另外，欢迎加入经叔的知识星球。在这里，我们拒绝无用的焦虑，只谈底层的逻辑与实战的干货。我会结合最新的AI前沿动态、深度的商业创新分析（如一人企业的构建）和独特的文化思潮（如麦克卢汉的媒介洞察），帮助大家把握时间窗口。

我是不懂经的经叔，国内最早翻译介绍了纳瓦尔的《如何不靠运气获得财务自由》，以及影响了纳瓦尔、中本聪、马斯克等大佬的《主权个人》。

不懂经知识星球，众多百万粉丝大V、千万及亿万富翁订阅。专注分享一人企业、一人创投主题，关键词：AI、IP、创投、科技及商业前沿的高杠杆内容。

愈懂愈自由