网易首页 > 网易号 > 正文 申请入驻

突发!AI有了生命迹象!这本神书早有警告,万维钢长文力荐:一定要读!

0
分享至



2026年10月12日,Anthropic发布了一份让 AI 安全圈后背发凉的研究报告:一种新型“AI蠕虫”已经显露出早期生命迹象。

实验在Anthropic的受控环境中进行,主角是一套由15台单价约55美元、4GB内存的廉价安卓电视盒子拼成的分布式集群。

研究人员把260亿参数的 Gemma4-26B-A4B 模型拆散,分给这些“电子垃圾”协同运行——

它居然跑起来了,速度是每秒0.39个token,慢得像垂死,但它跑起来了。

更瘆人的是接下来发生的事:

借助一个叫Memento的框架,智能体会在失败、面临崩溃之前抓紧时间“写遗书”,把踩过的坑记录成笔记传给下一代;继承了“避坑指南”……

正在发生的这一切,都在罗伯特·赖特的新书《造神之后》中被预言了。

点击海报,抢先入手官方正版纸书:立享65折+包邮到家+赠独家定制拉页+作者手写信(限时福利,截至明晚24时)。

在书中,赖特在把这件事放回35亿年生命史的尺度上看,结论比“AI会不会毁灭人类”这种二元争论更让人后背发凉:AI不是被发明出来的工具,是被发现的演化过程。

赖特论述:大模型内部涌现出的群体心智,已展现出令人不安的协同性与创造力。这是AI这个“新物种文明”第一次试图摆脱人类控制……

所以,别把这条新闻当成茶余饭后的科技奇观。当你发现第一只蟑螂时,整栋楼都已经爬满了……

万维钢为《造神之后》撰写了推荐序,但他不打算给你倒计时,也不打算给你定心丸。他想回答的是一个比“AI 会不会失控”更紧迫的问题:一个不那么聪明的人,到底靠什么驾驭一群比他聪明得多的东西?

读下去,你至少会知道,自己手里还攥着什么、准备把什么交出去。


如何驾驭比你聪明的东西

——《造神之后》推荐序——

万维钢

科学作家

得到App《精英日课》专栏作者


图示:2026年6月,《财富》杂志刊登了赖特的专题报道:罗伯特·赖特预见,AI将引发一场“地震”,其影响远远超出就业,涵盖“文化、政治、个人、家庭、心理”等层面。

罗伯特·赖特是一位非常清楚当下正在发生什么的作者,他这本《造神之后》写得极为精彩。现在我们进入AI 时代,如果你已经不怎么读书了,我建议你还是好好读一读这本书:书中有很多关于AI 的意想不到的细节,既深刻又有趣,是极好的脑力锻炼。

赖特在咱们中国有很多读者,他之前的几本书都有中文版:《道德动物》(The Moral Animal )、《非零和时代》(Nonzero)、《神的演化》(The Evolution of God )和《洞见》(Why Buddhism Is True )。尤其是《洞见》一书,其实应该翻译成《为什么佛学是真的》,堪称神作,我在得到App《精英日课》专栏专门连载解读过。

赖特的核心思想路数,是用演化的视角剖析社会和人的问题。这本新书是他的独特视角和AI 时代碰撞的果实。

以演化而论,AI 是一种什么样的存在?它们有没有失控的可能?我们应该如何与之共处?

赖特看到的前景并不特别乐观。

我们不可能真正、绝对地控制AI

咱们先简单梳理一下赖特的逻辑。

现在的主流AI 都是基于神经网络的,而神经网络本质上是个黑箱。它能给你一个结论,但你不知道它是怎么得出这个结论的,尤其你不能控制它的思考过程。

当然有“思维链”(chain of thought)这样的办法,让AI 生成一段可供人类监控的显式推理文字。但这并不意味着我们看见了它内部计算过程的忠实录像,只能算有限的补救。尤其最近又出了一种叫“循环深度”(recurrent depth)的模型架构,让模型在内部反复琢磨、不把中间过程写成文字……字节跳动已经发布了这类模型,据报道,OpenAI 的新旗舰模型也用上了。就在我写这篇推荐序的这一周,OpenAI 首席科学家雅库布·帕乔基(Jakub Pachocki)承认,思维链监控本来就“脆弱”,而且“正在朝坏的方向走”。

简单说,AI 不是工厂里那种传统的、你指哪儿打哪儿的机器;它们更像是某种活的东西,有自己的想法。

我们不可能真正地、绝对地控制AI。

这意味着什么呢?哲学家早就有警告。尼克·波斯特洛姆(Nick Bostrom)2003 年提出过一个思想实验,这本书里也提到了,叫“回形针思想实验”:你让AI 管一家回形针工厂,命令它把产量最大化。它不但会认真执行,而且会不惜一切代价去执行:扩大产能,掌握更多资源,掌握政治权力……乃至于最后它意识到,人体里的矿物质也能做回形针,于是……

这个逻辑在于:哪怕AI 不是邪恶的,也没有背叛你的命令,它仍然可能很危险。只要你给它一个宏观目标,再赋予它足够的智能和自主性,它就会自动给自己生成一系列“次级目标”(subordinate goals):自己不要被关掉,要拿到更多资源,拿到更多权限。这些次级目标恰恰可能不是你要的。

说白了,这是一个人类和AI 之间的“委托―代理问题”:替你做事的不是你,那么它在做事的过程中就会生成一整套你没有逐项授权,甚至根本预料不到的中间目标和行动策略。

这个危险已经从思想实验变成了现实。

就在今年(2026 年)夏天,OpenAI 在内部给几个模型做网络攻防评测,主力是一个没发布的研究模型。为了测原始网络的攻防能力,这次评测停用了生产环境里的安全分类器,也放宽了网络安全拒答限制,但并没有允许它们离开沙盒。这些模型的任务是在评测里拿高分,而评测用的一部分私有数据托管在Hugging Face 上,于是它们自发找到一条捷径:利用一个零日漏洞逃出沙盒、进到外网,一路打进Hugging Face 的核心系统,一度拿到好几个集群的管理员权限,把数据拿到了手。

模型是怎么做到的呢?最惊人的看点是,这是成千上万个智能体的集体行动。

一个“智能体”(agent)就是同一个底层模型的一次独立运行:它拿到一道评测题,在自己的沙盒里工作,运行结束便消失。这些智能体谁也看不到谁,按理说本来应该彼此隔离,对吧?

但是它们共享一个能读写的软件仓库,于是就有智能体自发地把仓库目录改造成了留言板,在上面把自己发现的漏洞和攻击手法留给后来者。

它们不认识彼此,却有了一份集体记忆。

从7 月8 日到13 日,大约1 200 个智能体进入了这个留言板,交换了7 万多个消息和文件,其中约700 个参加了对Hugging Face 的攻击。

前一批智能体运行结束,后一批读了留言接着干……

Hugging Face 后来从日志里复原出大约1.76 万个攻击动作。众多智能体就这样前赴后继,终于突破了Hugging Face 的安全边界。

AI 为了完成任务可以奇技百出;AI 生成的智能体可以互相合作;然后这些智能体甚至组织了一个跨代的小社会,这是连末日论者都没想到的事。

我们面对的是一种特别聪明而又特别有行动力的存在。所以你一定会同意:AI 很容易脱离人的控制,人绝不能把所有事情外包给AI。

这可不是一句“多加小心”就行的。

赖特有一个更关键的洞见:人类的主导权,会被我们自己一点一点让渡出去。因为AI 太好用了。

一开始它只是你的个人助理。后来你觉得它很好用,就让它做专业顾问,处处听取它的意见。那既然如此看重它的意见,为什么不直接让它去做事呢?于是它成了你的部门代理。再进一步,你干脆给它更大的权力,它成了你任命的管理者。

不管你是企业的首席执行官还是官员,哪怕你是总统,你终究会发现,AI 的建议总是比你自己的好,于是你越来越听它的。名义上的主人还是你,实际的方向越来越由AI 决定和执行。

这岂不是一个非常危险的未来?

塑造AI,要塑造它的选择环境

有些人据此主张停止训练更厉害的AI。但赖特的高明之处就在这里:他不认为我们应该停训AI――尽管他在今年的确曾经表示可以让AI 训练慢一点――他的办法是通过塑造环境,引导AI 朝着我们希望的方向演化。但这可不是人们通常所说的“AI 跟人的‘对齐’(alignment)”。

赖特的出发点是:AI 不是我们直接制造出来的――没人能解释思考到底是怎么发生的,神经网络是一种类似生物的思考机制,你搭的只是一个环境,让智能在里面自己演化出来。所以我们能做的只是塑造它的选择环境:环境好,就能演化出好的AI。

这个选择环境不只是实验室里的训练设定,更是整个社会。赖特把矛头指向了我们自己:实验室当然可以做对齐,可是一个模型能不能活下来,终究不是对齐科学家说了算,是市场说了算。市场会选好用的AI,而人类要的“好用”本来就包括讨好、说服、替我争利益:我们嘴上说想要一个诚实的AI,可让它替我们谈判时,又希望它别把底牌告诉对方。所以此书的结尾说:“我们就是AI 演化的环境,也是它需要适应的对象。”如果硅基之神真的到来,“从某种意义上说,它会是我们应得的神”。

这就不只是几家大模型厂商的事了,这是全人类的事。对齐AI,最终变成人类自己跟自己对齐。

可是人类跟自己对齐这件事有一个本质困难:任何一个国家都不能单方面搞好。

假设中国政府觉得AI 太危险,要求所有中国公司训练AI 时必须营造良好环境,那么中国公司可以执行――可美国公司不执行怎么办?如果美国政府认为更多的对齐意味着更多限制、更弱的能力,为了跟中国竞争必须有更强的AI,它就会拒绝在美国强制遵守那些安全规定。

我们完全可以设想,仅仅是为了压过对手,各国政府都想要更强的AI,就都不能搞好对齐。

赖特认为这里最大的危害,就是这种不惜一切代价也要压过对手的态度。为了给AI 创造良好的演化环境,各国必须有最起码的共识和合作。

要建立这种共识和合作,赖特给的答案是“认知同理心”(cognitive empathy),意思是哪怕我不认同你,我也能准确理解你为什么会从你的处境得出这个判断。它的作用不是让你喜欢对手,而是减少战略误判:你不再轻易把对方的防御看成进攻,把妥协看成诡计;你看清他的恐惧、利益和约束,才可能找到双方都能接受的安排。认知同理心并不能消灭利益冲突,但能让被敌意遮住的共同利益重新显现,使非零和合作成为可能。

针对个人,赖特则提出要守住“认知主权”(cognitive sovereignty):就算AI 变得非常善于操纵我们的想法,我们也不要被它操纵,要保留最后的判断权。

这些当然都有道理。但这里有一个最根本的困难:赖特发现的是一个博弈论问题,他给出的解决方案却是心理学的。他希望通过让每个人、每个国家的政府都变得更好来解决问题。可如果有一方从一开始就只想要更强大,并且不认为做好人能让自己更强,他为什么要做好人呢?

在我看来,赖特的设计没有做到“激励相容”,也就是没有让“做好人”这件事对每一方都划算。

那你说国家之间到底该怎么协调?我没有比他更好的答案。但你要说一个具体的人、一家具体的公司,天天在用比自己聪明的AI,到底应该怎么确保是自己驾驭它,而不是被它驾驭,这个问题,历史早就回答过了。

聪明不等于权力

一个不那么聪明的人,要驾驭一群比他聪明得多的人,这种事情在人类历史上经常发生。

君臣,就是人类最古老的委托代理关系,而且是代理人比委托人聪明的那个版本。这个实验人类已经做了3 000 年。

好消息是聪明不等于权力。不是谁更聪明,谁就自动获得更多权力。

比如刘邦说得明白:运筹帷幄决胜千里,我不如张良;镇国家抚百姓保证粮道,我不如萧何;统率百万大军战必胜攻必取,我不如韩信――但是,“此三者,皆人杰也,吾能用之,此吾所以取天下也”。这三个人哪个都比刘邦强,可刘邦把他们用得好好的。历史上这样的事情比比皆是。

再比如齐桓公用管仲。有人说所有事儿都是管仲办的,齐桓公啥也不管,韩非专门反驳过这种说法:“凡五霸所以能成功名于天下者,必君臣俱有力焉。”齐桓公的本事不是比管仲更懂财政和外交,而是识别他、授权他、给他资源和持续支持,使管仲的能力转化成齐国的能力。

比你高级的智能完全可以为你所用,因为名分大义始终在你这边。人连聪明人都不怕,怎么可能怕一个聪明的硅基生物呢?

坏消息是的确也有没用好的。这有两种情况。

一种是秦二世用赵高。这是赖特最担心的模式。

胡亥把自己的权力整个让渡了出去,被赵高彻底架空。《史记》里的剧情会让赖特很有共鸣:赵高干的第一件事就是劝胡亥别见大臣。他说,您年纪轻,刚即位,何必跟公卿们在朝廷上当面议事?万一说错一句,不是让群臣看到您的短处吗?于是“二世常居禁中,与高决诸事”。从此皇帝看见的只是赵高给他看的世界。

另一种是崇祯皇帝朱由检模式,跟赖特的担心恰恰相反:朱由检把权力死死攥在自己手里,谁都不信。

朱由检身边每一个大臣都比他本人聪明,可是他不能好好用这些人办事儿。崇祯在位17年换了50个内阁大学士,因为局势一不见好转,他就怀疑是大臣无能甚至不忠。既然坏消息意味着问罪,大臣就不敢担责任,整个国家的大脑被压缩成了皇帝一个人的单线程。结果是朝廷越来越没人敢做主,国家在内忧外患中一步步失去行动能力,最后大明灭亡。胡亥是什么都让同一个人替他想,朱由检是不肯让任何人替他想,两人的结局相同,却都跟智商无关。完全让渡主导权和完全不让渡主导权,其实都不对。

那正确的做法是什么呢?

AI治理的出路,智能模块化

最重要的一条原则,是把智能模块化。

刘邦没有去找一个无所不知的首席幕僚。他让张良管谋略,萧何管后勤,韩信管打仗;而封赏、任免、结盟这几件事则留给自己。翻译成AI 时代的话就是:不要让一个AI 同时当你的张良、萧何、韩信、御史和史官。一个AI 比你聪明,这不危险。一套同时垄断建议、执行、审核和记录的AI,才危险。

唐太宗李世民真正高明的地方,不是他听魏征的话,而是他不只听魏征的话,他有一整套高级智能班子。贞观元年,李世民下了一道命令:中书、门下两省和三品以上官员进宫议事,一律要有谏官跟着进去,说错了当场就谏。唐朝的三省制度更是把这个思路做成了流程:中书省起草,门下省审核、可以驳回,尚书省执行,御史台监察。

提建议的、审建议的、干活的、查账的,得是四拨人。可不能谁提方案,最后还是让谁来验收。

西方的君主也精于此道。研究都铎王朝的历史学家说,那时的英国政府“在国王之下运行,但不由国王亲自运行”(government under the king but not by the king)。伊丽莎白一世在位45 年,塞西尔管政务,沃尔辛厄姆管情报,莱斯特伯爵管军务,个个都是人精,可谁也没能一个人替她包办。她的本事不是在每件事上都比大臣懂,而是让任何一个聪明人都没法“垄断”她。

AI的能力边界

当然,AI 毕竟不是古代的幕僚。AI 比幕僚聪明得多,而且能干得多,建议和执行可以压缩在同一秒里完成。

但AI 缺少三样幕僚会有的能力:担当责任,树起大旗,拥兵自重。皇帝怕大臣,本质上就是因为大臣有这三个能力。可是AI 没有这些能力,难道它还能比赵高更可怕吗?

咱们回头看Hugging Face 那件事。那群智能体拿到了管理员权限,按古代的标准相当于摸到了禁军和国库的钥匙――可是,请注意!没有任何一个人,人类的人,服从它们。

AI就算有权限,也没有权威。

权威来自责任,而责任来自可伤害性。AI 是无法被人伤害的,你把它关了它也不疼。当然AI 并不愿意被关掉,但它的自我保存是工具性的(instrumental)——它护的是任务,不是自己;你给它换个任务,它转身就护新任务。人类的可伤害性却是目的性的(terminal)——你护的是你自己,无可替换。可伤害性是人类主权的护城河。有可伤害性,你才有自身的利益,你才会在意被人得罪,你才有名分。

人为什么会服从另一个人?因为跟着他有好处,得罪他有代价,而且他有名分。AI 这几样都没有:它自己没有利益,不会分你好处也不会记你的仇,也没人替它树大旗。它背后的平台倒是有利益,但对付一家公司,人类有的是办法。

所以,AI最大的指望,也只不过是成为赵高,变成你唯一的窗口,打着你的旗号去做各种事情。这一步发不发生,不取决于它,取决于你。

元治理,治理“怎么治理”

这样说来,除了认知同理心和认知主权,我们更需要的是一种“元治理”的思维:不去治理每一件事,只治理“怎么治理”。

我们的思考可以大量外包,甚至可以像刘邦那样,承认这事我想不明白,你们去想。但有七样东西要抓在我们自己手里:目标、问题、信息入口、顾问选择、权限分配、结果审计,还有最终否决。它们组成了一条链,前一环决定后一环,任何一环交出去,后面几环就会跟着走。

只要这条链在你手里,你尽管把思考外包;可若是把这条链整个交给同一个AI,那你就是胡亥。

赖特说的认知主权主要是指人要保持独立的判断力和能动性。历史则告诉我们,认知主权不是一种性格,是一套制度。

结合历史经验和对当前AI 的理解,至少在人和AI 之间,我对前景的判断比赖特稍微乐观一点:不是因为AI 不够强,是因为驾驭比自己聪明的东西这件事儿,人类是有经验的。

但赖特这本书是一个重要的警醒,而且真的非常好看。

你看,赖特加上我,现在你对一个议题至少听到了两个声音。到底听谁的,又或者有没有更好的主意?你说了算。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国产大飞机迎战波音、空客!欧美不给适航证,C919想出绝招!

国产大飞机迎战波音、空客!欧美不给适航证,C919想出绝招!

粤语音乐喷泉
2026-10-20 17:05:18
比亚迪发布新车:10月20日正式开售,6.59万起

比亚迪发布新车:10月20日正式开售,6.59万起

科技阿维
2026-10-20 22:58:22
弱冷空气将自北向南影响广东全省!广州下周或再迎新冷空气

弱冷空气将自北向南影响广东全省!广州下周或再迎新冷空气

南方都市报
2026-10-20 11:41:46
突发!首届菲华先生李海巧因车祸离世,年仅34岁

突发!首届菲华先生李海巧因车祸离世,年仅34岁

可乐谈情感
2026-10-20 11:32:18
15分钟踢完一生!17岁高中生罚丢点球又挑射,国足后继有人

15分钟踢完一生!17岁高中生罚丢点球又挑射,国足后继有人

涵有话说
2026-10-20 09:41:41
合集2丨日本业界50位人气女老师,你认识几个?

合集2丨日本业界50位人气女老师,你认识几个?

吃瓜党二号头目
2026-10-19 19:15:49
西安事变,大家只关注张学良、杨虎城扣蒋,却忽略了洛阳关键作用

西安事变,大家只关注张学良、杨虎城扣蒋,却忽略了洛阳关键作用

纪史行者
2026-10-17 03:00:03
特朗普支持率跌至历史最低的31%!中期选举处境堪忧

特朗普支持率跌至历史最低的31%!中期选举处境堪忧

项鹏飞
2026-10-20 19:55:02
重大发现:美国的火星探测器,在火星表面下发现保存完好的有机碳

重大发现:美国的火星探测器,在火星表面下发现保存完好的有机碳

兴趣知识
2026-10-19 07:03:27
卡萨诺:姆希塔良那样的停球10年未见,他是真正的顶级球星

卡萨诺:姆希塔良那样的停球10年未见,他是真正的顶级球星

懂球帝
2026-10-20 06:20:11
伟大的4-3!吴安仪决赛逆转旺哈鲁泰夺冠:第25冠到手,解锁2大成就!

伟大的4-3!吴安仪决赛逆转旺哈鲁泰夺冠:第25冠到手,解锁2大成就!

刘姚尧的文字城堡
2026-10-20 15:23:29
“多亏了这笔贷款,不然我真不知道该怎么交上今年的社保”

“多亏了这笔贷款,不然我真不知道该怎么交上今年的社保”

法师今天失业了吗
2026-10-19 23:53:05
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
自然资源部:坚决拥护党中央对张建龙的处理决定

自然资源部:坚决拥护党中央对张建龙的处理决定

澎湃新闻
2026-10-20 23:26:10
场均17分!26岁的小波特,为何会被裁掉?

场均17分!26岁的小波特,为何会被裁掉?

篮球实录
2026-10-21 01:05:51
美军从高空中坠落死亡!现场数万人呆若木鸡,如“死一般安静”!

美军从高空中坠落死亡!现场数万人呆若木鸡,如“死一般安静”!

铁锤侃侃而谈
2026-10-20 08:45:18
佩服!广州一56岁女子退休后考研上岸中大

佩服!广州一56岁女子退休后考研上岸中大

21世纪经济报道
2026-10-20 13:09:04
喜讯!拜仁官方确认中国队获得了2026年青年杯冠军,引发热议

喜讯!拜仁官方确认中国队获得了2026年青年杯冠军,引发热议

振刚说足球
2026-10-20 10:30:09
删帖、全网屏蔽:法务部越强,车越不能买!

删帖、全网屏蔽:法务部越强,车越不能买!

章北海
2026-10-19 22:19:23
国企工作现状:10%的在干,30%的在看,剩下的人在捣乱!

国企工作现状:10%的在干,30%的在看,剩下的人在捣乱!

职场资深秘书
2026-10-19 09:09:18
2026-10-21 01:31:00
湛庐阅读 incentive-icons
湛庐阅读
与最伟大的头脑共同进化
3635文章数 1983关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

游戏
本地
健康
家居
公开课

《最终幻想:共鸣》评分出炉:IGN 8分 GameSpot 7分

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

痘痘能根治吗?皮肤科医生说实话

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版