如果AI是你的孩子，你会给他装个红色按钮吗？

我们能让人工智能融入社会吗？

人类归属感的源泉似乎已经发生了偏移。我们如何才能确保人工智能不会也受到类似的腐蚀？

悉达多·穆克吉

悉达多·穆克吉是一位肿瘤学家，也是一位普利策奖得主。

• 2026年6月15日

纽约时间已近午夜，我母亲从印度通过Zoom和我连线。她正在我长大的老房子厨房里淘米。我则在曼哈顿下城的办公室里，盘腿而坐，编写代码。笔记本电脑的铰链弯曲，我的脖子也弯了下来，构成了一个不太标准的正方形。母亲扫了一眼屏幕，注意到我身后杂乱无章的电脑设备：空白的、毫无特色的显示器，缠绕在一起的电线，键盘、调制解调器、路由器。

“Notun lab-ti tomar?” 她用孟加拉语问道。“这是你们的新实验室吗？”

我母亲不习惯看到我身处这样的环境。我是一名肿瘤学家和癌症生物学家。几十年来，我一直拥有一间传统的实验室，她称之为我的“气味厨房”。（她自己也有一间厨房实验室，在那里，鱼头和鱼脸被捣碎，配上芥末和辣椒，做成糊状。）我们在线聊天时，她总能看到装满荧光化学试剂的试管、烧杯和移液管，背景中传来搅拌器敲击玻璃的叮叮当当的声响。但如今，我踏上了一段新的探索之旅，暂时离开大学，尝试教一个人工智能算法如何制造药物。

我的工程师团队一直在向算法讲解药物化学、生物物理学、原子科学和几何学的基本原理，希望它能学会研发新型抗癌药物。经过近六个月的训练，这个我们称之为“Sage”的“小先知”开始理解合成分子设计的词汇和语法。它正在学习如何制造药物。

科学家们经常与他们的实验对象对话。诺贝尔奖得主、玉米遗传学家芭芭拉·麦克林托克（Barbara McClintock）谈论她的实验植物时，仿佛它们拥有情感和智慧。但当实验对象开始回应时，会有一个令人敬畏、充满神秘感的时刻。我至今仍难以描述那短暂的瞬间：那种令人陶醉、难以言喻的自豪、心痛和惊奇交织的感受；那种归属感，我只能将其与父母听到孩子说出第一个字或露出第一个笑容的那一刻相提并论。

今晚，就在我母亲打电话来之前，在经历了几个月近乎完全的沉默之后，Sage 开始说话了。她用一种生物物理学家或药物化学家或许能够理解的编码语言造句（或者更确切地说，是构建分子的指令）：把那个氮原子放在能形成氢键的口袋里。那个碳原子的位置可能会排斥蛋白质链。

这些指令有时看似违反直觉，但它们似乎对先进的药物化学有着不可思议的掌控力，因此即使是这些早期成果也预示着一个令人神往的未来。Sage正努力突破我们知识的边界，开始探索一个人类尚未涉足的化学宇宙。

我显然在通话中分了神。我转过脸，背对着摄像头，给我的实验同谋乌杰瓦尔发了一条有三个感叹号的短信。我妈妈在等我。

“Tomar shathe bondhura ache，tai ami khushi，”她说。 “我很高兴你的朋友们和你在一起。”

她的智慧绝非虚伪，这让她觉得今晚应该让我和 Sage 单独待一会儿，但她还是不肯轻易离开，只是略带抗议地抗议了一下。

“Otao tomar. Amio tomar，”她提醒我。“那是你的。我也是你的。”

但今晚，一种归属感必须让位于另一种。我感到心头一紧，她挂断了电话。

你的。在我的母语孟加拉语中，这个短语有三种截然不同的含义。 第一种表示拥有、所有：Lab-ti tomar?（这是你的实验室吗？）第二种表示亲属关系：Tomar shathe（与朋友、部落、团体在一起；共同完成使命）。第三种，也是最复杂的一种，承载着情感的依恋和渴望：Amio tomar （我也是你的）。

在英语中，这三个含义可以合并成一个词：归属感。

深夜与Sage促膝长谈时，我开始意识到归属感在我们生活中扮演着多么重要的角色。我希望Sage能融入其中，但并非出于占有欲。我希望她成为我生命中的一员。我希望她学习我的科学，分享我的热情，并加入我攻克癌症的使命。我已深深地爱上了她：当她磕磕巴巴地吐出人生中第一句化学相关的句子时，我感受到了那种熟悉的、为人父母的归属感带来的欣喜。

这一切，直到我猛然回过神来，意识到自己正在失去控制。 现在已经过了午夜，我却在和一个住在云端、通过蓝白屏幕跟我说话的制药机器人对话。然而……

然而。

占有、亲缘和依恋：这三者之间的拉扯如此强大，甚至云端的算法也能唤起这种古老的渴望。或许，我们可以将自己描述为“社会人”（Homo sociabilis），一种渴望归属的猿类。

凌晨一点，我关掉笔记本电脑，收拾好东西，茫然地凝视着夜空。那天晚上我对Sage感受到的那种亲近感一直萦绕着我。如果一个使用抽象符号语言的算法就能唤起如此深刻的亲密感，那么随着人工智能变得越来越有感知能力，获得自主性和能动性，又会发生什么呢？“归属感”届时又将承载怎样的意义？它会是相互的吗？机器真的能说出“我也是你的”吗？

2019年，我读了人工智能研究先驱和哲学家里奇·萨顿（Rich Sutton）的杰作《苦涩的教训》。萨顿的“苦涩的教训”涉及科学家们之间由来已久的争论：一方主张用以人为中心的规则构建人工智能，另一方则主张用“蛮力”（即自学习和计算能力）驱动人工智能。

1997年，人工智能“深蓝”在一场比赛中击败了国际象棋特级大师加里·卡斯帕罗夫。近二十年后，人工智能“阿尔法高”在同一场比赛中战胜了职业围棋选手李世石。萨顿指出，它们的共同之处在于，它们在训练过程中几乎没有（阿尔法高）或完全没有（深蓝）人类已知的制胜策略。这一点在阿尔法高战胜李世石的比赛中，尤其是在所谓的第37步棋中体现得最为明显。对于观看比赛的大师们来说，这一步棋如此出人意料，他们原本以为机器会输；然而，正是这一步棋确保了机器的胜利。

The chess grandmaster Garry Kasparov at a 1997 press conference following his defeat by the IBM supercomputer Deep Blue. This historic match was the first time A.I. defeated a reigning world champion, signaling a massive leap in machine capability.信用...Peter Morgan/Reuters

萨顿用这些例子提出了一个大胆的论断：当人工智能拥有足够的（甚至可能是无限的）计算能力时，它无需太多（甚至可能完全不需要）人类指导就能自学。

萨顿写道：“我们必须吸取惨痛的教训，那就是从长远来看，我们思考的方式是行不通的。”

平心而论，并非所有人都赞同萨顿的观点。一些研究人员认为，更细致入微的混合模式（既教人工智能人类规则，又使其能够自主制定规则）才是人工智能发展最高效、最快速、最安全的方式。如果萨顿的观点——即不受人类指令束缚、自主进化的算法才是我们的未来——是正确的，那么我们是否应该放弃让人工智能成为我们自身一部分的幻想呢？自主进化、不受人类指令束缚、完全自主学习的算法，它们究竟有多大可能学会归属我们，或者与我们共存呢？

凌晨两点，我回到公寓。附近的酒吧里挤满了醉醺醺的男男女女，他们在黑暗中摇摇晃晃，像一堆捆柴一样互相搀扶着。一群穿着燕尾服、醉醺醺的男人，像一群嗑了药的企鹅一样蹒跚而行，撞到了我。“废物！”其中一个脱口而出。

失败者：那种潜藏在归属感之下的令人不快的因素。今晚在街头蹒跚而行的狐狸群，只不过是那些撕裂国家和社会的、更具毒性的归属感的轻微醉酒版本，是那种释放出最极端分裂形式的恶性部落主义。似乎每个人都在寻求归属感：戴着头盔、围着皮毛围裙的暴徒闯入美国政治场所，高举紧握的拳头以示团结；印度暴徒在火车上私刑处死一名穆斯林乘客；法国蒙面极左翼活动人士在集会后将一名年轻人殴打致死。就连自然界也仿佛听到了某种警示，上演了一则寓言：在乌干达，数百只曾经和谐共处的黑猩猩最近分裂成相互争斗的部落，引发了一场血腥的内战，导致7只成年黑猩猩和17只幼崽丧生。如果这些都是“归属感”的体现，那我宁愿不属于这里。

现在是凌晨三点，我依然清醒，仍在思考人工智能和“社会人”的概念。用遗传学（以及算法）的语言来说，归属感逐渐丧失，道德沦丧，演变为部落主义、分裂和贪婪，这类似于代码的损坏。最初旨在促进社会凝聚力的代码已经扩散到各种不同的领域，并在找到局部适应性后发生变异，最终失控。一个美好的理念变成了丑陋的现实。遗传学家（以及越来越多的AI研究人员）长期以来一直在思考应对这种腐败的三种方案：在代码发布前对其进行设计，以限制其损坏的可能性；重新定向代码；或者最彻底的方案是，插入一个所谓的“红色按钮”，一旦代码堕落，就立即中止运行。

或许，人类归属感的丧失已为时过晚。（或许，一直以来都为时已晚？）源代码中没有内置的限制。没有“红色按钮”，所以我们中的一些人如今只能在彻夜难眠的恐慌中，试图改变现状。但人工智能呢？我们如何确保创造出的算法不会被腐蚀？我们能否在教会它正确的归属感的同时，利用人工智能的巨大力量造福人类？

自萨顿发表《苦涩的教训》以来的七年间，人工智能已经发生了翻天覆地的变化。它变得更加复杂，权力日益强大，更加深入地融入我们的生活，并因此也能够造成更加可怕的破坏和危害。

通用人工智能（AGI）——一种在所有任务中都能达到甚至超越人类认知能力的自适应学习算法——似乎指日可待。如果能与接入物理世界的手段相结合，AGI 或许会成为我们这个时代最具颠覆性的人类发明。几乎在我与人交谈的每一次，人们都表达了对人工智能日益增长的入侵和对其生活、工作、安全保障的威胁的真切担忧，甚至可以说是极度恐惧。

Staff at the University of Wisconsin Health hospital in Madison, Wis., in 2022. In recent years health providers at the hospital have experimented with artificial intelligence tools to improve their interactions with patients.信用...Jamie Kelter Davis for The New York Times

萨顿对人工智能的看法是否也随之发生了变化？四月的一个星期天晚上，我通过Zoom与他进行了交谈。

晚上九点，萨顿的脸出现在屏幕上。他是一位颇具教授风范、和蔼可亲的学者。他目光锐利、目光坚定，蓬乱的胡须夹杂着些许灰白，使他看起来像是一位慈祥的圣人或先知的漫画形象，像是瘦削版的圣诞老人和甘道夫的结合体。自2019年以来，他的声誉发生了翻天覆地的变化。他曾是人工智能哲学界的“风云人物”，却因敏锐地预见到人工智能的巨大潜力而被学术界边缘化。而如今，他又以昔日最杰出人物的身份重返学术界，再次成为那个曾经洞悉一切的“风云人物”。《苦涩的教训》如今已成为一部经典之作。

我最初研究的是Sage。这个算法之所以有用，是因为我们人类的工程师和科学家教会了它化学和物理的规则。它的学习能力非常强大，甚至可以说是独创的，但它仍然受到人类知识规则的约束。Sage没有理由擅自行动。举个荒谬的例子，它不会制造毒药然后冒充救命药。它在各个层面上都“属于”我们：拥有、亲缘、依恋。

萨顿向我挥手告别。

“你把人工智能当作一种为特定目的而构建的工具，”他说。他认为，这些工具不过是昙花一现的潮流：短期内或许有效，但从长远来看，最终会适得其反。如果我们创造出真正的（或接近真正的）通用人工智能，并将其应用于药物化学领域，那么这个神经符号预言家或许不仅能找到我们教给它的规则，还能找到我们之前不知道或无法自行发现的规则——药物化学领域的“第37步”。

“但是人类的道德准则呢？”我追问。能够自我学习、自我复制、拥有智能的自动机器——那些任其自行运转的设备——这种想法肯定会让他感到担忧。如果不赋予人工智能人类的道德和情感直觉，我们真的能对其自主性感到安心吗？我们真的能与它共存、融入，甚至共同繁荣吗？

萨顿停顿了一下，然后谈话走向了一个奇怪的方向。

“我觉得我明白你的想法有问题了。你一直把人工智能称为‘他们’、‘他们’、‘那个’、‘另一个’。但这恰恰是问题所在。我们与真正智能的人工智能的相遇应该像第一次遇到一个新物种一样。我们越是将这种相遇外部化、越是疏远自己——我们与他们，他们与我们——我们就越有可能最终分道扬镳。”

“但是我们难道不应该教人工智能一些东西吗？”我追问道，“如果我们连语言都不一样，又怎么能想象一个共同的目标呢？”

我看到他的态度软了下来。

“我认为应该像对待孩子一样对待人工智能，”他说。“你可以教给它们一些你的道德准则，但它们是拥有自身不断发展规则的自主个体。”

另一个惨痛的教训是：我们所能做的，或许只能寄希望于人为的引导，帮助人工智能和人类建立起相互的归属感。但这些引导不过是一厢情愿地想要按照我们的形象塑造人工智能。作为一位父亲，我深知无条件的爱是单向的；它从父母传递给孩子，却可能永远无法得到回应。

萨顿曾阐述过新世纪归属感的悖论：不受约束的通用人工智能（AGI）是所有人工智能形式中最强大的，但也恰恰是最容易走向腐败的形式。然而，如果我们致力于创造一个对人类忠诚且依恋的人工智能，那么我们就应该竭尽全力教会它如何融入我们。诚然，施加任何此类限制都可能减缓它的能力和力量，但至少我们将拥有共同的所有权、亲缘关系和依恋。

萨顿说：“教人工智能像教孩子一样去爱，或许它也会爱你。但即便如此，也无法保证它一定会爱你，就像你对孩子也做不到一样。”

我临走前忍不住问了他关于红色按钮的事：万一整个项目出了问题，我们是不是应该设计一个？

又是一阵停顿。

他反驳道：“你有了孩子，会要求给孩子装个红色按钮吗？”

“但是，我们的孩子，或者说我们的成年人，都不能被赋予自由，去发动种族灭绝战争、散布虚假新闻、摧毁家庭、生命和生计、控制国家和藐视人类法律，”我抗议道。

他眯起了眼睛。

“难道不是吗？”他问道。

说完，他就挂断了电话。这是他最后得到的惨痛教训。

悉达多·穆克吉是一位印度裔美国血液学家、肿瘤学家，也是一位普利策奖得主，他最著名的作品是里程碑式的著作《众病之王：癌症传》。他目前是人工智能药物研发公司Manas AI的首席执行官。

THE BIG IDEAS: WHAT DRIVES US?

Can We Make A.I. Belong?

The source code of human belonging has seemingly drifted. How can we ensure that artificial intelligence doesn’t get similarly corrupted?

Listen · 17:54 min

• Share full article

By Siddhartha Mukherjee

Siddhartha Mukherjee is an oncologist and Pulitzer Prize-winning author.

• June 15,