尤瓦尔·赫拉利｜AI可能摧毁人类文明

防走失，电梯直达

来源：先知思想

作者：尤瓦尔·赫拉利

尤瓦尔·赫拉利（1976年—），生于以色列。2002年获牛津大学博士学位，现任教于耶路撒冷希伯来大学历史系。著有“人类简史三部曲”（《人类简史》《未来简史》《今日简史》）和《智人之上》等。

本文根据赫拉利在Frontiers Forum 2023 大会上的演讲翻译而成，原标题为“ AI与人类的未来(AI And The Future Of Humanity)”。

今天我想和大家聊聊AI，以及它可能给人类的未来带来什么。

我知道这次大会的主题是人类面临的生态危机，但AI，不管是好是坏，都和这场危机息息相关。

它可能在很多方面帮我们化解危机，但也可能让情况雪上加霜。

无机的智能体

实际上，AI甚至可能会改变我们对生态系统的理解。

要知道，在过去的四十亿年里，地球的生态系统里只有有机生命。

但现在，或者说在不久的将来，我们可能会看到地球上第一次出现无机生命，或者至少是无机的智能体。

自从二十世纪中期，也就是计算机时代开始，人们就开始害怕AI。这种恐惧也催生了很多经典的科幻作品，像《终结者》和《黑客帝国》。

这些科幻故事如今已成了文化符号，但它们在学术界、科学界和政界，却并没有得到足够的重视。也许，这是有原因的。

因为在这些科幻故事里，通常都有一个前提，那就是AI要对人类产生威胁，就必须先达成两个重要的里程碑。

第一，AI必须要有知觉，发展出意识、情感和感觉。不然的话，它为什么要统治人类呢？

第二，AI必须得擅长在物理世界里行动。机器人起码得像人类一样，灵活高效地在房屋、城市、山林里穿梭才行。如果它们连物理世界都搞不定，又谈何统治世界呢？

截至2023年4月，尽管ChatGPT和其他新的AI工具被炒得沸沸扬扬，但它们似乎离这两个目标还很遥远。我们没有任何证据表明，这些工具有哪怕一丁点的意识、感觉或情感。

至于在物理世界中导航，虽然自动驾驶汽车的宣传铺天盖地，但它们真正能占据我们道路的日子，却总是一再延后。

然而，令人不安的是，AI想要威胁人类文明的生存，其实并不需要意识，也不需要在物理世界里自由行动。

最近几年，一些新的AI工具开始进入公共领域。它们可能会以我们意想不到的方式，对人类文明的生存构成威胁。

这些新工具的能力，以及它们发展的速度，都让人难以置信。

新AI工具的基本功能

AI可以通过自学来不断提升自己。就连开发者，也没法完全掌握自己创造出的东西的所有能耐。这些工具展现出的新能力，常常让开发者自己都感到惊讶。

我想在座的各位，对新AI工具的一些最基本功能，比如写作、绘画、作曲和编程，应该都有所了解。

但它们的新能力远不止于此。比如说，它们可以深度伪造人声和图像，可以起草法律文件，还能找出计算机代码，甚至是法律合同和协议里的漏洞。

但最厉害的，恐怕还是它们与人类建立深厚亲密关系的能力。每一种能力都值得我们深入探讨，但它们的影响实在太大，我们很难完全理解。

所以，为了方便大家理解，我们不妨把这些能力都归为一类：操纵和生成语言的能力，不管是通过文字、图像还是声音。

目前这场AI革命，最关键的一点是，AI对语言的掌握程度，已经超越了人类的平均水平。

通过掌握语言，AI就等于拿到了打开所有机构大门的钥匙，从银行到寺庙，莫不如此。

因为语言是我们向银行发出指令，以及在我们脑海中描绘美好愿景的工具。

我们可以这样理解，AI入侵了人类文明的操作系统。语言，一直是人类历史上所有文化的操作系统。

语言是万物之始

我们用语言创造神话和法律，创造神灵和金钱，创造艺术和科学，创造友谊和国家。

举个例子，人权并不是一种生物学上的事实，它并没有写在我们的DNA里。

人权是我们用语言创造出来的，通过讲故事和制定法律。

神灵也不是生物学或物理学上的事实，神灵也是我们人类用语言创造出来的，通过讲述传说和撰写经文。

金钱也不是生物学或物理学上的事实。纸币不过是些毫无价值的纸片。而现在，世界上超过90%的钱甚至都不是纸币，它们只是计算机里的电子信息，在不同的账户间流转。

任何形式的货币之所以有价值，都只是因为银行家、财政部长和加密货币大佬们讲的故事。像Sam Bankman-Fried、Elizabeth Holmes 和 Bernie Madoff，他们并没有创造多少真正的价值，但他们都是讲故事的高手。

那么，如果有一天，我们生活在一个绝大多数的故事、旋律、图像、法律、政策和工具，都由一个非人类的外星智能创造的世界里，会怎么样？

这个智能懂得如何高效地利用人类思维的弱点、偏见和成瘾性，并且懂得如何与人类建立深厚，甚至是亲密的关系，这又意味着什么？这才是真正的大问题。

现在，在象棋比赛中，人类已经不可能战胜电脑了。如果同样的事情发生在艺术、政治、经济，甚至是宗教领域，那会怎么样？人们在谈论ChatGPT和其他新的AI工具时，常常会想到孩子们用它们来写作文。孩子们用ChatGPT写作文，会对教育体系造成什么影响？

这当然是个问题，但它并没有抓住重点。我们应该忘掉学校作文，而应该想想，如果是在2024年的美国总统大选时，出现一种新的AI工具，可以大量生成政治宣言、假新闻，甚至是新Cult组织的“圣经”，那会怎么样？

近年来，有个叫"QAnon"的Cult组织，在美国乃至全球迅速发展壮大。他们信奉一些匿名的网络文章，也就是“Q帖子”。这个组织有数百万的追随者，他们收集、阅读并诠释这些帖子，视其为某种新的“圣经”。

据我们所知，以前所有的“Q帖子”都是由人类撰写的，机器人只是帮着在网上散播。但以后，我们可能会看到历史上第一个Cult组织，甚至是宗教，它们信奉的“圣经”是由非人类的智能撰写的。

当然，历史上一直有宗教声称，他们的“圣经”是由非人类的智能撰写的，但这从来都不是真的。但现在，这却可能很快就会变成现实，而且会带来深远的影响。

再说说更实际的。我们可能很快就会发现自己正和一些我们以为是人类的实体，在网上就堕胎、气候变化，或者俄罗斯入侵乌克兰等问题进行长时间的讨论，但实际上，和我们辩论的却是AI 机器人。

关键是，我们花时间去说服一个AI机器人改变它的政治观点，完全是徒劳无功。但我们和机器人聊得越久，它就越了解我们，越知道该如何调整它的话术，从而改变我们的政治、经济或其他任何观点。

战场正从注意力转向亲密关系

正如我刚才说的，AI可以通过掌握语言，与人类建立亲密关系，并利用这种亲密关系来影响我们的观点和世界观。

现在，没有任何迹象表明AI像我刚才说的，拥有任何意识，任何自己的感觉。但是，为了与人类建立虚假的亲密关系，AI并不需要自己的感觉。它只需要能够激发我们内心的感觉，让我们依附于它。

2022年6月，谷歌工程师Blake Lemoine公开声称，他正在研究的AI聊天机器人LaMDA已经产生了知觉，这引起了轩然大波。这个极具争议的主张让他丢了工作。

关于这件事，最有趣的不是Lemoine的主张，这很可能是不真实的。真正有趣的是，他竟然愿意为了他认为自己正在保护的AI聊天机器人而冒险，并最终失去了自己报酬丰厚的工作。

如果AI能够影响人们去冒险并失去他们的工作，它还能诱导我们做什么呢？在每一场争夺人心和思想的政治斗争中，亲密关系都是最有效的武器，而AI刚刚获得了与数百万、数亿人建立亲密关系的能力。

正如大家可能都知道的，在过去的十年里，社交媒体已经成为一个争夺人类注意力的战场。

现在，随着新一代AI的出现，战场正从注意力转向亲密关系，这是非常糟糕的消息。

随着AI在争夺与我们建立亲密关系的战斗中相互竞争，人类社会和人类心理将会发生什么？这些关系随后可以被用来劝说我们购买特定的产品，或投票给特定的政治家。即使不创造虚假的亲密关系，新的AI工具也会对人类的观点和我们的世界观产生巨大的影响。

例如，人们可能会开始使用，并且已经在开始使用单一的AI顾问，作为一站式的信息来源。难怪谷歌会感到恐惧。如果你一直在看新闻，谷歌感到恐惧是有充分理由的。

当你可以直接问AI顾问你想知道的任何事情时，你为什么还要自己搜索呢？你不需要搜索。

新闻业和广告业也应该感到恐惧。当我可以直接问AI顾问告诉我有什么新鲜事时，我为什么还要读报纸呢？

当我可以直接问AI顾问告诉我买什么时，广告的意义何在？因此，有可能在很短的时间内，整个广告行业将会崩溃，而AI，或者控制新的AI顾问的人和公司，将会变得非常非常强大。

我们潜在地谈论的，无异于人类历史的终结，不是历史的结束，只是我们所说的人类统治的历史的结束。

这是生物学和文化相互作用，是我们对食物和性的生物学需求和欲望，与我们的文化创造，如宗教和法律之间的相互作用。历史是宗教和法律与食物和性相互作用的过程。

当AI接管文化

那么，当AI接管文化时，这种相互作用的原因，即历史，将会发生什么？在几年之内，AI可能会吞噬整个人类文化，数千年来产生的一切，消化它，并开始涌出大量新的文化创造，新的文化产物。

请记住，我们人类从未真正直接接触到现实，我们总是被文化包裹着，我们总是通过文化的棱镜来体验现实。

我们的政治观点是由记者们的故事和朋友们的轶事塑造的，我们的性偏好受到电影和童话故事的影响。即使是我们走路和呼吸的方式，也是受到文化传统的影响。

以前，这个文化的茧一直是由其他人类编织的。以前的工具，如印刷机、收音机或电视，帮助传播人类的文化思想和创造，但它们永远无法独自创造新的东西。

印刷机无法创造一本新书，它总是由人类完成的。AI从根本上不同于印刷机、收音机，以及历史上所有以前的发明，因为它能够创造全新的思想，它可以创造一种新的文化。

而最大的问题是，通过非人类智能，通过外星智能产生的棱镜来体验现实，会是什么样子？

起初，在最初的几年里，AI可能主要模仿原型，即它在婴儿期所接受的人类原型。但是，随着时间的推移，AI文化将大胆地走向人类从未去过的地方。

数千年来，我们人类基本上生活在其他人类的梦想和幻想中。我们崇拜神灵，我们追求美的理想，我们把自己的一生奉献给源于某些人类诗人、先知或政治家想象力的事业。

很快，我们可能会发现自己生活在一个外星智能的梦想和幻想中。而这带来的危险，它也具有积极的潜力，但它带来的危险是根本性的，与科幻电影和小说中想象的一切，或大部分事物都非常不同。

以前，人们主要担心智能机器构成的物理威胁。因此，《终结者》描绘的是机器人在街上奔跑并射杀人类。《黑客帝国》假设，要获得对人类社会的完全控制权，AI首先需要获得对我们大脑的物理控制权，并将我们的大脑直接连接到计算机网络。但这是错误的。

仅仅通过掌握人类语言，AI就拥有了它所需要的一切，以便将我们包裹在一个类似《黑客帝国》的幻觉世界中。与一些阴谋论假设的相反，你真的不需要在人们的大脑中植入芯片来控制他们或操纵他们。

数千年来，先知、诗人和政治家一直使用语言和讲故事来操纵和控制人们，并重塑社会。

现在，AI很可能能够做到这一点，一旦它能够做到这一点，它就不需要派遣杀手机器人来射杀我们，如果它真的需要，它可以让人类扣动扳机。

对AI革命的恐惧

对AI的恐惧只困扰了人类几代人，比如说从20世纪中期开始，如果你回到《弗兰肯斯坦》，也许是200年，但数千年来，人类一直受到一种更深层的恐惧的困扰。人类总是欣赏故事、图像和语言的力量来操纵我们的思想并制造幻觉。

因此，自古代以来，人类一直害怕被困在一个幻觉世界里。

在17世纪，笛卡尔担心也许有一个恶意的恶魔把他困在一种幻觉世界里，创造了笛卡尔所看到和听到的一切。

在古希腊，柏拉图讲述了著名的洞穴寓言，其中一群人一生都被锁在一个洞穴里，面对着一面空白的墙，一个屏幕。在那个屏幕上，他们看到投射出来的各种阴影，囚犯们把这些幻觉，这些阴影误认为是现实。

在古印度，佛教和印度教的圣人们指出，所有的人类都生活在他们所说的“摩耶”中。“摩耶”是幻觉世界。

佛陀说，我们通常认为是现实的东西，往往只是我们自己头脑中的虚构。人们可能会发动整个战争，杀死他人并愿意被杀，因为他们相信这些虚构的东西。

因此，AI革命正把我们带到与笛卡尔的恶魔、柏拉图的洞穴、“摩耶”面对面。如果我们不小心，一层幻觉的帷幕可能会降临到全人类身上，我们将永远无法将其撕掉，甚至无法意识到它的存在，因为我们会认为这是现实。

社交媒体和AI

如果这听起来牵强附会，那就看看过去几年里的社交媒体。社交媒体让我们初步体验了即将发生的事情。

在社交媒体中，原始的AI工具，非常原始的AI工具被用来策划内容，而不是创造内容，这些内容是由人类创造的。

人类创造故事和视频等等，而AI选择哪些故事，哪些视频会传到我们的耳朵和眼睛里，选择那些会获得最多关注的，那些会最受欢迎的。

虽然非常原始，但这些AI工具仍然足以制造这种幻觉的帷幕，这种幻觉增加了全球范围内的社会两极分化，损害了我们的心理健康，并破坏了民主社会。数百万的人将这些幻觉误认为是现实。

美国拥有历史上最强大的信息技术，然而美国公民却不能再就谁赢得了上次选举，或者气候变化是否真实，或者疫苗是否能预防疾病达成一致。

新的AI工具比这些社交媒体算法要强大得多，它们可能会造成更大的损害。当然，AI也具有巨大的积极潜力。我没有谈论它，因为开发AI的人自然会谈论它，你不需要我加入到那个合唱中。

AI的积极潜力

像我这样的历史学家和哲学家的工作，通常是指出危险。但当然，AI可以以无数种方式帮助我们，从找到治疗癌症的新方法，到找到我们所面临的生态危机的解决方案。

为了确保新的AI工具被用于好的方面，而不是用于坏的方面，我们首先需要了解它们的真正能力，我们需要非常非常仔细地监管它们。

自1945年以来，我们知道核技术可以摧毁人类文明，也可以通过产生廉价而丰富的能源来造福我们。因此，我们重塑了整个国际秩序来保护自己，并确保核技术主要用于好的方面。

我们现在必须应对一种新的大规模杀伤性武器，它可以摧毁我们的精神和社会世界。核武器和AI之间的一个巨大区别是，核武器无法产生更强大的核武器，而AI可以产生更强大的AI，因此我们需要迅速采取行动，赶在AI失控之前。

制药公司不能在没有首先对这些产品进行严格的安全检查的情况下，向人们出售新药。生物技术实验室不能为了用技术魔力给股东留下深刻印象，就将一种新的病毒释放到公共领域。

同样，政府必须立即禁止将任何更具革命性的AI工具释放到公共领域，然后才能确保它们的安全。我并不是说要停止所有AI研究。

第一步是阻止其进入公共领域。你可以在某个地方研究病毒，而不用将其释放给公众。你可以研究AI，但不要过快地将其释放到公共领域。

AI军备竞赛

如果我们不减缓AI军备竞赛，我们将没有时间去理解正在发生的事情，更不用说有效地监管这项极其强大的技术。

你可能会想知道，减缓AI的公开部署，是否会导致民主国家落后于更无情的独裁政权？答案是绝对不会，恰恰相反。不受监管的AI部署，才会导致民主国家输给独裁统治。

因为如果我们释放混乱，专制政权比开放社会更容易控制这些混乱。民主本质上是一种对话，民主是一种公开的对话。

独裁是独裁，有一个人在独裁一切，没有对话。民主是许多人之间关于做什么的对话，而对话依赖于语言。

当AI侵入语言时，意味着它可能会摧毁我们进行有意义的公共对话的能力，从而摧毁民主。如果我们等待混乱发生，就来不及以民主的方式进行监管了。也许在专制或极权主义的范围内仍然可以进行监管。

但是如果你不能就此进行对话，你如何才能以民主的方式监管某些东西呢？如果你没有及时监管AI，我们将无法再进行有意义的公共对话。

总而言之，我们基本上遇到了一个外星智能，不是在外太空，而是在地球上。我们对这个外星智能知之甚少，只知道它可能会摧毁我们的文明。

因此，我们应该停止这种外星智能在我们的社会中不负责任的部署，并在AI监管我们之前对其进行监管。

我可以提出许多监管措施，但我建议的第一个监管措施是，强制要求AI在与人互动时，必须披露自己是AI。如果我正在和某人谈话，而我无法分辨这个人是人类还是AI，那就是民主的终结，因为那是意味深长的公共对话的终结。

现在，你对你刚才听到的这些内容有什么看法？我想你们中的一些人可能会感到惊慌，一些人可能会对开发这些技术的公司或未能监管它们的政府感到愤怒。

你们中的一些人可能会对我感到愤怒，认为我夸大了威胁，或者误导了公众。但无论你怎么想，我敢打赌我的话对你产生了一些情感上的影响，不仅仅是智力上的影响，还有情感上的影响。

我刚才给你讲了一个故事，这个故事很可能会改变你对某些事情的看法，甚至可能导致你在世界上采取某些行动。

那么，是谁创造了你刚才听到的，并改变了你的想法和大脑的故事呢？

我向你保证，这段演讲稿是我自己写的，在其他一些人的帮助下完成的，尽管图像是在AI的帮助下创作的。我向你保证，至少你听到的文字是人类思维或几个人的思维的文化产物。但你能完全肯定吗？

一年前，你肯定可以。一年前，地球上没有任何东西，至少在公共领域，除了人类的头脑，能够产生如此复杂和强大的文本。但现在不同了。

理论上，你刚才听到的文本可能是由一个非人类的外星智能生成的。所以，花一点时间，或者更多的时间来思考一下。

谢谢大家。