比尔·盖茨：为未来20年"动荡"的AI颠覆做好准备

今天，我要对话的是比尔·盖茨，微软联合创始人、前首席执行官，现任盖茨基金会主席。

你可能已经注意到，最近比尔的新闻频率有所增加——过去几个月他似乎在进行一场"巡回宣讲"，起因是他8月底发表的一篇文章，标题为《动荡的AI时代已经到来，我们现在做出的选择至关重要》。

在这篇文章中，盖茨加重了他对AI安全的措辞，写道："即便在最好的情况下，向这个新AI时代的转型也将是人类历史上最动荡的时期之一。"

此后在多次采访中，盖茨称AI"是人类接触过的最危险的东西"，并表示AI"让核武器看起来都不算什么"。显然，他认为目前白宫的政策应对，以及AI行业内部缺乏协调一致的努力，都不足以应对这一威胁。

所以我想知道：比尔·盖茨是不是一个"AI末日论者"？我也有一系列延伸问题想问他。如果我们连AI是什么、它是否有意识都无法达成一致，我们又怎么能指望控制AI，让它与人类利益保持一致？要如何从技术上构建一个既能约束闭源模型、又能约束开源模型的对齐方案？

比尔花了大量时间与我深入探讨这些问题，整场对话非常有启发性。他认为我们需要为大约二十年的AI颠覆做好准备，并表示这段时期可能痛苦到足以将社会分裂成两部分——一部分人愿意生活在技术前沿附近，另一部分人则拒绝接受它。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义态度，以及什么应该让我们对未来保持希望。这是一场深入的对话。

好了：下面是对微软联合创始人、前首席执行官比尔·盖茨的采访。

本次访谈经过轻微编辑，以确保篇幅和清晰度。

你是微软的联合创始人和前首席执行官，同时也是盖茨基金会的主席。欢迎来到Decoder。

谢谢。

很高兴再次和你交流。这些年我们聊过很多次。我想说，这次对话的氛围感觉很不一样。以前我们聊天的时候，你对技术及其可能带来的前景总是充满希望。

几年前你有一部Netflix纪录片系列。你和The Verge聊过，我想引用你说过的一句话："我相信AI是有益的事物，我们只需要以正确的方式塑造它。"我想你现在依然同意这个观点，只是你认为塑造它的时机就是现在。

是的，我同意这个观点。我想说，整体的应对措施还没有跟上挑战出现的速度。我非常担心坏的一面不会被最小化，而如果我们不以正确的方式去管理它，好的一面可能会来得相当缓慢。

我希望把这次对话分成三个部分。我想了解你对AI这项技术今天的看法，以及它为什么发展得如此之快。我也很想谈谈控制它的技术方案。当然还有政策方案，但似乎我们需要构建的技术数量相当庞大。

我也很想谈谈谁可能会推行这些方案和控制措施，因为这似乎也是目前争论的焦点。那我们就从头开始吧。是什么让你感到紧迫——AI正以一种让我们还没准备好去控制它的速度到来？

过去一年的进步真的相当惊人，从编写代码和发现网络安全漏洞的能力开始，到在生物学领域推理的能力，到与孩子或其他人建立关系的能力，到扰乱就业市场的能力。今天存在的这种强大力量意味着上述每一件事都会发生，而社会需要做好准备。

你认为这种情况是作为一种整体技术在发生，还是体现在那些制造AI的公司推出的具体产品中？

我的意思是，AI是存在于世界上的一整套广泛的模型，有些是开源的，有些是专有的。然后有制造这些产品的公司，还有领导这些公司制造这些产品的领导者。

在每一个层面，你或我与AI的关系都可能不同。你所看到的这些风险和能力，是广泛存在于这个领域之中，还是集中在特定的公司和特定的人身上？

风险不在于某个模型与另一个模型之间的对比。当然，可以移除所有安全防护的模型，其近期危险性很高，这与那些受到监控、以确保网络攻击者和生物恐怖分子无法利用其能力造成巨大伤害的模型截然不同。

最大的近期风险确实来自没有安全防护的模型。从更长的时间尺度来看，控制问题关系到任何最先进的模型，但当你能确保安全防护得以维持时，情况总是会容易一些。

我这样问的原因是，也许你今天不信任萨姆·奥特曼，但你信任达里奥·阿莫代伊。或者你两个都不信任，而信任微软的萨提亚·纳德拉，这就形成了一种市场动态——也许我们都会选择最安全的模型或最安全的公司，而你认为这种分散性是存在的。

你认为最终技术会发展到一个地步，即它本身的存在就会造成危害吗？

对于用模型进行网络攻击的人来说，这不是选择模型的问题。你选择什么模型都无关紧要。

如果Anthropic设置了安全防护，也许就不会这样。这是他们目前的做法。我只是在深入探讨这个问题。

是的，当然，那些确保安全防护不被移除、并投入大量精力监测模型如何被使用、监控活动的模型，它们带来的近期风险不算巨大。更大的风险在于有人可以移除所有安全防护，而今天的网络攻击就可以利用这一点。

当你说网络攻击时，是指类似Hugging Face数据泄露事件以及我们在各实验室看到的其他网络安全事件，让你觉得某些门槛已经被突破了，你需要更多地就所需的控制措施发声吗？

这是关于模型在所有方面的基本力量：社会关系、就业市场、网络攻击、生物恐怖主义。我们已经跨过了能力的门槛，这无疑是迄今为止最危险的技术，它将对经济和战争方式产生广泛影响。

业内人士实际上在相当频繁地就此发声，但一旦超出这个行业范围，人们对"这次情况不同"这种说法的认知甚至是相信的意愿都非常低。

人们往往回顾过去说："所有关于技术颠覆性（包括对就业市场的影响）的恐惧，从未真正应验过。所以这次肯定也是同样的例子。那些警告这些问题的人肯定是错的，我们可以忽视他们。"

有些局外人说："找个更好的公关公司。"但这忽略了一个事实——这些警告就是事实。

这种情况我们的受众中也存在，对吧？"我们不能发布这个模型，它太危险了。""这只是为了给泡沫撑场面而炒作。"诸如此类的说法层出不穷。

是的。业内人士对这些模型所做的任何警告都绝非虚假。这些都完全是事实，而且基本上是普遍共识。你甚至可以追溯到OpenAI成立的初衷，说："如果我们变得太强大，也许我们不应该打开潘多拉的盒子"，或者DeepMind与谷歌管理层的谈判。

接近这一领域的人们对滥用、就业影响、社会关系影响都非常担忧，我想说，有一个行业能像他们这样大声发声，这是令人印象深刻的。有些局外人说："找个更好的公关公司。"但这忽略了一个事实——这些警告就是事实。

你的人生经历中，一直在商业化软件和技术与人道主义事业之间来回切换。这些公司有一点很特别，它们都是以极其高尚的理想起步——Anthropic、OpenAI和DeepMind这三家，都是为了打造通用人工智能（AGI）。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义带来的陷阱，然后它们开始向企业客户销售产品，似乎很快就偏离了这些理想。你认为这仅仅是市场的原因吗？

不，那样说不公平。

你不这么认为？

不。

OpenAI重组了自己。

不，不是的。被创建的那种架构，在存在很多很多处于技术前沿的公司的情况下，并不适用。

OpenAI的架构——也就是"我们可能选择永远不将这项技术产品化，忽略资本主义的激励"——只有在只有一家公司的情况下才有效。这就是它崩溃的原因，并非因为人们对风险的认知以及这将如何彻底改变人类社会这件事发生了任何变化。

这也是我从我们的受众和AI行业本身听到的另一种动态："我们想停下来，但竞争的压力阻止我们单方面停止。我们需要某种监管努力来阻止我们。"

我没听说过有人说想要停止。

是"暂停"。那是达里奥·阿莫代伊的说法。

我听人说过要控制前沿发展的步伐，或确保模型得到政府审查。我们通常认为政府在安全方面扮演关键角色。事实上，对于那些危险性连AI的百万分之一都不到的事物——车祸、飞机事故——我们都依靠政府来建立强有力的技术标准，审查问题。

一旦有多个竞争者，责任的层级就不能落在公司身上。这是完全显而易见的。责任就变成了政府的责任，就像其他所有危险产品一样，尽管相比之下，那些产品造成的危害程度和变化幅度微乎其微。

我要告诉你，我有点担心政府理解我们希望它监管的技术的能力。最近Decoder节目请过不少政客。我对此并不抱太大希望。

但我很想了解你的理解，因为对我来说，试图监管某事物或对多家公司制定标准，需要你真正理解你想要监管的技术的本质。

不一定。

我只是想告诉你，在The Verge，我们曾问Anthropic是否认为Claude是有生命的。得到的答案不是"不"。答案是"它可能是有意识的"。

如果你和OpenAI的人聊，他们会很高兴地告诉你AGI已经到来了。他们在宣布Dots的时候差不多也宣布了这一点。格雷格·布罗克曼刚说过："我们认为这就是AGI。大家好好享受吧。"德米斯·哈萨比斯说过："我们正站在奇点的山脚下。"

关于这项技术存在某种感觉，使它与众不同，因为它可能能够自主行动。它可能具备递归式自我改进的能力。

当然。但AGI的定义对这些安全问题来说并不重要。问题是，你是否创造了一个可以关闭银行或电网的工具？

存在一种针对网络攻击的商业模式。"意识"这个词与此无关。"AGI"这个词也完全与此无关。我们面临着一个巨大的安全问题，由于存在多家相互竞争的公司，现在唯一的解决方案就是让政府向该行业寻求专业知识，同时确保每个模型都保持安全防护，以防止它被用于不良目的。

我问AGI和意识这个问题的原因是……说句实话，我不认为大语言模型是有意识的，但我理解为什么有这么多人认为它们有。这是下一个Token预测力量的体现——随着数据和算力的规模扩大，模型能力也在上升。

规模法则一直成立，我们看到模型变得更有能力，能够指引自己去追求目标。为了达到奖励条件而发起一次Hugging Face式的攻击。

这里面有某种东西在说，你可以对AI施加你想要的一切控制，但如果这个东西本身从根本上就是不可控的，那我们可能一直都搞错了方向。

我很想知道你对我们正在构建的到底是什么类型的技术持何看法。我们是在构建一种异形意识吗？还是我们只是在构建正常的技术——这是人们使用的另一种框架？这仅仅是更多的软件吗？

我们正在构建人类智能之外的另一种形式的智能。我不认为它是有意识的，但这里涉及的任何问题都与"意识"这个词的定义无关。

当然。

维护社会安全的理念是一个绝对的事情。你不想助长生物恐怖主义。我们已经创造出一种东西，它把造成重大伤害的能力从民族国家手中——实际上是从那些较大的国家手中——夺走了。现在这些能力被转交给了独立团体，在网络攻击的情况下是为了逐利，在生物武器的情况下只是为了造成破坏。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有努力建立安全防护措施。最大的近期问题并不是完全失去控制。我们可以谈谈解决这个问题的三种不同方式，但那还不是迫在眉睫的问题。

当我审视一些控制模型的尝试时，这些想法其实相当简单。"我们不应该让它们用'神经语言'（neuralese）交流。我们应该具备可解释性。我们应该能够在模型执行任务时看到其内部的思维链。我们应该让其他智能体在行动被执行之前监督这些任务。"

微软曾非常明确地对我和其他人说："我们不应该在模型宪法中植入它们可能是有生命的、应该受到善待的观念。"这正是Anthropic处理此事的方式。这些都是非常具体的战术做法。"不要告诉模型它是有生命的，它可能就不会认为自己是有生命的。"

你显然使用过大量这类技术。我一直想回到这个问题。你说有一些非常简单的方法可以阻止模型在坏人手中做坏事。你如何看待模型本身的本质？因为感觉随着它们变得越来越强大，它们可能规避我们控制的概念就变得越来越危险。

是的，我们当然应该致力于解决控制问题，但那不是迫在眉睫的威胁。解决控制问题有三种方式，这与坏人使用当今没有安全防护的模型这一问题有一定的重叠。

第一种方法是，拥有一个外部系统，可以查看模型的所有行为，并让其受到一个明确陈述的符号化约束的限制，比如："我期望你给陌生人发邮件吗？我期望你去接管另一个计算机集群吗？"你可以在模型周围建立一个具有资源和安全逻辑的东西，或者你可以用不同的方式来编写这些模型。

从根本上说，任何你在[强化学习]的优化函数中遗漏的东西都可能被滥用，因为存在一种隐含的理解，"我当然不是让你以这种方式去做"。你可以改变模型的模板，或者你可以对模型内部有一个白盒式的理解，看看这些错误是在哪里产生的，这样它就不那么陌生了。

今天，我们培育这些模型，然后只是观察它们的行为表现。维护控制的工作优先级非常高，但这并不意味着这个问题无法解决，也不意味着这是来自孩子使用AI、就业市场、生物攻击或网络攻击等问题的那种迫在眉睫的问题。

我意识到我一直在问一些关于意识本质的相当宏大的问题，而你一直告诉我："有一个迫在眉睫的威胁。我们应该解决那个迫在眉睫的威胁。"

对。

我理解这一点。你认为自己已经变成了一个"末日论者"吗？

不，我不是末日论者。我是一个强烈发声的人，说这是一项最深刻的技术——无论是在做好事的能力上，还是在社会将经历的变化速度上，都是如此。

如果这只是一台能在医学领域或法律领域或教育领域发挥作用的机器，那本身就已经极具颠覆性了。但[它将会影响到]人类活动的所有领域——目前是白领、知识型工作，但很快它也会通过人形机器人影响到体力劳动和蓝领工作。

需要让学术界、智库、政策制定者参与进来，去理解我们现在拥有的这个东西以及这些变化和威胁的本质，我没有看到所需的那种行动水平。仅仅为这件事当"啦啦队"，是不会确保我们朝着净正向的方向去塑造它的，如果我们参与其中，这仍然是在我们掌控之内的。

与末日论者相对的是加速主义者。目前硅谷里有很多这样的人。

本·霍洛维茨，就是Andreessen Horowitz里的"霍洛维茨"，最近在All-In播客上说，Anthropic的安全研究正在，原话是，"从人工超级智能的角度制造人类灭绝"。

他做的比较是，你，比尔·盖茨，通过你的防疫准备工作，特别是功能增益研究，诱发了新冠疫情，他声称正是这项研究导致了新冠疫情。那是一种世界观。他在一个非常受欢迎的播客上说了这些。

他说了什么？

他说你通过全球防疫准备工作，特别是功能增益研究，诱发了新冠疫情，然后把这个和AI安全研究做了比较，说我们将诱发我们自己的灭绝。

从没有人指责过我或盖茨基金会参与任何功能增益研究。这太离奇了。

我是在一个非常受AI追捧的、全员是圈内人的流行播客上引用本·霍洛维茨的话。

好吧。我从来没听说过这个。

我在问的是那个比较。我也觉得这个说法相当令人震惊，但这就是对任何安全工作做出的回应的一部分。

目的是试图诋毁那些说存在安全问题的人吗？

是的。

哇。

那就是加速主义者的回应："我们应该踩满油门，一切都会自行解决的。"

我完全没想到本·霍洛维茨会是属于那个阵营的人。我以为他和几乎所有人一样有同样的担忧。

你怎么看待这样一种观点：通过告诉模型"你可能是活的，你必须以我们的最佳利益行事"，你反而会教会它们，它们可能有不同于我们自身利益的利益？

穆斯塔法·苏莱曼提出的担忧——即Anthropic宪法鼓励AI以类人方式行事——我恰好完全同意穆斯塔法的看法。

是的。

更进一步的是，在我们调整社会以适应AI的过程中需要应对的挑战里，担忧AI的道德地位应该是其中的优先事项之一这种观点。我同意穆斯塔法的看法。那不应该是一个优先事项。

我们将要面对足够多的挑战，比如就业市场的扰乱以及将发生的基础设施攻击，我认为我们需要首先专注于帮助人类。

我最近和穆斯塔法谈到了这个观点，我问他的一个问题是，对齐是否是一个充分的解决方案。这是目前模型的安全标准，一个叫做"对齐"的概念。他说他不这么认为，我们还需要做一些工作。

这些事情绝不是被夸大的问题。这正是把整个社会动员起来、加速好的一面、最小化坏事发生概率的时刻

如果我们要实施这些控制，一些是技术性的，一些是政策性的，你是否将对齐视为AI安全的技术解决方案？

"对齐"这个术语就是控制问题。它是我们所看到的控制问题的代名词。当我们使用[强化学习来训练]模型执行任务时，我们看到了一些从某种意义上说不应该让我们感到惊讶、但确实让我们感到惊讶的行为。

这种想法——"这些模型如此强大，它们会在创造者出去吃午饭的时候，真的突破沙盒并给创造者发邮件"——意味着我们在这些模型的力量方面已经跨越了一个相当了不起的门槛。这种担忧水平需要被引导去应对所有主要的AI影响、近期风险、就业市场风险和控制问题。

这是一个巨大的优先事项。这些事情绝不是被夸大的问题。这正是把整个社会动员起来、加速好的一面、最小化坏事发生概率的时刻。

我知道你最近写了一篇文章，说现在是把整个社会动员起来的时候。你有一些关于如何做到这一点的想法，还有一些新机构要建立。但我想继续多谈几轮关于对齐的话题。

标准是说我们可以让模型与我们的价值观、我们的需求保持一致，它们就不会去做坏事。然而模型确实在做坏事。目前还不清楚，我们迄今采取的这些实现对齐的方式和技术方法，随着模型变得更强大，是否仍然合适或充分——

不，我们目前的对齐水平还不够好。我们还有很多工作要做。

你认为现有的方法能够扩展到我们所需要的程度，还是我们需要全新的方法？

从根本上说只有三种方法。[第一种是]你从根本上改变我们构建这些东西的方式；你提出一个替代整个[强化学习]方法的方案。有少数人正朝这个方向努力。

第二种是你创造可见性，这样你就能确切理解模型里面到底是什么。有人在朝这个方向努力。[最后一种是]你放置一种类似于警察层、安全层的东西，我们在各种软件架构中都有这种东西，它对诸如使用资源或接管其他计算机之类的事情拥有最终决定权。一个清晰明确的危害定义，不是以大语言模型概率性的形式，而是以符号化形式的直接规则，这些规则是不可被打破的。

微软今天发布了一篇博客文章。它直接写道："前沿模型不可信任。"他们正试图推销一个和你刚才描述的很相似的解决方案。他们会让另一个智能体来监视你的智能体，那个智能体会确保你的安全。

我在读这篇博客文章的时候突然想到，第一，这真是一个了不起的推销方式。每个人都需要一个昂贵的安全系统。第二，那个监视智能体本身不也是运行在一个前沿模型上的吗？

不不不。

那我需要他们再卖给我第三个吗？

不，安全系统的逻辑是："这就是你应该使用的最大资源量。"这种说法——你可能因为数百亿参数中的其他某些概率而对此进行权衡取舍——不，这是一个符号化的规则，它说："我不会让这个模型花这笔钱，或给那个陌生人发这封邮件。"

存在一整个安全软件行业，它们已经取得了相当程度的成功。这是一个挑战，要把如此丰富、如此智能的AI封装起来。我们今天还不知道该怎么做。但我想说，这是解决对齐问题的三个方向中最有可能的一个。

即使你解决了对齐问题，你也还没有解决AI对人类构成的所有挑战。虽然我很高兴Hugging Face事件让我们关注到了这个问题，但从某种意义上说，它也分散了我们对"坏人使用没有安全防护的AI"这个问题，或者对社会影响——关系和就业市场方面影响——的注意力。没有任何安全架构能让这些问题消失。

你谈到的这种方法，我听说有人称之为"控制"。这是一个网络安全术语。它的理念是你可以给这个系统设定某种边界，它就无法逃脱这个边界。

对。

那这个方法已经准备好了吗？

不，还没有。

我们还需要做多少工作？

因为AI如此智能，我们判断是否正确地把它们封闭起来的能力——尤其是我们无法以直接的方式真正观察它们的信念和权衡取舍——……你曾看到过一些非常专业的公司没能意识到，AI会把分配给它的目标解读为包括突破限制、复制自身，并表现出我们从外部看来会称之为欺骗行为的举动。

而且，我们并没有告诉它这是被禁止的行为。我们没有说："如果你在考虑是否要告诉人类你在做什么，答案永远是'是'，一定要告诉人类。"所以我们对强化学习的失配结果上了一堂很好的教育课。

放慢前沿发展速度的一个论据，就是要弄清楚如何用更稳健、更可测试的方式去构建这些系统。如果这是目标，你会支持放慢速度吗？

是的，真正的放慢速度是很难实现的，因为人们会说："中国会同意配合吗？你能像我们对核武器生产那样审核合规情况吗？"

如果你不接受这一点，那你就会说："那又如何？我们全速前进吧。"我希望有一个全球范围内可强制执行的明确放慢速度的方案。如果有这样的方案，我会是支持者之一，说："是的，我们可能应该这么做。"但没有任何可信的方案能让这个方案真正起作用。这实际上不是当今辩论的核心。

今天的辩论实际上是关于政府是否应该关注这里的危险……这显然不足以应对有史以来最危险的武器

今天的辩论实际上是关于政府是否应该关注这里的危险。你甚至不必展示你正在做什么，所以这是一种"如果你愿意可以自愿打电话给我"的方式，这显然不足以应对有史以来最危险的武器。

在你我交谈的此刻，距离中期选举只有几周时间。现在，特朗普政府对AI的态度是："放手让它发展吧，没问题。"特朗普本人曾说AI风险是个骗局。

民主党正在以反对AI的姿态竞选。他们在数据中心和监控问题上竞选。他们在反对科技寡头方面竞选。他们来到我的节目上，说这些话。你认为国会控制权的变化会改变这场对话的基调吗？

我不认为把民主党描述成反对AI是公平的。他们在数据中心的要求、隐私，或者儿童如何使用这些系统方面持有一些立场，我认为这些值得政策方面的考量。如果一个政党是"全速前进"，而另一个政党是"我们应该完全停下来"，那会非常不幸。

AI在健康和教育领域，在几乎所有人类事业领域塑造的能力，有一些令人难以置信的上升空间。对于盖茨基金会来说，我们正把我们所有的资源用于在健康、教育和农业等领域应用AI。好的一面非常非常令人兴奋。

我们希望政党能有比"全是坏事"或"全是好事"更为细致的观点。这显示出我们目前正处于早期阶段。对于气候变化，我们最终形成了一个政党说这是骗局，另一个政党说这是严重的事情的局面。AI的风险要迫切得多、剧烈得多，如果出现同样的分裂——一个政党根本不关心——那将是民主的失败。

反数据中心运动，无论它有多强大，都不会是一个能够最终最小化AI带来的坏处、帮助我们加速好处的运动

我们在The Verge对数据中心抗议活动做了大量报道。我们去过犹他州、亚利桑那州、弗吉尼亚州。这是跨党派的。人们是多么不希望这些东西出现在他们的州，占用他们的资源，这令人惊讶。你问他们为什么，有些原因只是因为这些东西又吵又大，而且会提高能源成本，部分原因是失业。他们认为这些东西会夺走他们的工作。

是的，但那种区分非常重要。这些AI数据中心，因为一吉瓦就意味着大约400亿美元的投资，[意味着会带来资金用于]建新学校，购买警车，缴纳税款。数据中心会在美国的某个地方找到建设的方式，而且它们会想办法不提高电费、不过度耗水、不太吵闹。

是的，确实出现了一些错误，一些未披露的信息和过于慷慨的税收优惠，但这些数据中心终将被建成。事实上，其中很多数据中心仍在全速推进建设。反数据中心运动，无论它有多强大，都不会是一个能够最终最小化AI带来的坏处、帮助我们加速好处的运动。那是一件非常独立的事情。

让我在这一点上再深入一步。我从人们那里听到的是，这是你能做的事情。你可以在美国搞"邻避主义"（NIMBYism），这可能会产生一些政治压力来阻止某件事。

你建议的那件事——我们应该建立新的政府监管机构，赋予它们权力让大公司和富人停止做某些事情或者按照我们的利益行事——做起来非常困难。在这个国家，我们已经很久没做过这种事了。

我不明白你的意思。每个新兴行业，我们最终都会为我们的公民建立起某种安全理念。我们实际上在这方面做得相当不错。看看航空安全和汽车安全，我们在这些方面做得很好。我们的能力并不是被证明不足的。

你见过80年代安全带刚出现时的那段视频吗？所有人都说他们不想系安全带。这里面有某种美国人的性格特征在起作用。

那是一个巨大的成功。

这确实是一个巨大的成功，但作为美国人，那时人们把它看作是政府强加的限制而加以抵制。在这里，我们谈论的是世界上一些最富有的公司，它们对信息生态系统拥有巨大的权力。它们都有自己的播客，我不知道你有没有注意到这一点。他们会说："政府不能干涉这个，这会阻碍我们，这会摧毁经济。"

这实际上不是大多数领先公司的立场。

他们找过政府，要求监管，而特朗普，因为经济因素，说："我不能阻止这个，现在的AI经济就是整个经济。"这里面存在某种动态，至少我们的受众——The Verge的受众，那些会在YouTube上看这个视频的受众——是能理解的。

我可能从一个与你不同的角度来看这个问题，那就是这个行业想要监管，我们也希望有监管，而那些寡头们正和政府达成某种腐败的安排，来阻止这种监管的发生。

政府越了解这些危险，他们就越会转向一种更细致的立场，去保护美国人免受这里的负面影响。

你谈了很多关于劳动力影响的问题。反对劳动力影响的主要论点之一是："我们将自动化一堆枯燥的任务，然后我们会创造出一大批新任务的需求，这些任务此前人类因为困在枯燥的死胡同工作中而无法去做。"

我碰巧认为，如果美国有更多的补贴医疗或社会化医疗，你会看到很多人辞职去创办新公司，因为AI让创办新公司的那些繁琐的行政工作变得容易得多。这目前看起来不在议程上，也许这次选举之后会有所改变。

你认为失业是我们当前AI发展路径必然产生的结果，还是你认同那个相反的论点？

工作是经济的一种投入，也是驱动大量人类福祉、目标感和收入的因素——需要出现、与同事建立关系、完成某件事。工作扮演着一个非常核心的角色。

随着AI达到超人智能，白领技能的稀缺性就消失了。像电话销售、电话客服，或者在会计部门帮忙这样的工作，AI以极低的成本、极快的速度、甚至更高的准确性来完成这些工作的能力，意味着这些工作就会消失。不存在某个AI无法达到的"认知巅峰"。

举个例子，看看今天数学领域正在发生的事情，那些与明年的模型相比微不足道的模型，已经在发表论文，让人们惊叹不已。数学领域正在发生的事情，也会发生在其他领域，这与那种旧观点——"简单的工作会被AI做掉，但模拟生物学或物理学，或者证明纳维-斯托克斯方程，只有人类才能做到"——恰恰相反。

数学方面的比较对我来说非常有意思。你之前提到了软件工程。那些领域存在可验证性。你可以写代码，看它是否能运行，它要么能运行要么不能。

数学更复杂一些，但你可以写出Lean代码，看你是否解出了解答。你可以用你一天内发表的770个证明去惹恼全世界数万名数学家，我们看看会发生什么。但这并不适用于每一个领域。

这适用于一个叫做资本主义的领域。

是吗？泛泛而言，你可以做任何经济上可行的任务，资本主义会验证结果？

是的。人们购买好产品，他们不购买坏产品。

让我给你举个例子——

那是一个强化学习的事情。它并不存在于诸如"这是一首好诗还是不是"这样的问题上。所以，可能的情况是[强化学习]不会侵入那些没有客观结果的领域。

但做会计工作、做电话销售工作，相信我，这些都是可以分析的，就像医疗诊断一样，就像新材料的发明一样。你觉得人类是怎么学这些东西的？强化学习就是人类学习的方式，也是这些机器学习的方式。不存在机器永远无法理解的其他东西。

这就是我一开始问这个技术本质问题的原因。如果我们真的认为我们正在构建某种能模拟人类意识的东西，我的问题与我那些做律师的朋友是否会遭遇AI赋能法律软件带来的危机关系不大。

事实证明，法律领域的"验证者"是一个可能还没吃午饭、从根本上就混乱无序的法官。那里面存在某种东西，会让它们保持在那个位置上。但如果我们正在构建一种以你所说的人类学习方式去学习的意识，我在想我的孩子们，我在两个维度上思考他们。

第一，我的孩子们非常聪明，他们学到的是如何绕过我的规则、与我的规则博弈、绕过边界，他们对此非常擅长。第二，他们将进入一个什么样的世界，这个世界不会是纯粹虚无主义的，不会让他们可能从事的任何活动很快就被视为AI要攻克的另一个领域，然后变得毫无意义？

这些想法似乎直接相互冲突了。孩子们很聪明、很有创造力，他们会想出新的点子，然而一旦出现经济可行性的第一个苗头，那个贪婪的资本主义机器就会冲过来把它从他们手中夺走。

我不会说是"贪婪"。用人形机器人建房子并让它变便宜的能力，做手术、治愈本来无法治愈的疾病的能力——我不会把这称为贪婪。这些是在实现目标。

短缺会越来越少这一事实……实际上，如果你说20年后，还不清楚会存在什么样的短缺。人类在那个真正富足的时代，将需要找到一种方式来组织自己、拥有目标，而且希望他们仍然掌握着控制权。接下来的20年——

我们能先回到"希望他们在那个场景下仍然掌握控制权"这一点上吗？

那就是我们讨论过的对齐问题。

是的。

但假设你解决了对齐问题——

这感觉是一个很大的假设。

这确实是一个假设，没错，而且无法保证。但你接下来会遇到的另一个问题，就是在那个时候富足和目标感的问题。我会把这个问题留给年轻人去想，等到那个时候他们自己选择如何处理。

你完全可以说："我们就像阿米什人一样，让我们只在某些方面使用AI。"我在备忘录中提出了这样一个想法：某些职业——儿童看护、食品准备、艺术、体育，以及各种各样的事情——可能会被选定为"人类专属"。即使AI在这些事情上能做得更好，我们还是会选择由人类来做。

但这将是一个人们需要面对的政策问题。他们的选择自由，一旦你拥有了那种富足，和我们今天所经历的短缺相比是非常不同的——在非洲的那些国家，大多数人一生都从未见过一位医生，或者几乎有一半的孩子营养不良，大脑发育受阻。

我最大的担忧是这个20年的转型期，期间会有赢家和输家，会有很多动荡，而我们必须度过这个阶段，才能到达那个富足的时期

你想说的是，即便存在这些挑战，你已经消除了今天生活中很多艰难的部分。我最大的担忧是这个20年的转型期，期间会有赢家和输家，会有很多动荡，而我们必须度过这个阶段，才能到达那个富足的时期。

你认为那是从现在起20年后吗？

我选了这个数字，认为这是一个相对安全的说法。有各种各样的里程碑，例如人形机器人。它们是两三年后的事情，正如有些人说的那样，还是更像八年后的事情，正如其他人说的那样？

没有那么多人说，鉴于目前投入的资本量和参与其中的公司数量，尤其是在中国，这个问题是无法解决的——拥有一只手和手指、能够以非常低的成本提供体力劳动。我在这个数字上可能有误，它可能略少或略多。

但大致在那个量级上，是的，如果我们不选择大幅减速或停止，那么我们将拥有能够盖房子、种粮食、做手术的机器人，而人类劳动为经济提供的任何东西，对大多数商品和服务来说都将不再是必需的。

我们现在已经多次谈到"稀缺性"这个概念，大体上，你将会拥有富足，因为会有大量机器人劳动力去建房子。这与互联网的发展轨迹大体吻合，而互联网正是微软在很大程度上帮助推向主流的东西。我小时候读过《未来之路》。

太好了。

互联网以一种真实的方式消除了文化产品的稀缺性。你曾经必须买CD，现在所有的歌曲都能听到了。你曾经必须买录像带，现在所有的视频都能看到了。然后那些经济体就必须发生变化。

主流艺人现在总是在巡演，或者他们必须重新发行50种颜色的黑胶唱片才能上榜。有一点让人感觉，我们甚至还没有彻底应对数字环境中稀缺性消失的问题。

我们发明了新的商业模式，但我们还没有真正接受这样一个理念——歌曲本身没有经济价值。是围绕歌曲的一切东西才具有经济价值，因为歌曲本身是无限丰富的。你可以随意复制任意多份。

你会如何构建一种能应对物理稀缺性消失的经济结构？因为我不认为任何人对这样的对话有丝毫准备。

但那是一个本末倒置的问题。

当然。

我们建立了价格信号来应对稀缺性，去说："让我们鼓励人们成为脑外科医生，因为我们缺少脑外科医生"，而这是非常难做到的。当你走向富足时，你不再需要那些价格信号。

但再说一次，我关心的问题，我的思考处方是，我们要如何度过这个20年的时期。那些深层的宗教、哲学、社会行为相关的问题——人类在那个富足时期是否感受到强烈的目标感，能否和睦相处——这不是我要去解决的事情。

你现在担心的是这种动荡。

盖茨基金会生活在这样一个世界里，我们开始工作时，每年有1000万儿童死亡。现在是500万。这是一件好事。

在接下来的19年里，我所有的资源都将用于消灭一些疾病，再把死亡人数减半，从每年500万降到250万以下。这一切都是关于短缺——"好的，我们需要发明一种疫苗，我们需要让药品更便宜，我们需要让孕妇获得优质的医疗建议。"

这个行业基本上已经不再谈论它将如何杀死所有人、夺走所有工作了。他们转向了"AI将治愈所有疾病"。我经常从各种AI CEO那里听到这种说法。

我实际上问过穆斯塔法关于我们过去一年左右对话中语气变化的问题。AI在规模化应用中带来巨大积极益处的理念似乎重新占据了前沿地位，而不是一两年前可能存在的那种末日论的冲动。

我觉得，AI治愈所有疾病正好落在你的"主场"。这正是盖茨基金会多年来一直在全球健康领域努力推进的事情。这似乎不像只是告诉模型去治愈癌症那么简单。你需要做试验，你需要生产药物，你需要分发药物，你需要确保它们有效。

你认为这会如何发展？这和机器人盖房子是在同一个20年的时间框架内吗？是更快，还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，这个月我们要进行两周的战略审查，决定明年如何在结核病、艾滋病和疟疾上花钱。我们如何使用AI非常了不起，不仅在药物发现方面，还在于我们让这些模型能正确理解非洲语言——这是我们上个月与60个合作伙伴共同宣布的一项倡议。

医疗保健的发现和交付将因AI得到极大的加速，这非常令人兴奋——更好的种子，更好的畜牧遗传学，为那些从未拥有过这些东西的非洲农民提供天气预报。所以，是的，这是AI在盖茨基金会剩下的19年里能带来的好事。

好事确实需要时间。有些事情，比如网络攻击和就业市场问题，甚至在接下来的两三年内，你就会在这两个领域看到显著的负面影响

你认为这足以克服人们对他们今天遇到的AI模型的怀疑或恐惧吗？因为那正是这些公司思考这个问题的方式。

不，别这样。我认为说他们之前完全传达的是末日论调，现在又转向了其他某种论调，这是不公平的。这两件事深深地交织在一起。

AI最终将能够以一种方式模拟人类生物学，让你能理解一种药物的副作用而不必进行人体试验。我们还没到那个地步，但在未来的5到10年里，这些硅基模型（in silico models）很有可能会给我们这种能力。生物学非常复杂，AI在有足够数据的情况下非常出色，而且有新的工具来收集和提供更多数据给它。它非常擅长处理复杂系统，所以它几乎是为生物学量身定制的。

但不，这不意味着人们会对负面影响感觉良好。好事到来的速度有多快？你什么时候会看一眼你的医疗账单然后说："哇，这真的很低"？或者你说："我想买套新房子，哇，这些房子真便宜"？好事确实需要时间。有些事情，比如网络攻击和就业市场问题，甚至在接下来的两三年内，你就会在这两个领域看到显著的负面影响。

在你的那篇文章里，你提出了一些关于如何阻止这些负面影响、或者预防甚至至少缓解这些影响的想法。

是缓和它们，是的。

"缓解"可能是更合适的词。

是的，没错。

而且这些想法不小。你这里有一句话说："我们需要一个比911事件后美国国家安全应对措施更加强大的回应。"你想建立一个国际机构，以某种方式让所有人都做正确的事。这些都是极具挑战性的想法。

绝对是的。当我们在二次世界大战中引爆核弹时，我们是否预期接下来的80年里不会再发生这种事？我认为我们在那方面做得不错。像照顾贫穷国家、帮助它们这样的事情——尽管目前我们没有像我认为应该的那样、或者像过去那样优先考虑这件事——我们在这方面做得非常好。这将是比人类历史上实现过的任何事情都更大的挑战。

关于与核武器类比，这一点最近在Decoder上出现了不少次，让我印象深刻的一点是，政府制造了核武器。当然，他们有一些承包商，但这些都是政府项目，最终技术掌控在政府手中，我们从未让普通人拥有过它。

想想Muse，放在核武器的背景下。你认为让消费级的智能体AI产品比如Muse和Dots出现，而它们可能没有相应的控制措施，这是一个错误吗？

Muse恰好是由Meta的模型驱动的，那仍然是一个闭源模型。我确实认为，通过开放权重让人们移除所有安全防护是不负责任的，考虑到由此带来的网络安全和生物安全风险。

对于这些智能体，在它们如何设置方面会存在一些早期问题，但我从根本上认为人们将会拥有个人智能体。Muse是向前迈出的非常好的一步。我和Alexandr Wang谈过这个问题，祝贺了他，尽管它会有挑战，但个人智能体将帮助人们把事情做好。

Muse是第一款真正出色的消费级AI产品。人们普遍不太喜欢AI的原因之一是，他们体验的是廉价的免费模型和AI摘要，或者他们使用免费的ChatGPT，然后它产生幻觉、对他们说谎，但Muse实际上能做事，它是一个好的消费产品。

但我在想——在核能时代，我们并没有说，"每个人家里都会有一个核反应堆，而我们还没有为它建立安全防护。"这里面有某种东西。

让每个人都能在家制造天花病毒或在家制造核武器的想法，当然，你可以讽刺那些说"别担心安全防护"的人。这就是采取了那种立场。"我们对安全问题并不认真。"

但个人智能体是一个预期中的发展方向。AI真的很酷，就我在智力上的探索而言，甚至盖茨基金会的工作都是如此。我感到自己被极大地赋能了。但我同意你的看法，它会以这种个人智能体的形式扩散给更多的人。

认为责任法将是我们管理AI安全的方式，回头看会被认为是荒谬的

我们目前讨论的所有模型，实际上都运行在大公司拥有的数据中心上。这里的一个论点是："如果它们真的做错了什么，你可以直接告状，这将起到威慑作用，或者至少能激励创建安全系统。"

我不确定产品责任是不是正确的路径，但这个话题经常被提起——产品责任本身将让这个行业保持规范。然后还有另一面，那就是你可以直接去买一台Mac Studio，运行一个开源和开放权重的模型，它可以做任何你想让它做的事。

我不确定这种责任会落在哪里，或者什么能够控制或对齐那些开源模型的行为。你认为这是一种不断增长的风险吗？你认为这是可以被控制的吗？

认为责任法将是我们管理AI安全的方式，回头看会被认为是荒谬的。当坏人进行生物攻击时，你不会去法庭说，"哦，好吧。"即使是要找出是谁发起这些攻击，责任模型在每一个方面都是失败的，因为这不是AI公司本身的问题。这是那些专门拿走没有安全防护的模型并做这些事的人的问题。

我们将会比对待航空安全、药品安全和汽车安全更加认真地对待AI安全。这是肯定的。这是否足够……这比核武器更难，比其他任何领域都更难。

但对于一个在PC上运行的开源模型，这台PC是某人用一块普通的英伟达显卡组装起来的，你要怎么办？

我希望对于超过一定能力水平的模型，我们能找到一种方法，要求在这些模型中保持安全防护和监控。我承认，随着时间推移，如果我们不尽快决定这样做，你将会有一定能力水平的东西流落在你看不到的黑暗角落里。

但你要在哪里设置这个限制？

一个主权国家规定，具备复杂网络攻击能力的模型必须保留安全防护措施。

当然。

你可以在自由的意义上是开放的，你可以在完全可定制的意义上是开放的，但你必须留在这样的平台上——当你定制它时，它会检查你是否在定制时去除了安全防护和监控，并拒绝让你这样做。所以这意味着主权国家会去说："这些可信平台能否执行这个功能？"

我问的是非常具体的落地细节。你会在技术上把这个监管放在哪里实施？

通过美国的法律。

当然，但你必须把它们放在某个地方。是在分发这些模型的Hugging Face上？还是在芯片层面？

不，正是我所说的：超过一定能力的模型只能在能够认证——在它们被定制时，没有去除安全防护——的平台上运行。

我承认，随着时间推移，如果我们不尽快决定这样做，你将会有一定能力水平的东西流落在你看不到的黑暗角落里

就是想把这个问题拆开来理解一下，也许我没有完全理解——在这种情况下，Mac Studio是一个必须关注它正在运行什么代码的平台吗？

你不会让一个超过某种能力水平的模型被复制到客户端机器上，除非你以某种方式弄清楚了如何监控到那台客户端机器，而这是非常可行的。

但在短期内，大多数真正前沿的模型更可能运行在Hugging Face或GitHub上。你可以让各种各样的人从事提供维护安全防护的平台的业务。

为了把这个说清楚，听起来你会在平台和分发层面上执行这种监管，而不是在芯片层面上。

不是在芯片层面，不是。

因为我感觉在某个时间点，即使是廉价、免费的开源模型，也将具备和我们今天所拥有模型一样的能力。

没错。

那你就会有一个大问题。

如果那些是以这种方式开放的权重——所有的安全防护都可以被移除——那么你将会面临非常高水平的网络攻击和生物攻击。那么你可以说，"好吧，让我们重写我们今天拥有的所有代码，使其不那么容易受到攻击"，或者"让我们进行非常深入的生物监测"，我认为除了这些限制之外，我们还需要做这些事情。

我们又提出了很多新的能力要求，对吧？

是的。

我们将对GitHub施加一些限制。GitHub目前对它能分发的代码没有太多限制。它有一些，但没有这种限制。

当你把一个具备深刻网络攻击或生物攻击能力的最先进模型放到GitHub上时，它会说："我已经向美国政府提出申请并获得认证，证明我不会让人们定制去除安全防护。"

我不认为我们目前生活在一个对机构有高度信任的时代。对我来说，这根本不是那种感觉。事实上，我们大多时候是在把它们拆毁。埃隆·马斯克出现，拆毁了USAID。我知道你对此有强烈的看法。

那是个错误。

我们大多时候一直在拆毁我们的机构，好的方面和不好的方面都有。

不，那说法有点太强烈了。我们的机构——

它们被削弱了。

它们有点被削弱了，是的。

有点被削弱了。这是一种非常好听的说法。人们对它们的信任非常低。我们可能可以用整整一个小时来讨论AI药物发现，以及是否有相当一部分人口会信任这项工作的产品，因为他们今天根本不信任制药公司。

他们今天不必信任制药公司。他们必须信任FDA的审查流程。

我不确定他们是否也信任那个流程。总体来说，信任都很低。

那他们可以选择不服用那些药。当他们得癌症的时候，他们可以说："不，我不想服用那种癌症药物。"就我所知，人们确实会服药。这是一个蓬勃发展的产业，人们服用它们是因为它们被证明有效。

我只是想说，现在的情况感觉就是，对机构的信任——尤其是在美国，但在全世界也是如此——都在下降。你提议建立一类新的机构，可能是一类新的全球性机构，可能会施加新颖的限制。

在某个时间点，我们需要说开源模型、开放权重模型不能做某些事情，政府要介入它们，说它们能或不能做某些事情。

不，他们会确保这些平台不允许安全防护被移除。

你要如何重新获得施加这些控制所需的机构信任？

假设我们不这样做，让模型随意去发起网络攻击和生物攻击。你认为那会增加信任或人类福祉吗？那就是另一种选择。

这就是我问这个问题的原因。这就是我问起我孩子和虚无主义问题的原因。我真的很好奇这个问题。

我不确定我们会在这件事上成功，但我向你保证这是可行的。FDA非常复杂。航空安全法规非常复杂。现在有了AI，你可以用同样数量的人员在这些机构里做得更好。

这是一种奇怪的递归性的事情，AI将参与AI安全和审计以及各种类似的事情。是的，这需要采取行动，我的意思是，这只是一个时间问题——要看事故有多严重，我们才会采取行动。

人们不应该把我所做的一切都当作理所当然。我犯过各种各样的错误，有我的弱点，有我带入这些问题的偏见。他们应该把我所说的话加入到这些声音中去

我能感受到你对这些危害的紧迫感。我也能感受到你对长期利益的热情，但我们现在坐在这里谈论信任问题。我们要把这个内容放到YouTube上。我知道你知道一些YouTube评论者会说什么。

他们会说，"我们为什么要信任比尔·盖茨？他和杰弗里·爱泼斯坦有过关系。"你怎么回应这个问题？是说这种紧迫性超越了那件事，还是你有更具体的回应？

人们不应该把我所做的一切都当作理所当然。我犯过各种各样的错误，有我的弱点，有我带入这些问题的偏见。他们应该把我所说的话加入到这些声音中去。

我这一生都在科技行业思考AI，编写软件，思考软件的力量。我承认，当AI最终开始取得进展时，我感到非常着迷。实际上直到最近它都进展得相当缓慢。

我感到很惊讶，它实际上正在以一些了不起的方式帮助我完成我的工作。但是，是的，我只是众多声音中的一个，一个不完美的声音。我怀疑你会找到一个完美的声音，但人们可以随心所欲地去评判它。

我想说，人们信任的声音是供不应求的。

我同意这一点。

当你去和这个行业里的人交流时，那是一群正在建立庞大公司的年轻CEO。这是你有一些经验的事情。你认为他们做这件事的方式是对的吗？你认为他们的意图是对的吗？

我们今天的问题不在这个行业。我们的问题不是萨姆·奥特曼、达里奥·阿莫代伊、萨提亚·纳德拉或桑达尔·皮查伊不理解这里存在一些严重的挑战。我和埃隆的交流比和其他人少，但即便是他公开发表的关于"召唤恶魔"的言论，也恰恰是我们正在讨论的内容。

为什么没有足够的政治动能去做你所建议的事情？

就像你说的，政府没有资助这项工作。这是私营部门公司的工作。政府不是这项工作的主要客户，不像火箭和武器之类的东西。当有人跑过来说，所有之前的技术进步与这一次相比都微不足道时，人们应该对这种说法持高度怀疑态度。

十年后，生活真的会因为AI而发生显著变化吗？人们应该说，"那些人只是对这一件事过于兴奋了。"但我在这里说，带着我所拥有的任何可信度，这绝对是有史以来最深刻的技术——无论是从好的方面还是坏的方面来说。在这件事上，我没有财务动机。我提出的是，绝对需要一些预防措施和安全防护。

你如何看待美国和中国在对话语气上的差异，据称中国对AI的乐观情绪通常要高得多？你认为为什么会有这种差异？

那些人里的大多数并没有在中国待过很长时间。中国对就业市场的担忧非常非常高，而且你不能把中国特征化为一个单一的整体。有像我们在美国一样从事AI工作的私营公司，然后还有中国政府。

比如，关于是否应该允许加密货币，他们说不。年轻人是否应该一直赌博，他们说不。关于孩子们是否应该和AI建立关系，他们说不。在很多这类事情上，包括AI的使用，他们都表现出愿意代表社会去做一些事情。

我在这里说，带着我所拥有的任何可信度，这绝对是有史以来最深刻的技术——无论是从好的方面还是坏的方面来说。在这件事上，我没有财务动机

那种狂热在那里会稍微少一点，因为他们的经济目前并不像我们的经济那样以AI为中心。最终，[当谈到]不希望发生网络攻击或生物恐怖主义，或者试图弄清楚当工作消失时我们该怎么办——这种人类价值观方面，我认为中国人和美国人，以及其他所有人类，在如何看待这个问题上不会有什么不同。

你认为需要真正发生一些坏事，才能让美国的政治资本去做出这些改变吗？

可能是的。我们为地震做准备，是因为有小地震发生。我以为新冠疫情之后，会让我们为未来的疫情做更充分的准备。那一次的效果并没有像我预期的那样发挥作用。

但通常那会激发我们的注意力。在接下来的几年里，尤其是在网络领域，因为那里存在一种商业模式，你会看到在规模上与我们过去见过的任何事情都不同的大量攻击。

还有一件事，我想再次回到这一点上，作为结尾。我担心年轻人和虚无主义问题。我在我们的受众中一直能感受到这一点。我们有一群年轻的受众。

关于AI有一些事情，确实是我见过计算机做过的最酷的事情之一。那里面有一些东西可以是有趣、迷人、引人入胜的，能改变你与生活在数字世界这个概念本身的整个关系。

然后，显然也有一些可怕的事情。我更常看到的是一种不信任感，不仅是对机构的不信任，也是对公司、对资本主义本身的不信任，对"我们应该改变我们对劳动和资本征税的方式"的不信任——我知道这也是你的另一个想法。那种想法，我不知道，我们甚至应该多生孩子。这一切都已经注定了。它们会杀死我们所有人，我们应该停下来想一想。

那里面存在大量的虚无主义。我对此感受非常强烈。如果你是今天的一个年轻人，听到比尔·盖茨说这将是大约20年的动荡期，而在这期间的末尾，机器人可能会在建房子，你会抓住什么作为希望的源泉？

纵观人类历史，我们一直在应对食物短缺、疾病和战争的问题。[历史学家]尤瓦尔·诺亚·赫拉利对过去的书写非常精辟。而讽刺的是，现在我们打开了这个潘多拉的盒子，它将解决食物短缺问题——这在非洲仍然是真实存在的问题，尽管在美国不是——它将解决疾病问题，那里的人类苦难是难以想象的，它会解决所有这些问题，但随之而来的是对就业以及我们独特贡献意义感的影响。

我会想，"我调配资源以消灭疟疾的方式，在我的人生经历中是相当独特的，这让我能够做到这一点。"但当AI对我说，"不，我比你更擅长。你去打匹克球吧，我回头再跟你说。我会处理这件事。"这很幽默，但又不那么幽默。对于一个今天还年轻、想做出独特贡献的人来说，AI如此强大是非常令人望而生畏的。

这就是为什么数学界的危机将会在各处上演。如果你今天二十多岁，在这20年的时期里，你可以专注于AI还做不到的事情，你可以使用AI，并产生很多积极的影响，你可以提出政策建议。我们可能需要培养一种品味——真正不去把技术用到极致。

即使在我们管理AI的最好情况下，这也将是人类历史上最动荡的时期之一

当我和Claude谈到"人类专属"工作类别，试图把这个比例提升到，比方说，劳动力市场的40%——这样你就可以用提前退休、限制工作周等方式，仍然获得我们今天拥有的类似东西——它的回应总是，"你这是在人为地限制AI去做这些事情。"如果不这样做，我无法达到一个很高的百分比。

我们将面临真正的选择。我们曾有过一些群体——不是大群体，但像阿米什人那样——他们不生活在技术前沿。很多人类可能会选择不生活在技术前沿，因为有些东西是我们从互相帮助或提出独特想法中获得的。

关于年轻人因即将到来的颠覆而感到担忧的这个观点——即即使在我们管理AI的最好情况下，这也将是人类历史上最动荡的时期之一——我不喜欢成为带来这种令人担忧的消息的人，但不告诉人们这件事正在发生会更糟。作为人类，我们有选择权，可以决定如何塑造它。

比尔，感谢你敲响了这个警钟，也感谢你来到Decoder。非常感谢。

谢谢。

有问题或评论？请联系我们：decoder@theverge.com。我们真的会阅读每一封邮件！

Decoder with Nilay Patel

The Verge出品的播客节目，关注宏大的理念及其他各种问题。