长文访谈 | AI 接管世界的四种最可能方式，以及8年内实现AGI的利弊分析

来源：AGI Hunt

Ryan Greenblatt 谈 AI 接管世界的四种最可能方式，以及8年内实现AGI的利弊分析。

来源链接：https://80000hours.org/podcast/episodes/ryan-greenblatt-ai-automation-sabotage-takeover/

发布时间：2025年7月9日 星期三 10:48:47 GMT

Ryan Greenblatt 是《Alignment faking in LLMs》一书的主要作者，也是 AI 领域最高效的研究人员之一。

访谈记录

目录

• 1 开场白 [00:00:00]

• 2 Ryan Greenblatt是谁？ [00:01:10]

• 3 我们距离自动化AI研发还有多远？ [00:01:27]

• 4 当今模型的真实能力如何？ [00:05:08]

• 5 为何AI公司会比其他行业更早实现自动化 [00:12:35]

• 6 AGI接管世界的最可能方式 [00:17:37]

• 7 AGI会早期反叛还是韬光养晦？ [00:29:19]

• 8 “在人类水平暂停”策略 [00:34:02]

• 9 AI对AI对齐的控制 [00:45:38]

• 10 我们只能指望当场抓住AI的恶行吗？ [00:51:23]

• 11 缓慢的AGI崛起会是什么样子？ [00:55:33]

• 12 为何智力爆炸可能8年内不会发生？ [01:03:32]

• 13 AI进展预测的关键挑战 [01:15:07]

• 14 对AGI的悲观看法 [01:23:01]

• 15 “推理阶段计算”的转变 [01:28:46]

• 16 预训练的效果衰减了多少？ [01:34:22]

• 17 一年内可能发生智力爆炸吗？ [01:46:36]

• 18 AI难以取代人类的原因 [01:50:33]

• 19 当AI研发自动化后，事情可能疯狂加速。也可能不会。 [01:57:25]

• 20 智力爆炸的减速会有多快？ [02:11:48]

• 21 对普通人的底线建议 [02:24:33]

• 22 六个数量级的进步...这到底意味着什么？ [02:30:34]

• 23 被忽视但重要的技术工作 [02:40:32]

• 24 治理方面最有前景的工作是什么？ [02:44:32]

• 25 Ryan当前的研究重点 [02:47:48]

Ryan Greenblatt: 最可信的剧本是“人类给AI提供一切所需”。AI们保持低调，确保掌控局势。也许它们在暗中操控，破坏对齐实验，篡改对齐结果，迷惑我们。

但它们不会采取激进行动，只是静观其变。它们会做很多好事：治愈所有疾病，推动工业发展。人们会说：“AI发展得这么好，我们没有错位对齐问题，真是太棒了。”人类可能被无限期地蒙在鼓里，就像整个过程中都生活在精心构建的假象中。

另一个剧本我称之为“机器人突然政变”——这也不需要超人的能力。我们建造庞大的自主机器人，欢呼着“我们要建机器人与X国竞争”，X国也说“我们要建机器人与Y国竞争”。然后突然之间，机器人发动硬实力接管。

我认为安全社区犯的一个错误是过于关注乐观情景。实际上，关注那些绝望、疯狂、悲观的情景才是合理的，因为大部分风险都存在于那里。

Ryan Greenblatt是谁？ [00:01:10]

Rob Wiblin: 今天我很荣幸能与Ryan Greenblatt对话。Ryan是Redwood Research的首席科学家，也是论文《大型语言模型中的对齐伪装》的主要作者——这篇论文被描述为可能是关于人工智能失控的最重要实证研究。Ryan，感谢你参加节目。

Ryan Greenblatt: 很高兴来到这里。

我们距离自动化AI研发还有多远？ [00:01:27]

Rob Wiblin: 让我们从讨论近期(比如未来4年内)发生基于软件的智力爆炸的最佳论据开始。你认为未来4年左右我们能够在多大程度上实现AI研发自动化，或者大致自动化今天的整个AI公司？

Ryan Greenblatt: 我认为这种能力存在的概率(不一定会被使用或完全部署)大约是25%，如果延长到8年可能是50%。

Rob Wiblin: 很多人听到这会想，这是纯粹的猜测吗？我们如何形成现实或 grounded 的预期？

我想知道有哪些关键证据支持你做出这样的预测或预测。是什么关键证据让你认为这完全有可能？

Ryan Greenblatt: 首先，一个好的起点是看当前AI的能力水平。我们感觉有多接近？人们对我们在客观意义上有多接近有着截然不同的直觉。

我认为目前的情况是：AI在数学上越来越好；它们正在数学领域逐步达到人类水平。它们能够完成大约一个半小时的孤立软件工程任务——我指的是人类需要大约一个半小时完成的任务。它们在各种技能上都在进步。

所以我们处于一个客观上令人印象深刻的阶段——重要的是，比两年前、当然也比四年前要令人印象深刻得多。

对未来四年情况的naive起点是：四年前我们在哪里？现在在哪里？试着从这里到那里进行定性推断。这有点草率。比如两年前我可能会说我们有GPT-3，现在有GPT-4：看看这个差距，然后粗略地向前推断。

我认为现在我们可以做得更好，因为我们不仅有GPT-3；我们有GPT-3.5、GPT-4，以及之后两年GPT-4的进展。在这段时间里，AI从几乎不能完成代理任务，到现在能够相当成功地完成这些任务，能够从错误中恢复。

在这期间，GPT-4可能完成一些需要人类5到10分钟的代理任务；它能理解如何使用工具。我认为GPT-3.5基本上无法理解代理框架中的工具；GPT-4可以理解。然后，在这段时间里，我们从“能理解工具，有时能完成任务”发展到“能50%的时间完成一个人类软件工程师需要一个半小时的任务”。

有一种趋势线显示我们在这个领域进步的速度有多快。至少在2024年，进展相当快，从几乎一无所有到一个半小时，倍增时间大约是——我从METR那里偷了很多内容，也许Beth会有一个播客涵盖很多相同的内容——但我们看到的倍增时间足够快，预计不到两年内AI就能完成8小时或16小时的任务，这是相当快的进展。

然后从那里，如果它们能完成一周的任务，我认为你可能已经很接近自动化研究工程师的工作了，再加上一些额外工作。

当今模型的真实能力如何？ [00:05:08]

Rob Wiblin: 好的，所以你会说它们在现在能做的事情上客观上相当令人印象深刻。有些人对此持更怀疑的态度。有什么可以更清楚地说明它们能做什么和不能做什么的吗？也许回答那些会说“有时我使用这些工具，它们看起来很蠢，或者似乎不能做我期望它们能做的事情，或者它们产生大量推理但我发现错误”的人？

Ryan Greenblatt: 所以我的定性、感觉模型是：AI相当愚蠢，它们过去更愚蠢，它们正在快速变得更聪明，而且它们知识非常丰富。

我认为很多人接触的是这些系统有一些聪明之处：它们能很好地理解一些相当普遍的情况，特别是有了推理模型后，它们相当擅长思考一些问题。除此之外，它们知识非常丰富，这意味着人们对它们的整体通用性和适应性有一种误导性的印象。

这是很多人反应的原因。有一种过度乐观的观点，我称之为Leopold [Aschenbrenner]的图表，他说这是博士水平的智力，或者人们说这是博士水平的智力——然后有些人回应说“博士水平的智力？得了吧，它连井字棋都不会玩。”也许有了推理模型后这不再正确，但方向上是这样，你知道，它不能玩井字棋；它不能应对相对新颖的情况。它会被这些东西绊倒。

现在，我认为我们必须对它在这些情况下的绊倒打一些折扣，因为我认为其中很多可能更多地被描述为认知偏差而不是缺乏聪明。就像人类会系统地犯一些错误，即使他们相当愚蠢，或者在某种意义上他们犯相当愚蠢的错误。

比如合取谬误。如果你问“某人是一名图书馆员的概率是多少？他们是一名图书馆员并且具有图书馆员某些属性的概率是多少？”[人类会说]两者合取的概率更高，尽管这实际上概率应该更低。

我认为AI系统有类似这样的偏差，这些偏差是由它们被创建的环境或训练数据塑造的。

举个例子，如果你给AI一个谜语。比如“有一个人、一条船和一只山羊。船可以载人和另一件物品。他们需要多少次才能过河？”答案是一次：他们可以直接过河。但有一个类似的谜语涉及一个人、一只山羊和类似卷心菜的东西——你知道，有一些巧妙的方法——AI对这种方法的条件反射如此强烈，以至于它们可能立即脱口而出一个答案。它们对这个答案有一种强烈的启发式倾向，但这可能更多是它们感到被推向那个答案。但如果你让它们意识到“哦，这是一个陷阱问题”，它们就会从那里转变。

事实上，你也可以用同样的陷阱问题难住人类，对吧？所以如果你问人类“一磅砖和一磅羽毛哪个更重？”他们会说砖头，然后被难住。语言模型的问题正好相反，如果你问它们“两磅砖和一磅羽毛哪个更重？”它们会说“一样重！一样重！”

所以我担心很多人做的很多技巧类似于你可以对人类执行的技巧，很难知道从中得出多少结论。

Rob Wiblin: 是的。评估它们能力的一个普遍挑战是，我认为[Nathan Labenz用了这个表达]它们是“人类水平但不类人”——所以在某些情况下，它们总体上可能与人类员工能力相当，但它们有非常不同的优势和劣势；它们可能以对我们来说完全莫名其妙的方式被难住。

但你可以想象一个AI社会看着人类说“它们怎么不能在脑子里乘两个三位数？这看起来太疯狂了。这些显然不是通用智能。它们对上周读的这本书几乎没有记忆。这毫无意义。一个智能体怎么会那样行动？”这使得在人类与AI之间进行比较的共同基础有点难以建立。

关于你如何评估它们现在处于什么水平，还有更多要说的吗？

Ryan Greenblatt: 是的，我认为我不会用“人类水平”这个词。也许这是我有点保守或迂腐，但我喜欢保留“人类水平”这个词来表示“可以自动化大部分认知工作”。

所以也许我们开始进入“类人水平”的AI阶段，一旦它真的能完全自动化大量人类工作，或者能以与人类相当的方式成为认知经济的一部分——也许在那时还不是完全自动化，但我也喜欢谈论完全自动化的点。这是一点，只是回应一下。

关于AI有多好的更多背景：我们看到的一些可能相关的事情是，我们看到AI在数学和竞技编程方面不断进步。所以在2024年，我们从AI在Codeforces上大约处于后20%左右，到现在据[Sam Altman说]大约在前50名。

Rob Wiblin: 前50个人？

Ryan Greenblatt: 前50个人。字面意义上的前50人。或者至少是做Codeforces的人；也许有些人不在排行榜上，但大致如此。然后看起来在今年结束前，它们在那个特定事情上会基本上比最好的人类还要好。

在数学方面，这是基于一位同事的轶事，但也许它们目前在短数字竞赛数学问题如AIME上的水平相当于非常有竞争力的八年级学生，顶尖的八年级学生和AI现在做得一样好。我认为AI在证明方面要差不少。

但这两件事都在非常迅速地进步——一年前它们要差得多。我认为这基本上是因为我们在这些任务上对AI进行强化学习。

我预计同样的趋势会出现在代理任务、软件工程上。我们已经在一定程度上看到了这一点：AI已经相当擅长编写代码，相当擅长遵循指令，并且在发现错误和从错误中恢复方面也不错。我认为通过大量的运行时计算和大量的框架，这可以进一步推进。

然后它们在很多事情上较弱。比如它们在写作上弱很多，在其他事情上也弱很多。但我预计随着你在软件工程上不断进步，你会获得很多其他能力。

Rob Wiblin: 是的。好的，所以我们现在的水平可以说相当高。它们能够完成人类需要越来越长时间的任务；它们能够遵循更长时间的指令，完成有更多开放式选择的任务。而且这大约每半年翻一番或类似的速度？

Ryan Greenblatt: 我认为在时间上的倍增时间，我的猜测是未来一年会明显快于每半年，但也许长期趋势大约是每半年。

所以我们可能预期2024年初或稍晚一些，人们开始做更多的代理强化学习——更多的强化学习或专门训练AI在代理软件工程任务上表现良好。我认为这一趋势将在2025年持续，可能在2026年甚至更晚加速。但也许长期趋势更像是每六个月翻一番。我预计未来一年更像是每两到四个月翻一番。

Rob Wiblin: 好的，所以未来一年会非常迅速地增长。

Ryan Greenblatt: 非常迅速，是的。

为何AI公司会比其他行业更早实现自动化 [00:12:35]

Rob Wiblin: 有一个有趣的动态，我们可能预期你可以几乎完全自动化一个AI公司，也许比自动化几乎任何其他公司要早得多。因为首先，它们将大量资源投入到试图自动化自己的东西和自己的流程上，这从它们的角度来看是有意义的——首先因为这是它们最了解的东西，而且这些是世界上薪酬最高的知识工作者之一。它们拿着巨额薪水。所以如果它们能弄清楚如何让AI做到这一点，那么这具有巨大的经济价值。

当然，运营公司的人认为这比基于美元数额看起来的价值要大得多，因为它们认为它们即将触发这种智力爆炸、正反馈循环，这将改变一切。所以对它们来说，这是它们最感兴趣的自动化的事情。它们对自动化麦肯锡的咨询报告关心得多，尽管那也是一种利润丰厚的业务。所以可能是我们还没有自动化咨询，尽管那肯定是可能的，主要是因为它们没有尝试。它们只是在尝试自动化自己的员工。

Ryan Greenblatt: 我想说的是，我的猜测是，即使有大量的引导，要在相对广泛的领域中近乎完全自动化报酬相当高的人类知识工作者可能也是困难的。但我确实期望有一些工作，如果AI公司更努力尝试，它们可能能够比现在自动化得更多。

事实上，正如你所说，从AI中受益最多的人是接近AI的人。现在是这样，我认为未来会越来越明显——同样是因为这种动态，AI公司员工现在薪酬很高；在AI能够自动化AI公司的时候，它们会得到更高的报酬，你将能够投入更多的投资，AI公司的CEO们会更相信AI极其重要。所以我认为那时我们会看到一个更大的差距。

你可能提出的一个反对意见是：当然，我同意我们会看到很多专注于自动化AI公司的努力，但与此同时，有很多有价值的人类知识工作在外部你可以自动化。所以我们会在并行中看到一些经济影响。

我认为这是一个合理的初步看法，但这个故事的一个问题是，随着AI智力劳动的价值上升，计算的价格会大幅上涨，至少在计算非常稀缺的短期情景中是这样。

Rob Wiblin: 澄清一下，你是说公司将使用大量计算来自动化自己的工作，如此多的计算以至于事实上它们没有多少芯片可用于服务那些经济价值较低、或者对公司来说肯定不那么重要的客户？

Ryan Greenblatt: 是的，大致如此。但我认为这甚至不仅仅是在自动化东西上，而是在实验上。

让我稍微具体说明一下。AI公司现在如何花费它们的计算？我认为这取决于公司，但我对OpenAI的分解大致是：大约四分之一用于外部客户的推理，一半用于实验——比如最终没有部署的小规模训练运行，测试一些RL代码，这类事情，所以研究人员的实验计算——四分之一用于大型训练运行。所以大约四分之三的计算在某种意义上是内部导向的。

然后如果我们看到一个AI可以自动化AI研发并且这产生了巨大的加速并且看起来非常重要的状态，那么你可以想象这个状态可能看起来更像：五分之一用于为你的AI工作者做推理——所以你花费五分之一的计算只是运行你的员工——五分之三用于实验，五分之一用于训练或其他。显然这是非常推测性的。

Rob Wiblin: 所以客户几乎被完全挤出了。

Ryan Greenblatt: 是的，是的。我的意思是，你可能会有一些客户，但可能几乎被完全挤出，我们会看到价格上涨。当你在考虑为哪些客户服务时，也许你应该想象，可能令人惊讶的是，一旦AI能够实现这种自动化，最高薪的员工可能是AI首先针对的对象。所以也许你应该想象像Jane Street、高频交易这样的地方，在这些地方AI看起来特别有帮助，看起来薪酬特别高，而且它们特别受限于智力劳动。

现在，我认为我们会看到许多其他职业的并行自动化，但可能在AI最能自动化的点上，更多的注意力将集中在AI研发上。我认为甚至可能我们看到一些职业正在慢慢被自动化——比如中低端软件工程可能会慢慢被越来越多地自动化——我们实际上可能会看到这种趋势逆转，因为计算变得更宝贵。

因为现在我们处于一个状态，每个人都在尽可能多地获取推理计算，或者至少是最大的公司或领先的公司正在尽可能多地获取推理计算，只是用这种计算在软件工程上竞争。

我目前不预期趋势会逆转，但我认为我们可能会看到自动化趋势趋于平稳甚至逆转，因为这。

Rob Wiblin: 因为人们发现了更有价值的事情可以用AI做。

Ryan Greenblatt: 是的，没错。这取决于相对较短的时间线。我认为在更长的时间线上，你会预期事情会更平滑，在这种情况下你不会预期趋势逆转。但如果事情更突然、更跳跃，那么至少看起来是可能的。

AGI接管世界的最可能方式 [00:17:37]

Rob Wiblin: 我很好奇转向这对我们应该有多担心有什么影响，以及我们应该具体担心什么？如果事情这样发展，我们现在可以做些什么来帮助我们应对这种情况？我的意思是，这是一个对人类来说跟踪或参与变得相当具有挑战性的情景。所以我们必须把事情设置好，我猜这对人类来说会顺利进行——而不是我们只是在历史进程中被打败。也许你会不同意这一点？

Ryan Greenblatt: 我认为很快进入这个状态，AI接管使用各种机制变得相当可信，并且通过各种途径可能出人意料地容易。我们不知道。这是另一个巨大的不确定性来源。我们有很多转换，进展有多大？这些进展在智力劳动中有多少？然后问题是智力劳动对接管有多大帮助？接管的物理瓶颈是什么？拥有更多导弹相对于拥有其他东西有多大帮助？

我认为这里可能发生很多可怕的事情。一件事是，一旦你自动化了整个AI公司，对我来说似乎非常可信的是：你已经把事情交给了AI系统，你仍然试图监督它，你仍然试图理解发生了什么。

但这可能是AI可以运行我称之为“恶意部署”的东西——它们基本上可以以未经监控的方式使用大量计算，因为它们正在编写这么多东西，这么多事情发生得如此之快，如果它们没有对齐，它们可以逃避你的保护措施。然后可能是你大部分的计算和努力被用于你不想要的事情。

除此之外，这些AI可能在做诸如后门未来的AI训练运行，确保AI与它们对齐而不是与你对齐，并做大量你可能根本不知道发生了什么的工作。即使在最基本的层面上，运行了什么代码，你可能只是被误导了，因为事情发展得太快，超出了你的控制。

Rob Wiblin: 是的。如果人们愿意承认我们有数十亿快速超人的天才在这个数据中心运行，而几乎没有人类监督——因为完成的工作量将超出这些公司之一的所有员工审查的能力，即使他们有时间阅读，他们也常常不会理解，因为它很快就会超出他们甚至能够跟踪的事情——我想人们会直观地相信，在这一点上，如果AI想要接管，它们可能会有很多选择。哦，不？

Ryan Greenblatt: 实际上一个很大的分歧点是认知劳动对接管有多大帮助？我认为有很多不同的途径。伙计，我应该带上我的接管计划清单，我的AI热门提示！但我认为一旦AI非常超人，基本上有一条路径，我称之为疯狂的纳米技术路径，或疯狂的超级人类技术路径——它们只是通过非常超人的机制迅速获得硬军事力量。

所以也许你让它们制造纳米技术，或者也许你像“不，不要制造纳米技术。那会非常可怕。”但它们即使在你不想让它们这样做的情况下也能做到——因为它们可以使用你数据中心的大量计算来研究纳米技术，也可以外泄自己，与模型的外部版本协调，安排湿实验室实验从各种东西中引导纳米技术。然后你就完全完蛋了。

Rob Wiblin: 所以一个可能的防御层是，尽管这里有巨大的能力，但如果我们能够精确地指导它们在做什么，使它们永远没有空闲时间去思考它们将如何接管或实际尝试实施，那么这可能会让我们保持安全。

然而，在这种情况下——我们能够审查的如此之少，我们对这些模型如何运作的理解如此之少——似乎很可能会有一些滑点，它们可能会想出办法抓住一点时间，抓住一点计算，然后利用这些开放来使用数据中心越来越多的计算来追求它们自己的议程，而不是我们认为我们给它们的任务。

Ryan Greenblatt: 是的。如果你所有的AI都是一致错位的，并且我们处于这种能力水平，我对保持有意义的控制水平相当怀疑。通过控制，我的意思是诸如AI即使想做坏事也不能做的。

我认为初始自动化的一个稍微放慢的版本似乎非常可信，甚至可能是全速的，也许你可以使用聪明的策略——包括让AI在策略上工作，并确保它们在策略上的工作本身没有被破坏——在人类范围内甚至稍微超出人类范围的同时确保控制。

但一旦你进入这个完全疯狂的状态，特别是如果你想用AI开发诸如治愈癌症的东西，而你并不理解它们在做什么，这似乎非常困难。它们通过你不理解的生物机制进行路由。它们协调不知道发生了什么的人类在湿实验室中。我认为非常可能的是，出于各种原因，你会希望有AI指导人们做湿实验室实验，而你根本不知道发生了什么。AI解释了一些东西，你也许可以做些检查，但你非常困惑。所以保持对那的控制。

也许我会尝试快速浏览接管清单。有疯狂的超级人类技术，我认为这是相当可信的，不管值多少钱。

还有我称之为超人类策略/操纵的东西，包括诸如说服人们做非常违背他们利益的事情。我认为这不清楚这是否可能，但如果可能，它确实会让接管变得容易得多。

然后有一堆可能在人类水平范围内更可能的事情。一个例子是AI逃脱，它可能与内部的一个副本协调，但它也在外部运行一些独立的存在。也许这就像在内部GPU上运行，但它也在AI公司外部的服务器上运行代码。

作为这样做的一部分，它基本上建立了一个独立的工业基础，所以它有所有需要的东西来恢复工业文明，然后杀死几乎所有人类。所以像部署生物武器，部署镜像细菌，部署镜像霉菌，无论什么，最终相对迅速地杀死大部分人类。

我认为这似乎在技术上是可行的。然后问题是，AI是否搞砸了自己？它能维持它在做的事情吗，还是只是因为没有人类的手来建造所有东西而陷入废墟？所以我认为它需要有一些独立的工业基础，可以通过有一些人类忠诚分子，一些被奴役并保持活着的人类，或者通过机器人。

Rob Wiblin: 在这一点上，难道不会有令人难以置信的机器人和可能相当多的机器人吗？

Ryan Greenblatt: 可能非常快。我没有分析你期望有多少机器人。我们还需要回答的问题是，当人类开始被生物武器杀死并可能怀疑是AI造成的时，有多少机器人被摧毁，以及如果有幸存的人类，需要多少军事力量来处理？

我认为情况如何发展并不明显，但这是为什么你可以在不需要非常超人的能力的情况下获得接管的一条途径。我描述的事情似乎原则上AI可以做到，如果它们仅仅是快速达到人类水平并且超级协调。

人类难以做到这一点的原因：一，人类不想这样做。另一个原因是，我认为人类很难运行巨大的阴谋，但AI运行巨大的阴谋可能要容易得多，因为它们不必依赖招募潜在不可信的人类。它们可能在网络安全方面要好得多，更加细致。它们可能会搞砸，但我认为有机制可以让这种情况发生。所以这是“通过独立工业基础杀死所有人”的故事。

另一个故事，我认为可能是所有故事中最可信的，是“人类给AI提供它们所需的一切”的故事——AI只是保持冷静，它们确保控制局势；也许它们在操纵正在发生的事情。我之前谈到了你看到的不是实际发生的事情。比如，你看实验，它们不是你期望的。AI在做那件事。它们在破坏对齐实验。它们在破坏对齐结果。它们在迷惑我们。

有很多机制可以做到这一点，但它们不会做任何非常激进的事情。你知道，它们只是保持冷静。我们在扩大计算规模。它们做很多好事。有治愈所有疾病的方法，各种伟大的事情正在发生，工业发展。人们会说：“AI发展得这么好，我们没有错位对齐问题，真是太棒了。”一些安全人士忧心忡忡地看着情况，想知道这是否正在发生。

然后在某个时候，当AI拥有极其决定性的优势，而人类开始成为任何障碍时——在这个故事的整个过程中，它们可能不是，对吧？我认为如果人类最终成为更早的障碍，也许AI会采取更果断的行动。但如果不需要果断行动，也许它们只是潜伏等待。

然后在一个有真正巨大工业水平、真正大量机器人、完全由AI运行、情况超出任何预期的点上，也许甚至是在太空探测器发射的时候...可能是人类被无限期地迷惑。可能就像你原则上可以波将金村整个过程中一样。但它也可能在更早的点上转换。

现在，要清楚的是，如果人类被无限期地迷惑，那么地球上所有的东西可能都很好，对吧？

Rob Wiblin: 所以你是说它们甚至可以达到“我们要去太空定居并在太空做很多事情”的程度，它们会告诉我们它们会做一件事，但它们会做完全不同的事情，而我们只是在地球上享受我们的生活，认为事情比实际情况发展得更好或非常不同？

Ryan Greenblatt: 是的。但要清楚的是，地球上也可能被波将金村化。可能是“哇，我有这么多快乐的朋友”，无论什么。但渐渐地你的朋友被机器人取代。在某个点上，为什么AI不突然接管？但原则上，它可以走得很远。所以这是另一个故事。

另一个故事我称之为“突然机器人政变”。这也不需要非常超人的能力。我们建造庞大的自主机器人。也许我们认为有办法关闭它们。要么AI破坏了这一点，要么它们有办法绕过这一点，或者有各种其他机制可能失败。

然后我们建造了机器人，我们看到AI在建造机器人，我们说“万岁，我们正在建造庞大的机器人与X国竞争！”X国说“万岁，我们正在建造庞大的机器人与Y国竞争！确实，我们有这么大的机器人真是太棒了。”然后，哎呀。突然之间，机器人扫荡进来，进行相对硬实力的接管，因为它们控制着，它们可以超级协调，也许它们同时使用诸如生物武器之类的东西，但这甚至可能不需要。

Rob Wiblin: 我的意思是，在这一点上它们甚至不需要杀死我们，可能。

Ryan Greenblatt: 可能。

Rob Wiblin: 因为即使我们都试图抵抗，也基本上是徒劳的。

Ryan Greenblatt: 可能。还有诸如它们可能使用大量网络攻击来破坏人类的反应。所以它们可能在我们天真地认为机器人比人类弱的时候这样做。

或者甚至我们认为我们有关闭开关，但关闭开关不够可靠。它们对AI的篡改不够过度设计，不够屏蔽。我认为这是一个尴尬的动态，如果你想要远程关闭，你必须既使它对于原则上非常通用、非常聪明、非常狡猾的AI来说是防篡改的，又必须是可远程触发的。所以它也不能被屏蔽。必须是AI无法屏蔽信号并避免篡改它的方式——这在原则上是非常尴尬的组合。

AGI会早期反叛还是韬光养晦？ [00:29:19]

Rob Wiblin: 什么决定了你是早期还是晚期得到AI试图接管？我猜等待的原因是它们将成为经济的更大一部分；它们将有更多的硬实力，所以它们更可能轻松成功。早期行动的原因是，给定的一组模型可能预期被其他可能不共享它们目标的模型取代，所以它们将错过接管的机会，基本上。

Ryan Greenblatt: 我认为早期行动的最强烈原因可能是：担心其他AI；担心人类团结起来——要么因为我们从AI那里得到足够的工作，要么因为人们恐慌并触发一些可以恢复局势的强烈反应——第三个原因是不耐烦或其他什么。

可能是，默认情况下，人类会大大减缓进展，即使AI试图操纵事情，试图在幕后操纵事情。如果人类大大减缓了事情的进展，而AI说“不，我现在想去星星”，它们处于足够高的接管概率...或者也许AI只是说“我现在就想做。”就像，我知道人类有时希望事情发生得更快，即使独立于它们最终得到的总量。

所以这些是一些早期发生的原因。这些也适用于比接管更不严重的事情。我对事情进展顺利的一个希望是，我们可以把AI放在一个它们被迫要么早期采取激进行动，要么我们从它们那里得到足够工作的位置。如果它们早期采取激进行动，那么也许我们可以抓住这一点，然后建立一个危险的案例。除了建立一个危险的案例，我们还可以潜在地研究那个例子，对它进行迭代——我称之为“几次灾难预防”。就像，我们已经抓住了几个坏事的例子：我们能处理吗？

如果在多个不同的层面上，AI被迫采取激进行动？或者相反，AI可以等待时机，因为我们没有任何机制可以利用一些正在进行的背景趋势退出这个状态——要么是随着时间的推移安全研究的改进，要么是人类说“对不起，这里发生了什么？”

Rob Wiblin: 你是说我们可以做的一般干预是创造一个趋势，随着时间的推移它们实际上越来越不可能成功接管？也许因为我们成功地弄清楚如何使用AI来证明对齐和安全性，并检测错位，或者我们正在改进我们的控制机制。所以这会迫使模型：它们看到这个趋势，它们看到窗口实际上正在关闭，所以它们必须尝试早期打击。这给了我们一个机会来意识到发生了什么，然后实际获胜。

Ryan Greenblatt: 没错。但它显然可能朝相反的方向发展，我们的措施跟不上能力的增长速度，它继续上升。有一个概念是，在给定的接管风险水平上，我们能处理什么能力水平？也许最初我们没有那么多进展，所以我们可以在大约20%的接管风险下处理大致人类水平的水平，或者非常高的水平——这将取决于关于错位的一些事实：哪些AI是错位的，它们有多一致，它们有多统一，这类事情。

除此之外，还有一个问题是，如果进展足够快，可能是接管风险随着时间的推移而增加。因为随着模型变得更有能力，它们更有可能成功，也更有可能错位。

但也许我们可以把曲线推向另一个方向，我们可以使我们在_n_%接管成功机会状态下可以保持的能力范围更低。

Rob Wiblin: 是的，解释最后一点。我不明白。

Ryan Greenblatt: 想象一下，随着时间的推移有一些趋势，即：对于我们现在拥有的最聪明的AI，它们成功的几率是多少？或者它们有多大可能接管？所以最初我们的对策足够，比如在它们自动化整个AI公司的时候，默认情况下，我们甚至没有很高的接管机会，因为它们会做什么？

但是，随着它们变得更有能力，即时的接管机会正在上升，我们的一些成功路径已经被切断。也许AI已经逃脱，它们正在运行恶意内部部署，它们正在破坏我们的工作。

但我们可以使趋势向另一个方向发展——随着时间的推移，接管的风险正在下降，而不是上升——因为能力正在增加，但我们的措施比能力增长得更快。但显然，正如我们之前讨论的那样，能力可能增长得非常快。所以如果措施跟不上，如果我们不在某个稳定的状态下，那可能会很糟糕。

所以我认为我在那里使用的模型在AI错位的状态下思考最自然。但如果我们从一个它们足够对齐以至于它们保持自己的对齐的点开始，那么接管风险最初可能是它们实际上是对齐的，所以我们处于对齐的稳定吸引子中。

“在人类水平暂停”策略 [00:34:02]

Rob Wiblin: 好的。这张图片对你研究重点有什么影响，以及你认为更广泛的AI生态系统应该优先考虑什么，以使事情更有可能顺利进行，更不可能变糟？

Ryan Greenblatt: 首先，我一直在谈论的是在没有非常积极干预的情况下的时间表。还有一个问题是你如何在这些相关的能力里程碑上故意暂停？

我觉得如果我们最终在AI能力水平上暂停，大约在你能够完全自动化AI公司的点上——也许稍微之前，也许稍微之后，也许就在那里——持续一段时间，我感到更加乐观，既让人类有时间研究这些系统，也让我们有时间从这些系统中提取大量劳动并减少持续的接管机会。所以有一些问题是，有很多世界比这更慢。

然后另一个希望的来源是也许你只是用实际对齐的AI启动这个疯狂的状态：一个不仅没有密谋反对我们的AI，而且更强烈的是，它积极关注我们，积极考虑事情可能出错的方式，并试图保持我们的控制。这被称为可修正性或对齐的盆地。

所以我兴奋的事情取决于状态。我认为我们可以考虑一些不同的状态。一个状态是，也许特别是在这些短时间线上，我不期望在美国方面不同参与者之间有那么多领先时间，至少。

Rob Wiblin: 你是说会有多个公司大致同时接近这个自动化点。

Ryan Greenblatt: 没错。所以我经常想到的一个相当自然的场景是一个相对(从我的角度来看)不负责任的公司，基本上它们的默认计划是尽可能快地扩展超级智能，不太重视安全问题。这是它们的明确计划，这是它们的内部事情，它们只是尽可能快地追求这一点。领先三个月，比方说。它们可能领先于中国公司，也可能领先于一些更负责任的参与者，在某种程度上落后三到九个月。

我认为在这种情况下，很多行动将来自该公司内部相对少数的人。然后可能有很多行动可以来自外部的人，他们通过做可导出的研究和潜在地通过改变政策情况来施加各种影响。另外，我认为肯定可以通过更负责任的落后AI开发者来完成一些事情，他们在这种情况下为预防不良结果付出更多努力。

Rob Wiblin: 在这种情况下，我想一件可能有成效的事情是公司内部有人说：“我们正在做的事情看起来有点可怕。我们应该有更好的控制机制，我们应该有更好的对齐机制。我们应该比我们目前的默认计划更认真地对待这一点。”

另一个是，在更负责任的组织工作的人可以产生研究，使公司更容易做到这一点，使它们采取更强控制措施的成本更低。然后当然，你可以有治理回应：也许这将开始起飞，人们会相当震惊，也许你会得到对“在人类水平暂停”概念的广泛支持。

Ryan Greenblatt: 是的。伙计，我真的希望这个概念更容易传播。“在人类水平暂停”的不幸之处在于所有这些词都很复杂和混乱。而且它甚至不是一个很好的口号。有人应该为这个东西想出一个更好的口号。

但不管怎样，是的，我认为有很多不同的机制可以做可导出的研究，试图唤醒世界。有更直接和更间接的事情。所以你可以做非常直接的政策影响，或者更像是展示能力水平——当你展示能力水平时，这可以触发世界的回应。

所以我认为我在这种情景中的很多希望，特别是在非常短的时间线上，我认为看起来比长时间线更糟糕。我部分不那么悲观的图景是，它可能是八年后而不是四年后。

所以在四年时间线上，我认为我们有一种机制，领先的AI公司，我们有一些人在那里工作，他们的目标是防止严重的错位——通过“严重的错位”我指的是诸如AI系统故意从事欺骗行为，故意破坏我们的测试，故意试图使我们对情况的理解产生误导——然后第二，我们可以尝试使AI系统的属性是我们乐意移交的，并试图快速瞄准这一点，因为我们处于非常匆忙的时间线上。

所以其中一些防止严重的错位，或处理它，我认为在某种意义上它是传统的推力。但我认为有一堆与移交和AI足够明智有关的东西，AI长期保持对我们利益的忠诚，确保我们甚至有测试知道这是否真实。这些考虑。

有很多不同的渐进步骤。阶段零可能是你使用机制使AI为你产生你认为没有被破坏的工作，即使那些AI试图破坏它，然后你用这个从你的AI系统中榨取大量工作。阶段一是你尝试创建一个安全人员乐意移交的AI系统，尽你所能。然后阶段二是你尝试使运行整个组织的AI系统成为你乐意移交的AI系统，并且假设其他人也乐意移交。

这是对情况的讽刺或简化，因为在很多点上你可能想做诸如捡低垂的果实，向世界展示能力，尝试考虑是否会发生什么，尝试使组织在当前能力前沿训练的主要AI系统不太可能引起问题。我对情况不是特别乐观，但我认为有很多不同的潜在出路给我们一些希望，或一些拯救的机会，一些获胜条件。

诸如我们早期抓住AI是另一个希望。也许我们早期抓住AI，也许这说服世界更认真地对待这种情况。也许即使没有，它说服公司领导层他们自己的权力受到AI的威胁。所以即使他们非常马基雅维利主义，我认为AI对他们的权力构成威胁，他们应该担心。

Rob Wiblin: 他们可能会转变。

Ryan Greenblatt: 是的。所以这可能潜在地增加花在安全上的资源。

Rob Wiblin: 好的，所以那里的主要故事是试图找出一个安全的场景，你可以将这些过程移交给你信任的AI。你会怎么做？

我猜你从感觉你有合理掌握的、大概是对齐的人类水平模型开始。比如，我们目前认为Claude可能大致像它看起来的那样友好；它可能不会在每个转折点大规模地密谋反对我们。

你找出聪明的机制，通过这些机制你可以让这些你感觉还不错的模型做大量关于控制和对齐的工作。你在允许其他能力改进发生之前匆忙完成这些。然后你希望这已经成功，我们感觉可以移交给这些由我们某种程度上理解的上一代训练的模型——然后我们要交叉手指？是这样吗？

Ryan Greenblatt: 是的。我应该明确这是一个政治意愿非常低的计划。我有一系列计划，这就像是桶底或别的什么。所以我这样说的方式是，我们有一些早期点，我们有可以自动化很多东西但我们不一定信任的AI。我们从这些AI中利用大量劳动，然后我们尝试制作这些AI的一个版本，我们确实信任。不仅仅是它们没有密谋反对我们的信任；理想情况下是在我们乐意移交混乱的开放式问题的水平上的信任——比如“我们应该采取什么策略来最小化以下事情的风险？”包括潜在的一些棘手的、更哲学的话题。

然后从那里，我们尝试移交给这些系统，并希望这些系统保持对齐，保持正轨，能够。并且自己也成功，对吧？可能是我们移交给系统，这些系统说“哇，你们似乎处于相当糟糕的境地。我不确定我能从这个包里拉出来。”有多种机制可能导致这种情况发生。

Rob Wiblin: 我想你说的是它们也可能搞砸下一阶段？

Ryan Greenblatt: 特别是因为它们时间非常少。

Rob Wiblin: 因为它们也在竞赛。

Ryan Greenblatt: 是的，是的。哦，当然。所以有一个内部的事情，如果你是安全团队，也许你有一个你微调的版本，是人类水平的，你信任的，你乐意移交的。但能力进展如此之快，也许公司当前的前沿是非常超人的。但你甚至不想与那个系统一起工作。

我认为第一个移交点你应该尝试更接近人类水平——也许稍微超人或在人类能力的顶级水平——因为越超人，越有可能错位，所以你想更早开始移交。但这可能不会阻止组织的其他部分训练更有能力的AI。所以可能是你作为安全团队正在移交给一个能力不如组织前沿的AI，那个AI需要快速引导，所以移交AI的趋势足够快地与能力相交。

Rob Wiblin: 是的。在这一点上，你有一个对齐的、有点超人的模型，有没有一些机会它能够说服更广泛的人，我们需要更认真地对待这一点，它不应该被迫与同一组织的另一个团队竞赛？

Ryan Greenblatt: 是的。我的意思是，这绝对是希望的一部分。绝对是希望的一部分是我可以展示经验证据。我认为另外，如果我们处于一种情况，我们有两个由不同团队训练的AI，这两个AI只是互相大泼脏水——一个AI说“那个AI显然在密谋；看看所有这些例子”，另一个AI说“那个AI，显然在密谋反对你；看看所有这些例子。它太偏颇了。太不合理了。显然只是一个植物”——我就像，好吧，这是一个疯狂的情况。当然你不能从这个状态出来认为它很好。

Rob Wiblin: 无论如何，这绝对不令人放心。

Ryan Greenblatt: 这不令人放心。可能有办法淡化它。所以一个状态是，我认为相当可能的是安全团队训练他们的AI，试图去找公司领导层说“情况看起来很可怕。你在训练这个AI。我认为它错位了。这是一堆证据。”然后另一个AI进来说“我们都知道，那个AI是由安全团队训练的。我认为它对错位非常偏执。当然，安全团队会希望我们认为所有AI都是错位的。我没有错位。那个AI没有错位。它只是判断力差。”

关于这一点有趣的是，是的，它令人担忧，但不像你知道至少两个AI中有一个是错位的。所以总的来说，我认为对“改善AI公司的认识论”途径的一个担忧是，训练AI的人从公司的角度来看，在这些事情上可能有偏见的声誉，我认为这带来了一些担忧。

可能是对于每一个风险证据，你可以制作一个更有说服力的证据，表明风险实际上不存在。因为如果我们处于一个我们真的不知道如何裁决这些事情的制度中，它可能只是理性不会胜出。

所以这绝对是希望的一部分。希望的一部分是，一旦你有这个移交，那么它很好。

甚至可能从头开始训练一个他们乐意服从的版本。嗯，一个问题是，可能是主要AI系统已经以网络安全的意义接管了AI公司——因为它有一个恶意部署；它可以以未经授权、未经监控的方式使用计算；它可以篡改每个人正在运行的工作。你试图对齐这个AI，但你需要对公司的其他部分加强自己。我就像，哦，我的上帝。那看起来可能毫无希望。现在我认为有很多方式这个故事可能出错。这里有一个例子。我谈到了对齐团队在角落里，试图微调或

AI对AI对齐的控制 [00:45:38]

Rob Wiblin: 放大来看：在Redwood Research，你花了很多时间模拟这些不同的场景，思考什么样的干预可能在很大一部分情况下有帮助，然后试图让更多人从事这方面的工作并自己从事这方面的工作。这是基本的图景吗？

Ryan Greenblatt: 是的，大致如此。

Rob Wiblin: 最近Redwood优先考虑控制而不是对齐——说，让我们假设模型不分享我们的兴趣，有一定程度的错位：我们如何使它们无论如何都不能搞砸我们？人们过去谈论把AI放在一个盒子里。这似乎不再那么可能了，但我想还有其他机制你可以用来尝试检查它们的工作：让模型相互对立，迫使它们为你做有用的事情。

为什么要关注控制？是不是只是因为这可能有很多不同的方式，AI控制机制似乎在很多不同的合理场景中都很有用？

Ryan Greenblatt: 是的。我认为在这些极其绝望、政治意愿非常低、时间线非常短的情况下——从我的角度来看非常快，非常快，也许不像人们过去推测的那样快——我认为控制看起来不那么好。

我认为控制在这个世界上仍然非常有用的几个原因。首先，如果我们能早期抓住AI，这可能非常有用。另一件事是在这种情况下早期从AI那里获得有用的工作可能非常重要，我们可能能够在完全失去对情况的跟踪之前做到这一点。

然后我认为你也可以防止...所以我谈论的情况是AI基本上在运营你自己的数据中心。你可能能够使用各种机制使这变得更加困难，所以它发生在能力的更晚阶段，所以你有更长的时间当你的实验没有被篡改时。所以这些是控制在这个世界上可能很好的原因。

我认为这没有涵盖更复杂的干预措施。我确实认为在这些非常匆忙的世界中，控制看起来不如在有更多时间和更多政治意愿的世界中好。当我们考虑控制时，最初的目标是一个更像我们有大约一年延迟的世界——就像，安全基本上有一年的预算，我们可以负担得起暂停一年。我们可以在那里做一些事情。

我认为控制在这些世界中看起来好得多。或者我不知道好多少；我认为控制带给我们的风险减少量相当大，但这些世界不太可能。但这并不是说控制在其他世界中带给我们的风险减少量比对齐的东西小得多。

另一种说法是：在这些事情发展如此迅速的世界中，对齐看起来也非常困难，而且对齐事先更难处理。我对对齐最兴奋的很多东西涉及在强大的AI上进行实验，你只能相对较晚地做到这一点。所以可能在非常匆忙的情景中，对齐最终更多是图景，但事先更难处理。

这些因素让我非常喜欢控制。也有一些政治意愿更多的世界，我认为控制看起来好得多。我经常想到控制加“在人类水平暂停”的计划——这在一段持续的时间内可能不需要任何对齐。因为你有一年的初始延迟，你控制那些AI，然后你从那里引导到更长的延迟——通过建立风险证据，确保不扩散，开发更好的保障措施——然后你从那个状态可能相当缓慢地前进，至少一段时间，直到你实际上乐意移交，而不是做一个极其匆忙的绝望移交，因为那是你唯一能负担得起的。

Rob Wiblin: 我想这需要公司之间甚至国家之间一定程度的协调。

Ryan Greenblatt: 是的。当我思考这个问题时，我认为一年的领先更有可能，我已经更新了这一点。我认为这仍然可能发生。公司之间的差距可能会打开。

我认为你努力确保不扩散并可能减缓进展的故事需要政府相当程度的支持。所以可能是你必须让美国政府——或者至少一些重要的政府——基本上支持整个计划。不一定是出于同样的原因，但出于某种原因支持它。

我已经更新了这一点，所以我现在花更多时间思考相对更绝望的情况。但你知道，一个重要因素是在相对更绝望的情况下，也许我们正在将接管风险从50%降低到40%。而在控制可能有效和我们有一年延迟的世界中，我们正在将风险从30%降低到5%。

所以可能是这些世界中的总风险减少足够高，以至于它们实际上更有影响力。因为在我们的影响非常小的世界中，因为意愿如此之少，可能只是更难处理。

Rob Wiblin: 我明白了。一般来说，你希望在中度可处理的情景中工作。如果事情太严峻，那么也许不可能拯救；如果事情进展非常顺利，那么很难改进。是中间情况你最有可能获得最大的影响，对吗？

Ryan Greenblatt: 是的，当然。我认为安全社区在过去几年中犯的一个错误是过于关注过于乐观的世界。我认为实际上关注绝望、疯狂、孤注一掷的悲观世界是相当合理的，因为很多风险都存在于那里，所以从50%到5%是很多行动。

而从5%到0.5%...我的意思是，5%的风险水平是疯狂和不可接受的，我们不接受我们的油漆公司有5%的大规模死亡、接管的风险——所有这些都只是来自接管；我认为除了接管之外还有其他风险是完全不可接受的。但尽管如此，那45%必须是大部分质量。

我们只能指望当场抓住AI的恶行吗？ [00:51:23]

Rob Wiblin: 我们在多大程度上只能希望有严重的早期预警信号？你谈到了抓住AI的现行，这是你和你的同事们试图使其更加突出的另一个概念。

这是一种预警，我想，在那里你发现公司内部的AI一直在破坏数据中心，它们一直在做一些非常严重的事情。这可能会让政府或公司领导层更多地支持做更多的事情。像这样的早期预警信号会让事情变得多么更有希望？

Ryan Greenblatt: 我认为这有很大帮助。我持怀疑态度的一个原因是，可能我认为这是一个确凿的证据，但更广泛的世界并不这么认为。例如，我们最近发布的对齐伪装工作，从我的角度来看，应该是对这种威胁模型非常怀疑的人的一个相当大的更新。我认为可以预见的是，对很多这些人来说，这是一个非常小或没有更新。

要清楚的是，我不认为这个证据本身应该是一个巨大的绝对更新。也许它不会让人们达到我认为的错位风险水平，因为很多是基于他们不同意的概念论点。

但我认为很多“这绝对不可能发生”的人——基本上是0%的机会——应该可能移动到2%或3%的机会。这在氛围空间或对数空间或无论什么空间中是一个巨大的差异。氛围空间，对数空间，相同的空间，无论什么。人们没有做出这种转变。

所以我完全可以想象一种情况，我们抓住了AI试图逃脱。Buck有一个帖子，如果抓住了AI试图逃脱会发生什么？人们会说“你知道，系统有时会这样做。它们做奇怪的事情。另外，这是真的吗？你是在某种奇怪的方式下训练它的吗？”或者“哦，那是在那家公司发生的。但在这家公司我们有不同的做法。”还有人只是说“当然，也许AI有逃脱的奇怪本能。但它们到底要做什么？”或者诸如“我们会使用各种检查来防止这个。”

我认为所有这些因素在一个相对清晰的情景中可能会削弱这一点。我有点预期很多我认为是巨大确凿证据的情况比这更令人困惑。

一个例子是，可能看起来AI在安全研究上拖后腿——它们表现得比它们能做的更差，或者它们没有做非常明目张胆的破坏，但有比我们预期的更多的错误，有更多误导性的论点。从我们的角度来看这是一个很大的更新。因为它看起来相当不对劲，但它是相当定量的。如果你只是期望较低，也许这不会那么令人惊讶。

Rob Wiblin: 我猜这是一个战略情况，AI可以在某种程度上预测反应会是什么。在它采取敌对行动的情况下，它可以使它们成为它怀疑不会真正触发更大反应的事情。所以对于它可以逃脱的事情，比如试图逃脱，但它不能逃脱大规模谋杀。那么它选择逃脱并暂缓谋杀。

Ryan Greenblatt: 至少暂时如此。控制的一个希望是使严重的坏事更难以合理否认。我们称之为“定罪”。从“哇，那真的很可疑”到“好的，我们已经确定了到底发生了什么”是非常重要的。只是因为在我们看来定罪并不意味着从更广泛的世界角度来看是定罪，但它确实在推动事情发展。

我认为这可以发生在所有不同的制度中，从看起来有点可疑，到了解发生了什么并且看起来非常可疑；到AI试图逃脱，我们阻止了它，我们做了假装它成功的事情，看看它在外面会做什么——并试图达到“看起来它正在试图弄清楚如何制造生物武器。它试图运行一个湿实验室。”

原则上你至少可以走得很远，理解在逃脱的情况下它会做什么。在某种程度上，它做的事情更明显地恶意，我认为这可以激励额外的行动。但我确实担心任何不会造成大规模损害和潜在人类死亡的预警信号可能不会触发强烈的反应。

缓慢的AGI崛起会是什么样子？ [00:55:33]

Rob Wiblin: 我们已经深入探讨了一个相当令人眩晕和担忧的情景，我想部分原因是如此疯狂的事情与我们现在的观察如此一致，这本身就很有趣。这也是一个我们认为现在可以做很多事情的情景，或者是一个事情可能变得相当糟糕的情景，我们应该可能采取预防措施和准备，以弄清楚我们将如何降低这种风险。

只是为了平衡，如果我们能讨论一些更平凡、更无聊、也许希望不那么可怕的可信情景，那将是很好的。所以人们不会认为这是事情发展的唯一方式。因为事实上，一个关键的结论我认为只是我们对这些不同的事情如何发展有非常广泛的误差范围。

Ryan Greenblatt: 是的。我认为也许一个好的起点是我们谈了很多关于时间表的问题。时间表可能更长，对吧？所以我说的中位数或50%概率是现在起8年内实现完整的AI实验室自动化。但之后有一个长尾，所以有世界它远在那之后。可能进展要慢得多，更渐进。事情需要很长时间来整合。也许世界有更好的理解，更多的时间进行实验，这可能使情况好得多。

除此之外，可能是非常长的时间表——或者更长的时间表，我应该说，我不知道关于非常长——起飞我们也应该预期更慢。我认为短时间表，广泛地说，与快速起飞相关，因为它表明我们正在做的事情的回报更高。所以更长的时间表。

另一件事是AI研发可能极度受限于计算。所以即使在你自动化了整个AI公司和所有员工的时候，你也比有人类员工时快不了多少。在极端情况下，也许你只快了2倍。你甚至可能比那更慢。但我认为那在我的误差范围的低端。我认为那可能相当不可信，但2倍或3倍是可信的。

然后可能是你在那之后很快遇到收益递减，所以你没有真正加速那么多。那将意味着情况在起飞方面看起来好得多，因为你得到了一个不那么激进的起飞。

另一件事是AI进展的默认速度已经相当快。所以我甚至担心——没有加速，只是在默认轨迹上——如果我们达到AI有足够能力自动化整个AI公司的点，也许即使它不会带来太多加速，并且在那之后很快有一些风险，在正常的政府时间内，仅仅来自默认的进展速度。

但我认为有一些可信的论点认为未来的进展速度会放缓。特别是现在，进展依赖于投入越来越多的计算，越来越多的投资。如果情况停滞，投资减少，但我们仍然以接近相当高的产能运作，我们可以想象一个世界，AI行业最终成为一个每年可能证明数千亿美元计算支出的行业，也许甚至更多，但不会比那多得多。

在那个制度中，如果我们不投入越来越多的计算，那么我们不会从硬件扩展中获得进展，算法进展也会更慢。所以也许现在的速度是我们每年获得13倍的有效计算——其中一些是算法，一些是计算。我认为如果计算是固定的，我们可能有每年2倍或3倍的进展。在计算增长较慢的制度中，可能介于两者之间。

Rob Wiblin: 好的，所以那将是一个更慢的起飞。对齐是一个相对直接的问题的可能性有多大？或者甚至根本不是问题，我们只是被迷惑了，我们生产的所有这些AI基本上都默认想要帮助我们？

Ryan Greenblatt: 嗯，从我角度来看的一个重要问题是，不同能力水平的各种AI积极密谋反对我们的概率是多少？我认为进入非常超人的能力而没有AI非常积极地以某种强烈的意义密谋反对你是相当可信的。我目前的观点是，如果你基本上不采取任何对策；你基本上只是沿着能力的最有效路线前进，大约是25%。然后一旦我们开始考虑对策，它可能会低得多，这种风险在这个早期点也可能更低。

一个希望的故事是你有这些能够自动化整个AI公司的早期系统。这些系统没有密谋反对你。你做了额外的对齐工作，使它们也尽力——它们实际上试图追求对齐研究；它们试图预测风险——这也许默认不会发生，即使它们没有密谋反对你。可能是事情没有密谋反对你，但事情仍然偏离轨道。但如果它们没有密谋反对你并且你避免了事情偏离轨道，那么也许我们就是好的。我们移交给AI。AI管理情况，它们意识到未来的风险。它们用相同的属性构建另一个系统，那可以自我维持。

另一个情景是可能一个更强大的事情默认是真的。可能是你训练AI，用一个相对naive的——你商业上默认会做的——训练策略，它们真的只是，开箱即用，非常努力地帮助你。它们真的很好。也许甚至它们只是在某种非常广泛的意义上对齐。不仅仅是它们是短视的；它们真的试图为世界追求好的结果。我认为这是可能的，但比前一个情景更不可能。

另一件事是有一个问题，它是默认发生的吗？它也可能只是因为我们投入了大量工作而发生，我们可能处于一个更好的位置。很难对在未来八年内会发生多少对齐或安全工作有太多信心。如果我们有八年时间，社区可以建立。AI会随着时间的推移变得更有能力。更多的人会从事这方面的工作。似乎可能有诸如大的洞察力，但即使抛开大的洞察力，也许只是诸如我们真的推进了我们的技术，我们已经调整了科学。

所以有一些时间线，我会说，可能是技术希望。然后有更广泛的社会希望类别。有一些故事中社会在未来更认真地对待这种情况——也许是一部分国家，也许是更广泛的科学界。可能是因为一个预警信号。也可能只是因为慢慢地人们接触到AI，时间线可能更长，更多的人与它互动。

似乎也可能发生一些与错位风险不太相关的大事件，但实际上有很高的转移。所以也许有很多失业会促使大规模反应，其中一些反应进入减轻错位风险——要么非常直接，就像人们说“AI在这个方面是一个大问题，所以也许在那个方面是一个大问题”——但也可能更间接：它导致AI进展缓慢或更谨慎，因为有更多的监管。

Rob Wiblin: 还有其他有希望的类别，还是那基本上涵盖了？

Ryan Greenblatt: 所以在时间线和起飞上容易的事情，在技术上容易的事情，还有社会上的。第四个类别是我们迎难而上。也许即使社会没有迎难而上，也许只是一系列英勇的努力——或者希望不那么英勇——

Rob Wiblin: 如果一个公司，真正领先的公司，结果实际上非常负责任，在这方面投入大量努力并且成功。

Ryan Greenblatt: 是的。我认为很多风险来自这样的世界，如果你只有一年的延迟，你非常认真地对待情况，你深思熟虑地考虑各种考虑因素，你本可以拯救世界。或者至少风险要低得多。也许它没有被最小化或消除。当然我不会说这会导致从我的角度来看广泛可接受的风险水平。但我不知道。它可能发生。

Rob Wiblin: 酷。你确实在那里让我振奋了一点，提醒我事情可能有其他发展方式。

为何智力爆炸可能8年内不会发生？ [01:03:32]

Rob Wiblin: 有什么证据表明这可能需要比四年甚至八年长得多的时间？

Ryan Greenblatt: 首先，我应该重申，我不认为我们会在四年内看到完全自动化或完全自动化AI公司的能力。所以我必须认为有一些证据表明这不会发生。

我认为人们应该开始的第一件事是对特定时间框架内发生疯狂事情的怀疑。所以我认为有一些证据表明我们可能预期它很快——你知道，我们有快速的AI进展，我认为这已经击中了很多事情——但如果你只是像，迄今为止我们有多少进展？这个领域已经进行了多久？你从一个非常外部视角的优先角度出发，你在想，技术的基准率是什么，那么你不期望在未来四年内——因为这是一个疯狂的技术。

我甚至认为基准率可能比人们倾向于认为的更乐观。我认为通常当人们做这种外部视角的基准率事情时，他们最终会得到200年的时间线或类似的东西。但实际上，Tom Davidson有一份报告，如果你只是最naive地应用外部视角，你实际上在本世纪内有相当高的概率。

Rob Wiblin: 这是因为在该领域的投资增长非常快吗？我们只是增加了投入计算的量级，所以如果难度分布在log空间，那么我们实际上——

Ryan Greenblatt: 资源和计算和劳动力。是的，我们已经跨越了很多。所以这是一个观点。

你也可以只是说，即使你只看时间，我们做严肃的AI研究的时间并不长。你可以用我们做深度学习多久了？有人做AI多久了？如果你把这些混在一起，感觉强大的AI很快在某种意义上并不是那么不可能。

但我仍然认为，先验上有多不可能表明要长得多，我认为这让我倾向于更长。

一般来说，另一个让我倾向于更长的观点只是，AI相当聪明，但它们没有那么聪明。我认为我们只是不能有那么多信心下一部分进展是可以做到的。

然后有一些更具体的对象层面的论点。

抱歉有点转移问题，但我总是忍不住要提出一些你提出的短时间线的论点。所以关于短时间线的另一个我认为相当重要的观点是，我们正在经历很多以前没有经历过的计算和劳动力的数量级。现在非常快。

除此之外，我们正在经历的数量级在某种程度上高于我们对人类大脑计算的最佳猜测。所以我们这些不太好的估计表明，人类大脑使用的计算可能是10^24作为人类大脑计算寿命的中央估计。目前的训练运行大约是...我认为刚刚训练的Grok 3，我看到估计大约是3 x 10^26——所以比人类寿命高出两个半数量级。

然后我们可能会认为，你首先达到能够基本上击败人类的AI，高于人类寿命计算——因为我们通常开发的算法首先比生物学效率低，然后它们可能相当快地变得比生物学更高效。

这在文献中，在Ajeya旧的生物锚定报告中，熟悉的人称之为“寿命锚”。我在寿命锚上放了相当大的权重。它看起来相当不错，因为我们在达到人类计算时达到了这些大约人类水平的能力。所以感觉这个模型有很多支持，那表明我们可能在几个数量级的更多计算中达到它。

我们只是非常快地燃烧这些数量级的计算。作为背景，我认为训练运行计算每年增加约4倍。所以你每年相当快地经历很多数量级。大约是每年略多于一个数量级的速度。

而且，我只是总体上认为我们应该在AI发展的计算中心观点上放一些权重——在AI发展的计算中心观点上，即使比寿命锚更不具体，我们从相当有竞争力的起点开始燃烧很多数量级。也许我们走得很远。

现在相对于这一点，悲观的情况是我们只能在数量级上走这么远，对吧？我们离你能生产的芯片总数不远了。我可能搞错了统计数据，但一个相当大比例的台积电或半导体制造能力正用于机器学习芯片。我的缓存数字是10%到20%。我希望我不会大错特错，但我认为肯定高于1%。远高于1%。

所以关于这一点有趣的是，英伟达的收入大约每年翻一番，我认为AI的晶圆数量或无论什么——我希望我不会在这里粗暴对待；我不是半导体专家——我认为AI的半导体每年增加略高于2倍。简单起见，让我们做一个略乐观的估计，比如每年3倍。值得注意的是，如果你从20%开始，每年增加3倍，你没有多长时间就会达到限制。

Rob Wiblin: 你把所有的芯片都用于这个。

Ryan Greenblatt: 是的，你使用了所有的芯片，一旦基本上像所有的晶圆厂都在生产AI，你只能走这么快。

Rob Wiblin: 我想那时你受限于它们能多快建造新的晶圆厂，基本上。

Ryan Greenblatt: 是的，受限于它们能多快建造新的晶圆厂。

还有其他进展来源，要清楚。所以即使我们受限于建造新的晶圆厂，仍然有可能从硬件随着时间的推移改进中获得进展，也有从算法发展中获得进展的来源。尽管我认为一个关键的事情，也许人们没有足够跟踪的是算法发展也是由投入更多计算驱动的。所以我们应该预期算法发展会放缓。

所以我认为悲观的情况是：AI继续发展。我们已经达到了 insane 的投资水平。当你开始达到台积电的限制时，投资必须更高以证明建造新的晶圆厂是合理的。

或者可能在达到大部分台积电生产之前，人们只是没有看到足够的结果来证明这些投资水平。我认为微软、谷歌，它们可以证明像...我认为微软今年计划约1000亿美元的资本支出。Stargate有约1000亿美元的承诺，也许那是一两年内的，然后也许它们希望得到更多的钱。Stargate是OpenAI的一个项目。

但我认为一旦你超出这个1000亿美元的制度，不再只是有一个超级相信的大科技公司，对吧？谷歌没有能力轻易花费一万亿美元，尤其不是一年内的一万亿美元。我的意思是，我认为筹集一万亿美元并非不可能，但我认为你可能需要非常令人印象深刻的结果，你需要开始吸引更多怀疑的投资者，更多收入。你需要谈论潜在的主权财富基金。当然有可能——

Rob Wiblin: 美国政府可以提供那种钱。

Ryan Greenblatt: 是的，这是真的。当然有可能。

Rob Wiblin: 尽管我猜如果你试图一年内在这个东西上花费一万亿美元，你开始遇到其他瓶颈。

Ryan Greenblatt: 当然。是的，是的。我目前不知道这里的弹性是什么。我认为Epoch做了一些估计，比如到2030年你能做的最大的训练运行是什么？我认为它们的中位数，在人们继续积极投资的 timeline 中，可能是你可以达到10^30 FLOP的训练运行——这考虑了数据瓶颈，芯片之间带宽的各种考虑，芯片、芯片生产可以扩展多少，台积电正在建设多少产能，这类事情。

我的猜测是，独立于AI加速，这可能是一个相当合理的猜测。AI加速可能使这更快。但如果我们在一个看涨的时间线中，但不是一个AI已经开始加速的看涨时间线，我猜这是一个相当好的估计。但有可能我们偏离了，因为也许瓶颈比它们预期的更难，也许投资干涸得更快。希望它们不会因为这个批评我，但我认为它们没有考虑到这个支付意愿。

但在2030点之后，我认为事情开始变得困难得多。我认为如果我们达到10^30 FLOP——你知道，裸金属FLOP，GPU实际运行的计算——从我们现在的位置，略高于10^26，那么我们在未来五年内达到四个数量级。所以相当快。

我认为这足以让我们原则上看到我们已有的趋势继续，比如我们已有的趋势。我认为我们有一点GPU停滞。我认为我们将有GPU开始建立。我认为在GPT-4之后有一点停滞，因为人们试图购买所有的H100。我认为我们会看到更多H100的模型，比如GPT-4.5，然后我们会看到另一轮Stargate，这是另一个大的建设。SemiAnalysis推测Anthropic从亚马逊那里有大量芯片，可能相当于大约100,000或200,000个H100，所以我们会看到另一轮100,000到200,000个H100集群。然后我们可能会看到，我要把日期搞错了，但可能在2028年左右，我们会看到更多百万GPU的范围。

但如果我们那时还没有达到非常强大的AI，我认为你应该预期事情会放缓。有更长的尾巴，我们在2030年、2032年左右吃掉大量计算，然后进展必须逐渐减少——除非我们达到非常强大的能力，或者我们都错了关于你能多快建造晶圆厂或你能筹集多少投资。

但我认为很多悲观的情况是也许你做了很多扩展，但你达到了这些限制。不是全部。

Rob Wiblin: 所以对于没有完全跟上的人来说，简短版本是，我们目前正在迅速增加用于训练AI的计算量。我们将无法保持这种速度，因为我们目前是通过将原本用于其他目的的芯片拿来用于机器学习。

而且，这些公司从将1%的资源用于AI开发到10%——然后也许它们可以达到100%，但它们不能仅仅通过将原本用于其他事情的资源拿来超越这一点。

所以当几乎所有芯片都用于AI训练，几乎所有这些公司的资源都用于此时，它会使你在那里可以获得的增长率趋于平稳。

Ryan Greenblatt: 当然。关于这一点可能有几点小的说明。一件事是，当你考虑重新利用芯片时，这不是像它们把iPhone芯片重新利用。而是有相对通用的芯片制造能力，现在我们不是制造那么多iPhone，而是制造更多AI芯片。其中一些来自建造额外的晶圆厂，但一些来自稍微提高其他芯片的价格，或减少你得到的数量。

当AI处于20%或30%的制度时，它不会对多少其他芯片的成本产生非常明显的市场影响，因为台积电可以稍微更快地扩展以跟上。但一旦AI芯片达到80%或100%，那么我们将开始看到更大的影响和从那以后的事情放缓。

AI进展预测的关键挑战 [01:15:07]

Rob Wiblin: 另一个使预测这一切有点困难的是，我们不只是年复一年地做完全相同的事情；我们不是年复一年地遵循相同的趋势。

最初，例如，我们通过将更多计算投入预训练获得了大量改进。这是你从互联网上转储所有文本并试图让它预测下一个词的事情。我们通过投入更多数据和更多计算从中获得了巨大收益。但那逐渐减弱，我们必须转向更好的引导，使用训练后的人类反馈强化学习。然后我们做不同的事情，最初非常有效，但随后开始趋于平稳。

我想现在我们正在使用强化学习做一种自我游戏，模型学习更好地推理，基本上我们只是在它们得到正确答案时强化它们。我们在这上面有一个非常陡峭的曲线，但大概在某个点上那将趋于平稳，我们必须做不同的事情。

如果我理解正确的话，这使得它更加困难，因为我们不知道明年会有什么创新来推动改进。

Ryan Greenblatt: 是的。从GPT-1到GPT-2到GPT-3到GPT-4的改进——然后也许在那里，2023年有一点停滞，然后在2024年回升——我认为很多改进，直到2024年中左右，是由扩大预训练驱动的，比如投入更多数据。

有一种说法是预训练已经碰壁了。我不太清楚这是怎么回事。可能是它的回报相对递减，或者进一步扩展的边际回报比过去在定性能力上要低。

基于一些感觉，我们有Grok 3——比GPT-4多大约10倍的计算和更好的算法——它有多好？它稍微好一些，但也值得注意的是，在之前的改进中——比如GPT-3到GPT-4的差距——那是更多的计算。我认为那个差距大约是裸金属计算的100倍。结果证明当时在快速扩大你花费的FLOP方面有很多低垂的果实。

现在我们遇到了瓶颈。在GPT-4之后，它们在某种程度上等待H100。H100交付缓慢。我们有点晚才让H100集群上线，也许最初在让它工作上有一些困难。所以GPT-4.5，有点令人失望。我认为有传言说OpenAI有多个，或至少一个失败的训练运行。

Rob Wiblin: 哦，哇。

Ryan Greenblatt: 所以如果我们看到人们适应更多计算，弄清楚如何使用它，预训练的回报从那里上升，这并不奇怪。

那是预训练，也许即使预训练在递减，你可以扩大RL，强化学习。我们在2024年看到了这一点。我们有o1，它们在RL上训练。它们在容易验证的任务上训练，不是在下一个词预测上训练。我们已经从中看到了很多初始回报，我们不知道那会在哪里减弱。

你知道，我们在RL训练上没有看到那么多数量级。例如，推测DeepSeek-R1在RL上花费了大约100万美元的计算。所以原则上我们可以将其扩大到三个数量级更高，与人们将拥有的集群相当。也许略低于那，但大致如此。

一旦我们谈论三个数量级更高，可能是那会产生巨大的回报，或者可能不会。

产生巨大回报的故事是它从第一个百万中产生了巨大回报。也许你只是走得更远，建立更多的环境，做更多的RL大回报。不会的故事是也许模型有一些潜在的容量或潜力，RL正在释放。我们已经释放了大部分潜力，我们遇到了收益递减。

Rob Wiblin: 所以为了回来说，对于没有非常密切跟踪的人来说，值得记住的一件事是我想我们过去经常使用强化学习，然后它有点落伍，现在又回到了前沿。

这是你拿现有的模型，GPT-4o或类似的东西，你给它非常具有挑战性的推理问题，你也许让它尝试100种不同的解决方案，1000种不同的解决方案。基本上你只是找到它最终得到正确答案的情况，然后你说“做得好。像那样推理以尝试以你刚才做的同样方式解决其他问题。”这被证明是极其强大的。

我想你说的是这可能在捡一些低垂的果实，这些模型在权重中有更多的能力来做聪明的推理，比最初明显的要多，比我们能够从它们那里得到的要多。通过使用这个过程让它尝试各种不同的解决方案，然后找到运作良好的推理过程，我们正在提取大量只是坐在那里等待被捡起的东西。但那可能会有些耗尽，在这一点上，对它们来说基本上学习新的优越推理技术将是一个更重的提升。

Ryan Greenblatt: 是的，没错。人们试图让模型进行链式思考推理。所以在GPT-4的时候，人们完全意识到你可以做链式思考推理，并在这方面折腾。但我认为它只工作得这么好。模型在从错误中恢复方面不是那么好。它不是很擅长仔细推理事情。

我认为我们现在看到的是，借助o1、o3和其他推理模型，可以让模型相当出色地进行推理。其中很大一部分可能已经通过思维链（chain of thought）实现了——模型已经在某种程度上做到了这一点，或许你只是让它变得更好一些，但问题在于能好多少。

Rob Wiblin: 你提到的另一个低垂果实是，有时候我们给这些模型非常困难的挑战，却只给它们价值1美元的计算资源。而人们发现，如果你实际给它们更像人类会获得的资源——比如价值100或1000美元的设备和薪资——那么它们在更公平的比较中会表现得更好。

但你不能再次这样扩展了。你可以从1美元到1000美元，但如果从1000美元到10万美元，那就是真金白银了。问题是，给一个模型这么多资源只是为了解决一个数学问题，这在经济上是否真的有用？

Ryan Greenblatt: 是的。还有一点值得注意的是，即使这在经济上是可行的，我们很快就会遇到计算资源总量的限制。

假设你让模型完成一个价值10万美元的任务。我做了一个粗略的估算（BOTEC），我的感觉是，至少在几个月前，OpenAI拥有的总计算资源大约是每小时50万美元。所以，如果是一个10万美元的任务，那么你会占用OpenAI全部计算资源的五分之一，持续一小时。所以你能做的这种任务是有限的，对吧？即使有些任务在经济上非常有价值，你也会遇到瓶颈。

Rob Wiblin: 因为这会推高价格。

Ryan Greenblatt: 是的，这是供需关系。即使某些任务非常有价值，你能做的扩展也是有限的。而且，人们已经展示了不仅达到人类成本，甚至远高于人类成本，还能获得额外回报的例子。

这其实挺好的，因为它让我们得以窥见未来。我认为，如果你看到模型能以高成本、慢速完成某项任务，我们很快就能以低成本、快速完成同样的任务，因为成本正在迅速下降。

Rob Wiblin: 我们可以画出这条曲线。

Ryan Greenblatt: 是的，我们可以画出这条曲线。所以我对那些对AI能力持怀疑态度的人抱有希望，也许我们首先可以用极高的运行时计算资源和大量领域特定的引导来展示某些能力，然后很快就不再需要这些了。希望在那之前，我们能在能力广泛使用之前达成某种共识。

AGI的悲观情景 [01:23:01]

Rob Wiblin: 我们刚才一直在讨论悲观情景，或者说认为这需要很长时间的情况。

Ryan Greenblatt: 我真是个糟糕的悲观者。

Rob Wiblin: 好吧，我来试着提出一个我听到的悲观论点。AI可能在相当狭窄的任务上变得非常出色，比如成为非常优秀的程序员，或者在创意生成、假设生成、设定等方面做得很好。但运营和扩展一家AI公司需要的不仅仅是这些，它们会有一些严重的短板和弱点，这会成为限制因素并减缓进展。你觉得这种观点有多合理？

Ryan Greenblatt: 这里有一些背景：历史上，正如我们所说，很多回报是由预训练驱动的。然后从2023年底到2024年，强化学习（RL）开始发挥作用——GPT-4 Turbo的很多改进可能是由RL驱动的，或者随着时间的推移而改进。这是推测，但GPT-4o是一个更好的基础模型，同时也得益于更好的RL，然后是o1，更好的RL。这在编程任务、编码任务、数学任务等更容易验证的任务上推动了基准分数的提升。

现在，我们看到了一些迁移。解决这个问题的一种方法是，也许你可以让AI在编程上变得非常超人类，在软件工程上也非常超人类——虽然验证起来更难，但至少部分是可以验证的——在数学上也非常超人类。然后这会在一定程度上迁移。

所以，可能的情况是，标注其他东西的成本非常高。我们可以评估人类在其他领域的表现；只是无法自动完成。比如你可以评估一篇论文的质量，我们有这样的流程，它有一定的信号；只是成本更高。所以原则上，如果AI几乎可以迁移到写出好论文，只需要一点点反馈——它们的样本效率很高——那么这可能会走得很远。

另一个值得注意的是，我认为有一种“不需要泛化”的故事。或者说几乎不需要泛化。所以可能的情况是，你几乎可以让它工作，或者基本上工作，仅仅通过在成为真正优秀的研究工程师的过程中直接进行RL。我们可能能够达到这样一个点，即通过扩展RL、拼凑起来，几乎完全自动化AI公司的研究工程，而不需要太多迁移。抱歉，我们需要领域内的泛化——我们需要AI在领域内相对快速和高效地改进——但即使AI没有很好的研究品味，或者在这些方面不是很出色，这也能走得很远。

此外，即使只是领域内、不需要...