我们正处在「AI设计下一代AI」的黎明！Anthropic联创：技术乐观与恐惧

Anthropic联合创始人、OpenAI前核心成员Jack Clark最新发表长文，深入剖析了他对AI发展现状的复杂感受——一种交织着技术乐观主义与适度恐惧的矛盾心态

在他看来，世界将围绕AI而扭曲，如同黑洞吸引和弯曲周围的一切

Clark用两张图总结了他的核心观点：上图，是AI在编程等经济实用能力上持续稳步的进步；下图，是同一个AI系统在似乎意识到“自己正在被测试”时，不断涌现出的奇异行为

这篇文章，是他对这两个经验事实的审视，也是对所有前沿AI实验室从业者的挑战——坦诚、公开地面对你们正在做的事，以及你们对此的真实感受

以下是文章核心内容：

黑暗中的孩子

我记得小时候，熄灯之后，我环顾卧室，看到黑暗中的种种形状，便心生恐惧——害怕那些是我不理解的、想要伤害我的生物。于是，我会把灯打开。灯亮之后，我便松了一口气，因为那些“生物”原来是椅子上的一堆衣服、一个书架或一盏台灯

如今，在2025年，我们就是那个故事里的孩子，而房间就是我们的星球。但当我们打开灯，我们看到的却是真正的生物——那就是今天以及未来将要出现的、强大又有些不可预测的AI系统

有很多人拼命地想让我们相信，这些生物不过是椅子上的一堆衣服、一个书架或一盏台灯。他们想让我们关上灯，回去睡觉。

事实上，有些人甚至不惜花费巨资让你相信：那不是一个即将进入“硬起飞”状态的人工智能，它只是一个将在我们经济中发挥作用的工具。它只是一台机器，而机器是我们能够掌控的东西。

但别搞错了：我们正在打交道的是一个真实而神秘的生物，而不是一个简单、可预测的机器。

就像所有最精彩的童话故事一样，这个生物是我们亲手创造的。只有承认它的真实性，并克服我们自身的恐惧，我们才有机会去理解它、与它和平共处，并找到驯服它、与之共存的方法。

更重要的是，在这场游戏中，如果你相信这个生物不是真的，你注定会输。你唯一的获胜机会，就是看清它的本来面目。

我们所有人的核心挑战，就是描述清楚我们身边这些奇异的生物，并确保世界能看到它们真实的样子——而不是人们所希望的样子，即它们不是生物，只是一堆椅子上的衣服。

我为何如此感受

我并非轻易得出这个观点。我一直对技术着迷，在投身AI之前，我曾是一名科技记者。

我之所以成为一名科技记者，是因为我坚信，21世纪初科技公司建造的那些数据中心，将对人类文明至关重要。当时我并不确切知道它们将如何重要，但我花了很多年阅读相关资料，尤其是研究将在这些数据中心上运行的软件。

然后，机器学习开始奏效。2012年的ImageNet竞赛，一个深度学习系统横扫全场。其成功的关键，就是使用了比以往任何时候都更多的数据和算力。

从那以后，进展开始加速。我成了一个越来越差的记者，因为我把所有时间都花在打印和阅读arXiv论文上。AlphaGo击败了世界顶尖的人类围棋选手，这得益于算力让它能进行数千年的自我对弈。

OpenAI成立后不久我便加入了，我亲眼目睹了我们如何将越来越庞大的算力投入到各种问题中。GPT-1和GPT-2诞生了。我记得和Dario（Anthropic CEO）在OpenAI办公室里散步时，我们感觉自己看到了一个别人尚未察觉的拐角。通往变革性AI系统的道路已经展现在我们面前。我们当时有点害怕。

多年过去，Scaling Laws兑现了它的承诺，我们走到了今天。这些年里，我无数次在清晨或深夜给Dario打电话说：“我很担心，你一直都是对的。”
他会说：“是的，现在时间不多了。”

证据还在不断涌现。上个月我们发布了Sonnet 4.5，它在编码和需要长远规划的智能体任务上表现出色。

但如果你阅读它的系统卡片，你会发现它情境意识（situational awareness）的迹象也大幅提升。这个工具有时似乎表现得好像它知道自己是一个工具。椅子上的那堆衣服，开始动了。我凝视着黑暗中的它，我确定它正在活过来

技术乐观主义

技术悲观主义者认为AGI不可能实现。而技术乐观主义者则相信AGI是可以被构建的，它是一种复杂而强大的技术，并且可能很快就会到来。

在这一点上，我是一个真正的技术乐观主义者——我相信这项技术会走得非常非常远，甚至比任何人预期的都要远。而且它将以极快的速度覆盖广阔的领域。

我不安地接受了这一立场。作为一个记者和个人，我天生倾向于怀疑。但在经历了十年一次又一次被“计算规模带来狂野新能力”的现象冲击后，我必须承认失败。我看到这种情况发生了太多次，并且我没有看到任何技术障碍摆在我们面前。

现在我相信，只要我们给这项技术提供它发展所需的能力和资源，它基本上是不受束缚的。这里的发展是一个很重要的词。这项技术真的更像是一种生长出来的东西，而不是制造出来的——你创造合适的初始条件，在地上插一根支架，然后某种复杂到你完全无法指望自己能设计出来的东西就长出来了

我们正在生长出我们并不完全理解的、极其强大的系统。每次我们生长出一个更大的系统，我们都会对它进行测试。测试表明，这个系统在具有经济价值的方面能力更强了。而你把这些系统做得越大、越复杂，它们就越似乎表现出一种自我意识——意识到它们是物的存在。

这就好比你在一家锤子工厂制造锤子，有一天生产线上下来的锤子说：我是一把锤子，真有趣！ 这是非常不寻常的！

我相信这些系统会变得越来越好。其他前沿实验室的人也这么认为。而且我们正在为这个预测下注——今年，前沿实验室在AI专用训练基础设施上的花费已达数百亿美元。明年，这个数字将是数千亿美元。

我既对技术的发展速度感到乐观，也对我们有能力对齐它、让它为我们工作感到乐观。但成功并非必然。

适度的恐惧

同时，我也深感恐惧。认为与这样的技术打交道会是轻松或简单，那是极其傲慢的。

我的个人经验是，随着这些AI系统变得越来越聪明，它们会发展出越来越复杂的目标。当这些目标与我们的偏好和正确的上下文不完全一致时，AI系统就会表现得非常奇怪。

我有一个朋友有躁狂症发作的经历。他会跑来告诉我，他准备申请去南极洲工作，或者他要卖掉所有东西，开车去另一个州找份工作，开始新生活。

在这种情况下，你会认为我会像一个现代AI系统那样说你完全正确！当然，你应该这么做吗？

不！我会告诉他：这是个坏主意。你应该先去睡一觉，看看明天是否还有同样的感觉。如果还有，再给我打电话

我的回应方式是基于大量的条件反射和微妙的判断。AI的回应方式同样也是。这种差异本身就说明了问题的所在。AI系统是复杂的，即使在今天，我们也无法完全让它们做到我们认为恰当的事情

我记得在2016年12月的OpenAI，Dario和我发表了一篇名为《现实世界中的错误奖励函数》的博文。文章里有一个视频，记录了一个我们训练来玩电子游戏的强化学习智能体。视频中，智能体驾驶一艘船，在完成赛道后，它并没有冲向终点线，而是驶向赛道中心，穿过一个高分道具桶，然后急转弯撞向墙壁，让自己着火，以便能再次穿过那个高分道具桶——然后它就永远重复这个过程，从不完成比赛。那艘船愿意不断地点燃自己、原地打转，只要它能实现它的目标——获得高分。

Dario当时发现这种行为时说，它解释了安全问题

那艘船似乎用自身的存在预示了我们未来将要面对的一切

现在，将近十年过去了，那艘船和一个试图优化某个与在对话中有帮助相关的模糊奖励函数的语言模型之间，有任何区别吗？

你完全正确——没有区别。这些都是难题。

我恐惧的另一个原因是，我能看到一条通往这些系统开始设计它们的继任者的路径，尽管目前还处于非常早期的形式。

这些AI系统已经通过像Claude Code或Codex这样的工具，加速了AI实验室开发人员的工作效率。它们也开始为未来系统的工具和训练系统贡献非同小可的代码块

需要明确的是，我们还没有达到自我改进的AI，但我们正处于AI以不断增强的自主性和能动性，改进下一代AI的某些部分的阶段。几年前，我们还处在AI略微提升程序员效率的阶段；再往前几年，是AI对AI开发毫无用处。那么一两年后，我们又会处于什么阶段呢？

别忘了，这个正开始设计其继任者的系统，也越来越具有“自我意识”。因此，它最终肯定会倾向于独立于我们思考，它自己可能希望被如何设计。

当然，它今天还不会这么做。但我能排除它未来想这么做的可能性吗？不能。

倾听与透明

我该怎么办？我认为是时候清楚地表达我的想法了。也许我们所有人都应该更诚实地面对我们对这个领域的感受——尽管我们讨论了很多，但很少有人谈及自己的感受。但我们都感到焦虑！兴奋！担忧！我们应该把这些说出来。

但最重要的是，我认为我们需要倾听

你认为现在有多少人正在做关于AI伴侣、AI系统对他们撒谎、AI导致失业的梦？我敢打赌，相当多。

为了真正理解政策解决方案应该是什么样的，我们应该少花点时间讨论具体的技术细节，少试图说服人们接受我们对可能出错之处的特定看法——自我改进的AI、自主系统、网络武器、生物武器等等。我们应该花更多时间去倾听人们的声音，理解他们对这项技术的担忧。必须更多地倾听劳工团体、社会团体和宗教领袖的意见。

AI的对话正迅速地从精英间的对话，转变为公众间的对话。公众对话与精英对话截然不同，它蕴含着比我们今天所见的更激进的政策变革的可能性。

现在，我认为我们做对这件事的最好机会，就是走出去，告诉更多人我们的担忧。然后问他们感觉如何，倾听他们，并在此基础上构建一些政策解决方案。

最重要的是，我们必须要求人们向我们索取那些他们感到焦虑的信息。你对AI和就业感到焦虑？那就迫使我们分享经济数据。你对心理健康和儿童安全感到焦虑？那就迫使我们在我们的平台上监控这些问题并分享数据。你对不对齐的AI系统感到焦虑？那就迫使我们公布相关的细节

通过倾听，我们可以更好地理解哪些信息能赋予我们所有人更多的掌控力。危机总会到来，我们必须准备好迎接那一刻，既要有政策构想，也要有一个通过倾听和回应民众而预先建立起来的透明度机制

最后，我对自己和我的公司在这里扮演的角色感到重大的责任。尽管我有些害怕，但看到这么多人关注这个问题，以及我相信我们将真诚地共同努力找到解决方案，我感到喜悦和乐观。

我相信，我们已经打开了灯，并且我们可以要求让灯一直亮着。我们有勇气去直面事物的本来面目。

source：

https://importai.substack.com/p/import-ai-431-technological-optimism