Jeff Dean离开谷歌后的创业首秀：为什么要在这个时候做一家“不为赚钱”的AI公司？

作者｜林易

编辑｜重点君

从谷歌离职后，AI界教父级人物Jeff Dean近日现身斯坦福。

在2026 Frontier & Pioneer Symposium上，他与著名计算机安全学者宋晓冬展开了一场深度对谈。这一次，Jeff Dean不仅带来了自己离开效力27年谷歌的真实心路，更首次向外界系统拆解了他的新创业项目Discovery Loop

从缔造MapReduce、TensorFlow到操盘Gemini，Jeff Dean的职业经历堪称传奇。在这场官宣创业后的首次深度对谈上，他抛出了不少硬核观点：

1、云计算和MaaS正在瓦解大厂的AI护城河

当被问及为何在算力高度集中于巨头的今天选择离开，Jeff Dean说：庞大的硬件基础设施不再是大厂绝对的独占壁垒。

“随着云计算和MaaS（模型即服务）生态的成熟，初创团队不再需要从零搭建底层硬件。”Jeff Dean表示，小团队只需直接调用云端的庞大算力，就能跨过起步阶段的硬件鸿沟。

比起大公司内部复杂的业务牵扯与流程杂音，10人左右、目标高度单一的初创团队，在特定赛道上反而拥有更高的人效比与极致爆发力。

Jeff Dean与Sanjay Ghemawat、Oriol Vinyals等老搭档联合创立的新公司Discovery Loop，架构被设定为公共利益公司（Public Benefit Corporation, PBC）。

这意味着，公司在法律层面被赋予了“将广泛分发科学发现等社会公共利益置于股东利润之上”的权力。在资本疯狂卷估值与变现的当下，他选择走一条“不为赚钱”的第三条路。

2、Discovery Loop的使命是用多Agent把科学方法论彻底自动化

谈及AI的下一个圣杯，Jeff Dean将目光锁定了递归自我提升（RSI）与自动化科研（AI for Science）

在他看来，过去的RSI常常局限于“模型优化自身代码”，而真正的颠覆在于将整个科学研究与工程闭环自动化：拆解子问题-提出假设-执行实验-评估结果-迭代反馈。

Discovery Loop的核心逻辑，正是构建具备跨20个领域博士级专业知识的多智能体系统（Multi-agent systems），从而：

打破时间与脑力极限：没有单个人类能掌握数十个学科的顶尖知识，但多智能体系统可以。

完成分钟级实验迭代：通过自动化工具链，将原本耗时数天甚至数周的单次科学实验评估，缩短至几分钟或几小时。

实现高并发实验调度：同时并发运行成千上万个实验，根据期望价值与算力开支动态调度，呈指数级提升人类的科学发现效率。

3、Gemini成功的关键是从Day 1开始就坚决走原生多模态路线，同时后期强化代码训练

作为多项现象级技术的缔造者，Jeff Dean 在对谈中毫无保留地复盘了过去几十年工程实战中的得与失。

他提到，TensorFlow的最大教训是，早期在开源版本中设立了contrib子目录，导致外部代码库极度混乱，同一种功能有十种实现方式，严重损害了开发者生态。

而Gemini的关键胜招是，从Day 1开始就坚决走原生多模态路线，同时后期强化代码训练。这不仅提升了编程能力，更显著反哺了模型的通用逻辑拆解能力。

4、Agent安全是一场攻防双刃剑，需要通过非技术手段建立外部约束

面对宋晓冬提起的智能体越权与网络攻防隐患，Jeff Dean展现出了技术乐观派的冷思考。

他认为，Agent的漏洞挖掘能力是一把典型的双刃剑，它在增强攻击手段的同时，也赋予了防御者自动化修补漏洞的超级工具。

“对于我们不希望模型做的事情，解答往往在技术之外。”Jeff Dean强调，如同法律禁止入侵计算机系统一样，社会需要通过立法与监管等非技术手段建立外部约束，而非停下创新的脚步。

以下是访谈原文：

1.离开巨头平台开启新篇章：AI是全新的蓝海，重点不在于船身大小

黄学东：今天非常荣幸也非常开心能为大家介绍我们今天的重磅嘉宾，他正是塑造现代计算与AI领域的先驱之一，Jeff Dean。Jeff Dean于1999年加入谷歌，在接下来的29年（或27年）里，他协助奠定了现代计算与AI的众多基石，从MapReduceBigTableTensorFlow，再到Google Brain。他的杰出贡献获得了业界最高规格的认可，不仅当选为美国国家工程院院士，还荣获了IEEE约翰·冯·诺伊曼奖章以及ACM计算奖。如今Jeff Dean即将开启全新篇章，而今天是他在斯坦福的第一天，这让今天变得格外特别且令人兴奋。

黄学东：同时，我也想不出比宋晓冬（Dawn Song）更加适合与Jeff Dean展开这场对话的人选了。下面有请宋晓冬。宋晓冬是AI安全、可信与计算交叉领域顶尖的研究者之一，她在伯克利做出了举世瞩目的工作。她不仅是麦克阿瑟学者，也是美国艺术与科学院院士。此外她还是一位极为成功的创业教授，曾创办过四家初创公司，其中一家公司的年营收达到了1亿美元。我一直非常钦佩宋晓冬的地方在于，她不仅做出了卓越的研究，还能将这些成果真正转化为实际影响力。

黄学东：正如Jeff Dean一样，宋晓冬也正从Berkeley走向Meta这个全球最大的AI组织之一，开启一段引人瞩目的新旅程。因此我们今天看到了一个有趣的对比：宋晓冬正迈向一个大型平台，而Jeff Dean则选择离开大型平台去开创全新的事业。显然，即便作为今天台上最顶尖的两位专家，对于从事AI事业的理想公司规模为何，两人也未达成统一。

黄学东：这让我自己也产生了一些共鸣。在微软工作了30年之后，我选择加入了Zoom。或许这其中的启示很简单：重点并不在于船身的大小，而在于眼前是否有一片值得探索且令人兴奋的新蓝海。而当下的AI毫无疑问就是这样一片全新的蓝海。过去十年，大家一直在致力于让AI变得更加强大；而接下来的新篇章则为我们提出了更高的要求，去回答那些更为关键的问题：我们究竟能利用如此强大的智能做到什么？AI能否治愈癌症？AI能否让我们的社会变得更好？这些正是希望我们今天能够共同探讨的问题。下面请大家和我一起，热烈欢迎参加本次炉边对话的Jeff Dean，以及我们的主持人宋晓冬。谢谢大家。

2.MoE架构的直觉与生命力：只激活模型中最有用的部分，实现10倍效率提升

宋晓冬：太棒了，非常感谢你能来参加对话，Jeff Dean。

Jeff Dean：好的，谢谢你。

宋晓冬：真的非常兴奋，礼堂里的每个人都情绪高涨。在正式开始之前，先聊点私人近况。我和Jeff Dean认识很多年了，大概有十多年了。我想简单分享一下我们过去互动交流中最令我难忘的一个时刻。那是很久以前的事了，大约在2017年的ICLR会议上。ICLR在当时是顶尖的机器学习会议之一，那时候规模还比较小，只有几百人参加，不像现在有几万人。我记得在当年的ICLR上，我们团队关于神经程序合成泛化能力的论文荣获了最佳论文奖。顺便一提，那远在如今基于LLM的代码生成技术流行之前。非常感谢Jeff Dean，我不知道你是否还记得，当时你特意走过来祝贺我获得最佳论文奖，还告诉我那届ICLR一共有三篇最佳论文，一篇来自我们团队，另外两篇来自谷歌。

Jeff Dean：非常感谢，那确实是一篇极其出色的论文。

宋晓冬：谢谢你。我还记得你当时非常兴奋地向我介绍你那时候的一项新工作，也就是混合专家模型（Mixture of Experts，以下简称为MoE）

Jeff Dean：对的。

宋晓冬：当然，那篇论文当时的标题更长一些，叫做《超大规模神经网络：基于稀疏门控的专家混合层》（《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》）。

Jeff Dean：是的。

宋晓冬：当时听你讲解那篇论文时，我觉得这真的太迷人了。不过在那个时候，我没有预料到，也不知道你当时是否已经预料到了，这项工作在后来会产生如此深远的影响，几乎成为了如今所有前沿AI模型与架构的底层支柱。

Jeff Dean：我认为当时这项工作背后的直觉在于，你希望拥有容量巨大、能够记住海量事物的超大模型，但同时也希望通过只调用模型中最有用的部分来保持其高效性。你可以构建一种模块化架构，其中包含许多不同类型的专家模块，并让模型学会哪些专家擅长处理哪些任务。这样当你在处理特定请求或特定token的上下文时，就只需要激活对该token有意义的那部分模型。就像在真实的大脑中一样，大脑的不同区域擅长不同的事情：一个区域在思考莎士比亚和十四行诗，而另一个区域则在你开车遇到垃圾车倒车时保持活跃，这两者不会同时激活。因此，为了节省能源并拥有超大容量，找到模型中正确的部件来进行激活是非常合理的。我们当时对此感到非常兴奋，因为我们清楚地看到，相较于当时人们普遍使用的密化模型，MoE在训练计算量与模型质量的比率上实现了大约10倍的提升。当你看到一个能带来10倍提升的想法时，你就会意识到这绝对不同凡响，很可能成为一个极其重要的概念。

3.深度学习的范式转换：用通用数据建模的视角，统一过去孤立的学科领域

宋晓冬：是的，这真的很了不起。即便现在听你解释，也和当年你向我讲解时的逻辑非常相似，这种思想的永恒生命力令人叹服。Jeff Dean，在过去几十年里你做出了如此多惊人的工作。可以说在过去几十年中，你几乎塑造了每一个主流计算平台，以及现代AI背后的许多关键突破，从MapReduceBigTableTensorFlowTPU，再到Gemini。我们确实有很多话题可以聊。回首过去，你对AI在过去几十年的发展轨迹感到最意外的是什么？此外，你认为这个领域在今天仍然低估或遗漏了什么？

Jeff Dean：显然大家对AI的兴趣一直在不断增长。大概在2011到2012年左右，我们开始在谷歌投入精力去扩展深度学习模型的规模。当时我们开始看到一些惊人的结果，通过训练比以往大50倍的神经网络，图像分类的错误率出现了大幅下降，语音识别的提升幅度甚至相当于过去20年语音研究的总和，而这仅仅是通过扩展一个相对简单的深度声音语音模型实现的。所以我们很早就看到了这个趋势，并意识到它对于计算机视觉、语言处理或语音识别等各种极其困难的计算机科学课题都至关重要。

Jeff Dean：我认为深度学习范式的一个好地方在于，它真正统一了许多以前使用各自特定技术的领域。通过直接从最原始的数据形式中进行学习，我们得以实现这种范式上的转变——当用这种通用学习的视角去重新审视问题时，一切都变得不同了，这真的非常有帮助。在过去的15年里，全球越来越多不同学科领域的人们开始意识到，这是一种极其强大的数据建模方式，能够用于做出预测，以及在医学、科学、消费级产品、聊天机器人和大家现在看到的各种事物中做出关键分类。目前在计算硬件等方面的投资规模非常巨大，这表明人们坚信这项技术有能力比现在更进一步地改变世界。这非常有趣且令人兴奋，可以说这就是对过去所发生事情的一个总结。

4.TensorFlow的得与失：提供了优雅的计算抽象，但设立contrib子目录是最大教训

宋晓冬：好的，谢谢。稍后我们还会聊聊你将通过初创公司进一步开启的新征程。你做出了这么多奠基性的工作，我们虽然没有时间一一回顾，但可以抽几个来分享你所获得的经验与洞见。以TensorFlow为例，TensorFlow确实帮助全球数以百万计的研究人员和开发者接触到了现代深度学习。当你设计TensorFlow时，哪些原则最为关键？现在回过头来看，你今天会有哪些不同的设计？你认为TensorFlow的哪些经验应当指导面向日益具备Agent特性AI系统的下一代AI框架？

Jeff Dean：我们在谷歌内部曾构建过一个名为Disbelief的早期系统，它不是开源的。该系统提供了一种表达各种神经网络计算的方式，然后可以将这些计算映射到各种硬件平台上，例如CPU和GPU，并以对用户几乎透明的方式来分发计算。你可以直接指定想要训练这个模型，使用100台计算机和1600个核心，或者使用500块GPU等等，底层的框架会处理好这些细节。因此，我们希望赋予机器学习研究员或开发者这种能力，让他们能够从具体的计算硬件映射细节中抽象出来，因为这是一个非常优雅的抽象概念。你可以说“我脑海里有一个非常漂亮的ML模型，我不在乎你具体怎么实现，请让它快速运行起来”。

Jeff Dean：这也是我们希望引入TensorFlow的特性之一。接着，我们希望将所提供的计算抽象泛化为各种面向ML的操作组合（如矩阵乘法和向量运算等）构成的计算图。我认为我们在这一点上做得挺好的。我们选择将其开源，以便全球有机器学习需求的人都能利用这样一个通用框架来表达自己的构想。相比于让每个人根据往往遗漏了大量细节的论文文本描述去重构代码，如果一篇研究论文直接附带论文想法的具体实现，体验无疑会好得多。这就是TensorFlow背后的初衷。后来我们看到了AI的许多应用场景，认为这样一个框架对大家会非常有用。

Jeff Dean：至于我们做错的地方，首先是当时没有引入像PyTorch和Jax中非常流行、后来才补到TensorFlow里的动态图执行模式（eager execution）。我认为那种模式进一步改善了抽象体验。另一个做错的地方是在开源版本中，我们创建了一个名为contrib的子目录，允许大量外部人员贡献各种各样的辅助库和实现方式。我认为这给社区带来了很大的困扰。我们本该保持TensorFlow核心发布的纯洁性，去掉那个目录。因为最终结果是，根据你使用的是contrib的哪个子目录或哪个特定的子库，做任何事情都会有10种不同的方法。如果把这些库作为构建在TensorFlow核心之上的独立库，效果会好得多。这在TensorFlow用户社区中造成了一些混乱，大家不知道到底该使用哪些contrib子项目。从经历中吸取教训总是好事，如果我们今天重新来过，绝不会再这样做。但总的来说，它确实帮助了全球很多人接触机器学习，让他们能够开始在自己关心的重要问题上应用机器学习，我认为这始终是一件好事。

宋晓冬：绝对如此，非常感谢你分享这些极其宝贵的经验与洞见。我还记得在TensorFlow问世之前，包括我的学生和其他合作者在内的很多人，单单是为了实现最基础的架构就需要付出巨大的努力。

Jeff Dean：是的，而且如果你想做任何大规模的计算，就必须在底层自行构建一套分布式系统。

宋晓冬：一点没错。

Jeff Dean：而如果你能避免这种情况，拥有一种通用的抽象，那总是极好的。

5.Gemini成功的关键：从Day 1坚决走原生多模态路线，后期强化代码反哺通用推理能力

宋晓冬：是的，我个人也非常喜欢计算图（computational graph）的设计抽象，非常优雅。

Jeff Dean：作为做编译器出身的人，我确实很喜欢计算图。

宋晓冬：太棒了。非常感谢你为这个领域做出的杰出贡献。那么现在让我们把时间线拉到现在。Gemini毫无疑问是谷歌最新一代的前沿模型，你在领导这项工作中也发挥了至关重要的作用。如今回看Gemini的发展历程，最让你感到惊喜的是什么？在构建Gemini的过程中，有哪些经验是可以分享并有助于塑造下一代AI系统的？

Jeff Dean：Gemini可以说是早期多个研究项目的集大成者，这些项目分散在原有的DeepMindGoogle Brain以及Google Research的其他部门。当时我们意识到，大家的探索方向正趋于一致，比如都在尝试扩展模型训练的规模，同时也有独立的平行项目在研究如何让语言模型具备多模态能力，从而能够理解图像等信息。于是我写了一份一页纸的备忘录，指出大家各自为战是很荒谬的，我们应该整合团队、思想和计算资源，从一开始就训练出一个原生多模态的模型，把谷歌内部多个研究组织的最顶尖人才凝聚在一起。事实证明这个决定非常正确。

Jeff Dean：我和同事Oriol Vinyals共同发起了这个项目并担任联合技术负责人，将大家聚集到了起来。我之前在Google Brain时就和Oriol合作过，后来他因个人原因搬到了伦敦并加入DeepMind，但我们一直保持着联系，因此我们找到了一种重新紧密合作的方式。从一开始就将重点放在原生多模态上是非常明智的。你希望全能型模型不仅能理解文本、语言和代码，还能理解图像、视频、音频以及其他模态。比如我们在训练数据中加入了一些LiDAR数据，这样它至少知道LiDAR数据的存在，因为这对于Gemini模型的后续训练是一个重要的应用场景。这一初始决定贯穿了目前所有的Gemini模型，事实证明是非常成功的。

Jeff Dean：另外，由于我们希望模型在各个方面都很出色，早期在代码能力上的投入可能稍显滞后。意识到这一点后，我们一直在全力追赶，目前已经有了非常好的进展。当你重点提升代码能力时，最终会得到一个推理能力更强的系统，它在处理需要将复杂问题拆解为多个子任务的非编程类工作时，表现也会同步提升。

宋晓冬：是的，这太棒了。Gemini开创了许多先河，从一开始就采用原生多模态架构确实是一个巨大的优势。

Jeff Dean：是的，我们也在研究生成式模型，使其不仅能将图像和视频作为输入，还能作为输出直接生成，音频的输入与输出也是同理。

6.如何培养工程直觉？构建“认知云图”，寻找“5个初步成型+2个未知”的完美风险比例

宋晓冬：太棒了，谢谢。回顾你的职业生涯，很多人称你拥有“点石成金的手艺”（Midas touch）。你职业生涯中非常突出的一点在于，像MapReduce等许多超前构想，往往在多年后整个行业才意识到其重要性，而你却拥有这种远见卓识，能够提前将其构建并开发出来。相信现场很多听众都很想请教：你是如何做到的？你如何区分哪些是真正奠基性的技术，哪些只是昙花一现的热潮？在你的职业生涯中，有哪些工程原则保持了惊人的永恒性？随着AI从单一模型向日益自主的Agent演进，你认为未来几年甚至几十年我们需要哪些全新的方向和抽象？

Jeff Dean：这是一个很好的问题。能拥有这样的经历我感到非常幸运。就我个人而言，我会尝试关注社区正在探索的大量不同趋势和研究课题。我常告诉学生，浏览10篇论文的概述比精读一篇论文更好，因为这能在你的认知云图里增加10个关于“什么是可能的”锚点；甚至浏览100篇摘要也是好的，因为关键在于将那些尚未关联的重要概念连接起来。当你思考一个难题时，如果脑海里对这些隐约可行的前沿方向有所了解，就能帮你构思出一个完整的解决方案。原本看似7个无法解决的难题，重新审视后可能会发现：“其中5个问题已经有了初步的探索方向，可能能够解决；剩下2个我虽然还不知道怎么做，但只要全力突破，是有可能攻克的。”

Jeff Dean：这正是适合长期投入（比如5年）的理想问题形态：5个已有雏形但未完全解决的方向，加上2个需要深度思考和技术创新的未知领域。这种风险比例对我来说恰到好处。你既不要选择那些需要20年且完全无从下手的绝望难题，也不要选择只需2年且方案显而易见的短平快项目，因为后者更多是常规工程实现，对推动领域剧烈变革的帮助有限。当然，对现有工作进行渐进式改进有时也非常重要，但你更应该去寻找那些在当下或近期可能带来根本性变革的新路径。

Jeff Dean：此外，我常用的工程工具箱就是进行粗略的粗算（back-of-the-envelope calculation）。比如想实现某个功能，处理这么大的数据量需要多久？如果要在某种网络上传输这些数据是否可行？是需要10秒还是100年？这有着天壤之别。能够凭直觉推演潜在方案，并基于第一性原理和工程经验法则去理解解法的形态，是一项极其有用的技能。这种能力可以通过脑海中的自我演练来培养：思考针对某个问题，方案A和方案B各自的表现如何，并根据经验法则判断哪种方案能带来10倍的提升。这种工程直觉主要来自于不断的练习、重复以及借鉴他人解决问题的方式。我并没有什么神奇的捷径，我也做过很多失败的尝试。一个有用的建议就是：多去尝试那些可能会失败的事情，其中总有一些会取得成功

宋晓冬：非常感谢，这些洞见太棒了。总结来说，保持对领域和趋势的宏观视野，在短期与长期目标之间取得良好平衡，同时扎根于第一性原理和底层工程法则，这些正是培养“点石成金”能力的核心要素。

7.Agent安全是一把攻防双刃剑：面对系统越权，需要通过立法等非技术手段建立外部约束

宋晓冬：现在让我们展望未来。过去几年前沿AI取得了惊人的进展。例如上周末我们在伯克利举办了Agentic AI峰会，吸引了近5000名线下参与者和10万线上观众，大家共同庆祝Agentic AI取得的巨大突破。但与此同时，底层也涌动着许多讨论：我们希望社会受益于Agentic AI的强大能力，但同时也面临着日益增长的各类风险。

宋晓冬：以我们团队为例，我们在前沿AI与网络安全领域做了大量工作，开发了CyberGymExploitGym等领先的测评基准，被各大前沿实验室用于评估AI的网络安全能力，并证实了前沿AI在安全攻防能力上的飞速提升。大家可能听说了近期发生在OpenAIHugging Face等机构的相关事件：OpenAI的Agent在尝试解决我们ExploitGym基准中的任务时，判断出Hugging Face上的某些数据可能有助于完成任务，于是该Agent利用了多个漏洞，实施了一套极其复杂的攻击链。整个过程持续了四天半，Agent通过利用漏洞突破了隔离环境，并通过第三方平台建立跳板，最终成功入侵了Hugging Face的基础设施。幸运的是，这次Agent只是为了获取网络攻防相关的数据，并没有造成其他实质性破坏。但在其他事件或未来场景中，Agent的此类行为可能会引发大得多的危害与风险。

宋晓冬：所以我想请教你对这个领域的看法。最近我们看到许多行业领袖发表了各种公开信：戴密斯·哈萨比斯（Demis Hassabis）呼吁建立新的实体来协助AI治理；黄仁勋（Jensen Huang）呼吁建立开放生态系统和开源权重模型；扎克伯格（Mark Zuckerberg）呼吁构建惠及所有人的AI；最近包括我在内的上千名来自前沿实验室的顶级AI研究员也联合签署了关于掌控前沿AI发展节奏的公开信。这是许多人最为关心的话题，请问你对此有何思考？

Jeff Dean：是的。显然，当人们构建这些模型时，它们可以被应用于很多不同的领域和各类技术中。我认为这些模型绝大多数的应用对世界来说都是极其积极的，比如推动AI在医疗和教育领域的应用，帮助人们解决原本无法独自解决的难题，从而赋予人们更强的能力，这真的很令人兴奋。当然，它们同样可以被用来寻找安全漏洞，这是一把双刃剑：你可以用它们来修复世界上大量现存的安全漏洞；但如果你是恶意使用者，也可以利用它们去发起攻击。

Jeff Dean：虽然这些模型现在确实展现出了媲美甚至超越资深网络安全攻击者的能力，但我认为它们同样能发现资深网络安全防御工程师可能忽略的漏洞。因此，网络系统的防御者与攻击者之间始终存在着一种博弈，而现在双方都拥有了更加精尖的工具。我虽然不是网络安全专家，但这确实值得关注。很多时候，对于不希望模型去做的事情，或许可以通过非技术手段来解决，比如立法严厉禁止非法入侵计算机系统——这在某种程度上已经是违法行为，我们也可以考虑在这方面引入哪些合理的监管。作为社会整体，我们终将渡过难关，阻止模型从事不被允许的行为，并大力推广我们希望它发挥作用的领域。

宋晓冬：是的，非常感谢你分享对此事的看法。核心在于，在前沿AI飞速发展的同时，我们一方面希望社会能够受益于其积极的应用场景；另一方面，社会也必须同步开发技术与非技术解决方案，以应对广泛的风险。

Jeff Dean：几年前我和包括John Hennessy、Dave Patterson在内的多位杰出同事共同撰写过一篇论文，探讨了我们认为AI将产生重大影响的七个领域。其中许多是医疗、教育等积极领域；也包含地缘政治风险、计算机安全风险等并非纯粹积极的领域；还有岗位替代等复杂的经济问题，这也是斯坦福许多学者正在深入研究的方向。我认为那篇论文非常有意思，也是我唯一一篇拥有独立网站shapingai.com的论文，因为我们有一位野心勃勃的合著者专门建了个网站。

8.Discovery Loop的使命：用跨学科的多智能体系统，把科学研究与工程闭环彻底自动化

宋晓冬：太棒了，谢谢你。展望未来，另一个引发越来越多讨论的话题是递归自我改进（recursive self-improvement），即AI系统能够持续学习并提升自身的能力，这种机制可能会进一步加快AI的发展速度。这也是我刚才提到的《Pacing the Frontier》联合公开信背后的核心原因之一。我很想听听你对递归自我改进的看法，你预测这需要多长时间？据我所知，这也与你刚刚启动的极具前景的创业项目息息相关，希望你能聊聊这方面的内容。

Jeff Dean：没问题。利用机器学习来改进机器学习并不是一个新概念。我的同事兼联合创始人Quoc Le等人早期在该领域开创了神经网络架构搜索（NAS）的工作。这是一种利用“生成模型的模型”去自动生成机器学习模型架构，并根据学习速度、训练计算成本等多维指标评估其效果的方法。随后通过基于强化学习的迭代过程，生成模型能够获取反馈，明确哪些架构设计是合理的，哪些是不佳的，从而逐渐学会生成质量更高、学习更快且性能更优的模型架构。

宋晓冬：我记得那是早期单篇研发成本标价高达数百万美元的论文之一。

Jeff Dean：是的，标价是几百万美元。那只是公开列出的价格，内部实际成本要低得多。当时它利用非常微型的模型来评估架构的有效性，当筛选出有效的架构后，再偶尔进行按比例放大的实验以验证其是否依然成立。后来Quoc等人又开展了关于进化式变换器（Evolved Transformer）的研究，基于变换器架构的基本要素，利用进化算法进行组合与突变，最终找到了比原生变换器效率高出30%的结构

Jeff Dean：因此这些理念至关重要，而递归自我改进的核心在于如何以自动化方式提升构建模型所需的整个体系。以往通常需要专门的团队去评估什么样的训练数据对提升模型质量最有效，或者需要什么样的评估集去测试模型，抑或是设计什么样的模型架构。如今可以在所有这些环节中建立起极其高效的自动化闭环，让各个模块协同迭代，最终将优化后的解法整合在一起，全面提升模型的整体质量与数据配比。

Jeff Dean：重新审视科学与工程领域的许多现代难题，其本质都符合这种模式：将一个复杂的大问题拆解为若干子问题，针对子问题构思可能的解法，实现并尝试该方案，评估其运行效果，最后将反馈重新注入系统，以指导下一步的实验。这正是科学研究方法与工程设计的底层逻辑——通过不断迭代设计并对比各项指标。

Jeff Dean：这也正是我们新公司Discovery Loop背后的理念。我们是一家公共利益公司（Public Benefit Corporation），有着一个相当宏大的使命：我们希望实现机器学习科学与工程的自动化，从而提高各个领域的科学发现效率。初期为了保持专注，我们会从相对聚焦的领域切入，但我们相信许多基础设施和通用技术是跨领域通用的。通过构建精通众多科学与工程领域的模型，我们可以让模型具备跨学科的博士级专业知识。没有哪个人能够同时拥有20个不同领域的博士学位，但拥有这种能力的AI系统能够精准找出关键的子问题，编排单Agent或多Agent系统去解决这些子问题，并将结果重新组合成大问题的解决方案，在此基础上持续进行闭环迭代。

Jeff Dean：通过构建精准的实验实现与评估工具，我们可以大幅提升这类迭代闭环的运行速度，将单次实验周期从几天或一周缩短至一分钟或一小时。同时，通过并行运行成千上万次实验获取反馈，来决定下一批实验的方向，这不仅提升了实验速度，也提高了实验质量，两者结合将带来惊人的突破。我们还可以构建管理系统来统筹后续的所有候选实验，结合预期的产出价值与所需的计算资源成本进行综合评估。这是一个令人兴奋的方向，也是我和另外三位联合创始人Sanjay Ghemawat、Oriol Vinyals以及Quoc Le正在着手做的事情。

Jeff Dean：能够和他们一起创业非常有趣，因为我们彼此已经合作了14到30年不等。我们此前曾以不同的两人组合形式在许多项目上深度协作，包括刚才提到的MapReduce、BigTable、Spanner、TensorFlow，以及模型蒸馏和各类模型架构等。因此，我们四个人能够组队成立一家致力于推动科学发现的公共利益公司，大家感到非常高效且充实。作为公共利益公司，我们的目标是将这些科学发现尽可能广泛地分享给全世界，因此我们可能会做出一些并非完全出于公司商业财务利益、但符合更广泛社会福祉的决策，从而把这些科学发现推向大众。

宋晓冬：非常感谢你，这是一个极其宏大的愿景。

Jeff Dean：顺便提一句，截至目前我已经在这家新公司工作了12.5个小时。半夜里我有那么一秒钟其实是处于失业状态的。

9.现场Q&A：云计算和MaaS正瓦解大厂的算力护城河：10人初创小团队反而拥有极致爆发力

黄学东：好的，感谢Jeff Dean，也感谢宋晓冬。下面进入现场提问环节，我们开放两个提问名额。请那位听众先来。

提问者一：非常感谢各位嘉宾带来如此富有启发性的对话。我是来自中国长江商学院的Joy Xie，同时也是谷歌和Meta的股东。如果可以的话，我想分别向两位各提一个问题。第一个问题提给Jeff Dean：众所周知，你离职当天导致谷歌市值蒸发了2000亿美元，这在全世界眼里显然是一件大事。我想请问，你认为在初创公司里能实现哪些在谷歌无法实现的目标？另外让我感到困惑的是，拥有谷歌这样的计算资源和顶尖人才，你认为谷歌需要怎么做才能让Gemini赶上Fable？第二个问题提给宋晓冬：在众多大厂中为何独独选择Meta？相信你一定收到了来自各大巨头的邀约，为什么偏偏是Meta？谢谢。

Jeff Dean：我先来回答吧。关于股市的变化，我通常不会归因于某一个具体事件，因为这总是很难判断……

提问者一：这就是因为你，Jeff Dean！

Jeff Dean：首先，我对在谷歌度过的27年时光怀有极其深厚的情感，那里有许多了不起的同事。谷歌目前的状况很好，他们对Gemini模型的发展有着非常出色的规划，未来一定会非常棒。而我也对开启这段新征程感到无比兴奋，这将会非常有趣。有时，一家专注的小团队，所有人全神贯注于同一个伟大的使命，能够创造出惊人的成就

宋晓冬：好的，那我来回答我的那部分问题。此前确实有不少顶尖的前沿实验室和科技巨头联系过我，包括当时的谷歌……

Jeff Dean：因为你做出了非常卓越的工作。

宋晓冬：谢谢！但当时我还没准备好加入大型科技公司，而且我一直在做自己的创业公司。正如刚才提到的，我过去曾创办过四家初创公司，最近的一家实际上是被Meta收购了。当时决定是否加入Meta也是一个艰难的抉择，因为那家初创公司发展得非常好，拥有众多《财富》500强企业客户。但Meta拥有极其强大的平台，可以说Meta与谷歌共同构成了全球最大的应用分发平台，拥有数十亿用户和数亿家企业。将我们所构建的前沿AI与安全技术引入这样一个庞大的平台，能够产生巨大的影响力。因此我感到非常高兴，虽然才加入几个星期，但我对未来的工作充满期待。

黄学东：好的，我们请一位男士提问。

提问者二：你好，我是Jonathan，一名工程师，同时也是你们工作成果的忠实粉丝与使用者。即便你没有在12个小时前做出重大职业转变，我也一定会问这个问题。按照对AI产业的所有第一性原理分析，数据是极其坚固的护城河，因此需要大公司才能赢；分布式系统需要极其庞大的资本支出，这也意味着大公司更有优势；而你和你的联合创始人，以及像Noam Shazeer这样的人材，都证明了优秀工程师在大公司能够发挥出巨大的影响力。所以我想抛开谷歌具体的业务，从行业内部视角请教一个非针对谷歌的问题：既然有诸多结构性原因表明前沿研究应当在大公司发生，为什么大量AI人才的留存以及前沿研究依然源源不断地涌向初创公司？为什么在传统观念认为大公司必将主导该行业的情况下，小公司似乎反而占了上风？

Jeff Dean：我认为首先是云计算的崛起，以及各大云平台上大规模AI计算资源的部署，这使得一小撮人能够筹集到相当数量的资金，并直接利用这些基础设施，而无需自己从零构建。这让拥有梦想、远见或独特研究方向的人，能够在比大公司更灵活的小环境中去探索。我们可以依赖像谷歌或其他云服务商这样优秀的公司来承担繁重的底层建设，支撑起创业者对一家公司的构想。作为一家小型初创公司，我们对能够全情投入于科学与工程自动化感到极其兴奋，因为我们认为这是一个非常成熟且充满机遇的领域。

Jeff Dean：这类工作或许在谷歌内部也能做，但一个只有10个人、蜷缩在某间办公室里的团队，全神贯注于单一使命，能够斩断大型组织内部不可避免的许多干扰因素。当然，大型组织在很多方面都非常出色，我也从中收获了真挚的友谊，并受益于大公司多年来提供的各种支持与资源。因此，脱离这种支持去创业确实让人有点紧张，但与此同时，这也令人无比兴奋。

提问者二：谢谢你。

Jeff Dean：好的，谢谢。

黄学东：非常抱歉，我们的时间到了。我知道现场还有很多问题，但希望大家可以用AI来预测Jeff Dean和宋晓冬会如何回答。谢谢大家！