![]()
今晨AI圈刷屏的,就是Meta新模型了。
小扎一夜之间把牌桌掀了。
今晨Meta公司旗下ASI团队推出两款新模型,Muse Wonder 和 Muse Wonder Full,从今天起面向 Muse Code订阅用户和API开放。
Meta表示,其新模型可以与 OpenAI 和 Anthropic 的领先模型相媲美,包括 GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1,并指出这是基于多项行业基准测试的内部结果。
![]()
Muse Wonder 和 Muse Wonder Full,在最大推理努力下分别获得了 Artificial Analysis Intelligence Index v4.3 分数 52 和 56——这比 Muse Spark 1.3(最大值)的 48 分有显著提升,发布时间间隔仅 6 周。
如果再仔细看这个排名,OpenAI GPT-6掉到了第五,排在Claude、Muse系列模型之后。
![]()
所以现在有分析认为,Meta已经开始杀进前三,OpenAI跌到第三位,谷歌的模型不在前三。
更不用说国内的模型,小米MiMo-V2.6版本和阿里Qwen的模型掉出了前十,如果按默认设定的27个模型计算,国内开源模型的分数都基本一致。
![]()
所以总结两个新的趋势:
1、谷歌现在有点像硅谷的百度,或者说是上半年的阿里,模型处于不上不下的级别,基础模型迭代更新放缓,尤其是DeepMind团队拆分缩减之后,很多员工都出去创业,所以谷歌开始关注商业回报,使得前沿AI模型出现了掉队迹象。
2、而国内开源模型与硅谷模型之间依然存在差距,即便差距是半个月(如Step 5 Preview),那也是中美AI之间的差距。
我比较在意的点是, 扎克伯格暗示未来Meta将进一步增加支出,模型开发有望大幅加快。
那么,如果谷歌没有顶尖AI人才和模型投入,真的就要落后了?
![]()
我确实也发觉,我最近用Gemini的机会越来越少了。
原因有几个吧:
1. 目前我用最多的是AI生图,Grok和ChatGPT的 图片生成 能力越来越强,其实对于其他模型的依赖度就会降低;
2. 国内的模型其实可以做大部分的任务,尤其是像WorkBuddy、ZCode之类的,天天都在免费送token和打折,所以 已经没必要用Claude之类的工具,买更多API了。当然,我说的不是其他特别多的代码的工作,其实日常使用Agent的工作,这些应用其实就足够了。
我依然不认为DeepSeek Harness能打得过Workbuddy。
3、Gemini的API调用存在与谷歌云混搭问题,个人账单每天都在扣款,对于我们来说是一个巨大的question,尤其在单独模型和调用上依然存在生成效果不佳的情况。
但同时,搜索谷歌也在每天生成AI内容,那么订阅和打开Gemini其实意义不大了。
当然,我们也不一定是谷歌Gemini的用户。
我的意思是说,Gemini模型效果远低于预期, 也不是我们想要的模型,刷榜也刷不动了,只能安静在落后中。
最近,劈柴哥(Sundar Pichai)接受播客节目采访时表示,谷歌通过“AI优先”战略,全面提升决策速度与执行效率,公司目前的重点,是推动简单的LLM(大语言模型)向具备推理、规划和工具调用能力的“智能体(Agent)”架构演进。通过Antigravity和Gemini Spark等项目,AI正从单纯的辅助工具,蜕变为能自动执行复杂任务的智能体,从而实现端到端的价值交付。
面对“Google Zero”(零点击搜索)可能导致流量锐减的担忧,劈柴哥认为,搜索加速向融合对话、语音和多模态交互的动态生态演进。他认为,人类已然站在了AGI(通用人工智能)的奇点前沿。AGI意味着系统能在广泛的认知任务中达到人类水平。皮查伊指出,AGI究竟是三年还是五年落地已不再重要,真正关键的是,技术飞速演进将催生出极其强大的系统,而整个社会必须为此做好准备。
扎克伯格却认为, Meta凭借其Wonder模型已在人工智能前沿赶上竞争对手,并拒绝了放缓研发步伐的呼吁。
“达到这一阶段既需要大量的计算资源和投资,也需要团队在很长一段时间内进行大量严谨的科学研究。”
扎克伯格在一场两小时的对话中指出,“我们准备开一张支票,大概是一千亿或者两千亿美元吧。我当时就跟Wang说,你确定这能成吗?”
「如果这不成,会非常非常糟糕。我必须让你明白,这个模型必须成。」Susan(Meta CFO)对亚历山大·王表示。
自今年9月初Meta推出Muse AI助手以来,该公司股价已上涨近10%。Muse利用自主机器人执行日常任务,例如订购杂货和预订旅行。Muse应用迅速成为——并且至今仍是美国苹果和安卓应用商店下载量最高的应用。这家市值1.8万亿美元的公司计划将其新模型集成到Muse中。
“像Meta这样的公司未来会做比现在多得多的事情,但每件事或许都能用更少的人来完成。我估计,未来从事技术相关工作的人会比现在多得多。”扎克伯格表示。
“我体验过互联网那种残酷的代谢,它多快就代谢掉梗,所以你真的得待在造AI的最前沿,很容易掉队。”亚历山大王表示。
![]()
以下是今晨扎克伯格和 Alexandr Wang关于Muse新模型的播客对话整理(有大量删减和润色):
主持人:给我讲讲 Muse 的最新进展。看第三方报告,这可能是迄今增长最快的 AI 智能体或 AI 应用。你们个人最喜欢的 Muse 使用场景是什么?自己的或别人的都行。
扎克伯格:我昨天吃晚饭还在聊这个。我最喜欢的一点是,我的 Muse 名叫 Euler,它一直从越来越冷门的茶商那里搜罗越来越冷门的茶,并采购回来。
主持人:你最喜欢 Muse 的哪个使用场景?
Alexandr Wang:说不好。我用它做很多事。但我最喜欢的,既是使用场景、也是这个产品的评测标准,是让它指导我练综合格斗。我在健身房装了摄像头,我训练时它看着画面,在回合之间给我反馈。结果证明这很难。它不光要处理,还得足够快地处理完所有视频,因为回合之间只有一分钟。
主持人:它会在回合之间给你指导?
Alexandr Wang:对。我要的是关于怎么赢的反馈。
主持人:你得教它怎么操作吗?我也想过这个问题,看视频确实是很好的 AI 应用场景。感觉不能直接扔给它一个好几 G 的文件。所以是你告诉它怎么抽帧,还是别的办法?
Alexandr Wang:它基本上会自己抽帧,我想是它自己琢磨出来的。结果发现 Muse 对综合格斗有相当好的原生理解,这很好。多模态、重新训练,这些都在模型里。那是团队里某个人新加的,我们只是把它放进了语料,可能他们还有个基准测试。我觉得这很好地考验了一种编码能力,因为说到底,它做的就是在智能体内部,我看不到任何代码,但它基本上在写整套视频处理、图像处理流水线。我一直在跟它说,你花了三十秒才给我反馈,而我只有六十秒休息,你得再快一点,你自己优化自己。我觉得这是个很好的例子,说明未来事情会怎么发展,基本上每个人都会写大量代码,只是他们不会意识到自己在写代码。
主持人:模型给你的综合格斗指导都是些什么内容?
Alexandr Wang:我看看能不能调出一些例子。它给了我很多关于平衡、髋部位置的建议。比如你在内层控制时,没在这里拿到内侧勾抱,就容易被打翻。我调一些出来给你看。这绝对是最早的使用场景之一,连最初的原型都是。我甚至在 Muse 能用之前就用 OpenClaw 做过这个。所以它某种意义上也成了这个产品的评测标准。
我其实不知道它成了产品的评测标准,记下了。
主持人:这些是怎么进到模型训练数据里的?那些细粒度的东西,比如综合格斗选手重心合适是什么样、过于后倾又是什么样。我就在想,它到底怎么吸收这么多关于正确和错误格斗姿态的图像?
扎克伯格:它就是把帧抽出来,然后说,我后腿站得太多了。但这到底是涌现出来的智能吗,是因为看了大量综合格斗图像才懂的,还是因为它理解了重心该放在哪里的概念,然后发现你后倾太多?我们确实用了大量视觉感知数据来训练模型。所以我觉得,这正是做出好用的多模态模型的关键。这涉及我们的一种核心思路,就是端到端地训练模型,让它们成为优秀的个人智能体。所以问题其实是,Meta 为什么要造这些模型?
首先,超级智能会让我们把公司运营得更好,也能造出各种东西。但对于我们正在做的产品,有些能力和技能组合就是更适用于这些场景。Alex 从一开始就很看重多模态能力,因为这对人们使用这些服务的场景格外重要。
主持人:你们怎么训练出好的多模态模型?是不是因为你们有那么多图像和视频数据,Meta 天然就有优势?
扎克伯格:这很有帮助。而且我认为,很大程度取决于你在这上面聚焦到什么程度。我们要做个人超级智能,而世界上大多数人是以高度多模态的方式体验世界的。他们喜欢跟人聊天、听东西、看视频,也会拍自己的东西。大多数消费者的体验都是高度多模态的。
尤其是今年早些时候,这其实是行业里一个近乎紧张的点,因为当时很多共识都认为,一切只关乎写代码。但像 Muse 这样的产品要成功,很多消费者用例要成功,真正依赖的是在多模态上够强。
我们还只是刚刚触及表面。我们最初的理论是,大多数人其实并不那么爱阅读。所以哪怕是基于文本的交互模式,也是人们会做的事,毕竟大家都在发短信。但当你想到我们做的眼镜,或者其他非常视觉化的产品,眼镜最终会是一个纯多模态的产品,它能听到你听到的,能跟你说话,也能看到你看到的,只要你允许。最终,我甚至不确定眼镜上还会不会有应用商店。它就只是多模态的生成,在你视野里直接生成你需要的任何东西。
我想象类似的东西最终也会驱动我们造的很多应用。我们现在还处在很早的阶段,不过到目前为止,感知这块的工作确实让人印象深刻。
主持人:我想问问你们关于 AI 产品空间的问题,也顺便拿你们试一下。如果我跟你描述,制胜的产品长什么样,那得写好几页纸才能讲清楚,因为要讲开发者体验,要讲各种国际支付方式的差异,那得花我很久。
而我注意到 AI 里有一种现象,就是制胜的产品会非常快地收敛到一个大家都去追的产品空间上。Transformer 管用,然后聊天智能体的界面真的管用。现在我们在看的,你前面提到的 OpenClaw,那种拥有电脑、能在世界里做事的持久智能体。我们正收敛到这个产品空间上。但 AI 有种特质,就是制胜产品往往非常简单,被所有认真做这件事的公司共同追逐。你能写在明信片背面,能非常简洁地描述它。当然,实现起来极其复杂。我们后面会讲到新模型。做出一个好的版本需要海量的前沿工作。但你现在谈的是眼镜,或者未来的版本。不知为什么,AI 里真正正确的产品数量非常少,不像那些非常宽泛复杂的产品空间。
扎克伯格:我有点不同意。
我一开始就有一个理论,这种智能体,或者不管它最终是什么形态,都会和基于文本的助手很不一样。每家公司都有一个那样的助手。
我们的叫 MetAI,触达了非常多的人。但它跟所有那些公司有的东西是一样的。而我们特别认为,它是用来做信息检索的。人们不把它看作一个替自己把事情办妥的东西。它是检索,不是委派。哪怕你说它有一台电脑,做到那件事也有很多不同的方式。我认为只是最近这一波才给智能体配了一个专属虚拟机,而这对让你确信信息安全和隐私有保障,其实极其重要。它不是随便接了个大家都在用的弹性计算。
主持人:我的意思不是实现起来容易,也不是说它先验就显而易见。我觉得还会出来很多东西。
扎克伯格:你认为会出来很多不同的东西?
主持人:对。因为我的说法是,现在人们看到了 Muse,都会说,这显然就是你想要的 AI 智能体产品的工作方式。我们以后看到的 AI 智能体产品,都会相当 Muse 化。
扎克伯格:我的看法是,我们处在 AI 产品会是什么样子的极早期,所以很多关于产品有意思的差异化,在今天观察产品的方式里被压缩掉了。我们写产品规格、思考产品规格的传统方式,那些不是考虑 AI 原生产品重要设计决策时相关的维度和杠杆。
像 Muse 这样的例子,大量注意力都放在了为产品而做的模型设计上。在很多情况下,模型该怎么做,是有很多刻意决策的。
这些场景里,模型的性格应该是什么样?它该怎么处理这类工具调用?这些都是刻意的决策。就像你想要的、模型在所有这些场景里怎么表现的完整规格,会是一份极长的文档。但因为今天我们思考产品的方式,就变成,它就是 AI。这有点像移动互联网刚起来的时候,它就是个 App,什么都是 App。结果发现,一个 App 到底具体是什么,里面有很多细微差别。我们现在处在这样一个阶段,它就是 AI,或者它就是个智能体,或者它就是个带虚拟机的智能体。但那些有意思的差异化,我们得把它梳理出来。
主持人:所以你们觉得我犯了那个经典错误,就是我的领域很复杂,而这个领域从产品角度看,就像所有支付处理商看起来都一样。
扎克伯格:对,已经够了。
Alexandr Wang:我挺同意你刚才说的。我们很早就聊到,存在这样一种模式,产品在变薄,模型越来越成为产品本身。所以我们内部有句话,模型就是产品。当你谈一个智能体时,Muse 里大量复杂的产品工作,都围绕着处理你数据的隐私和安全模型,以及连到它上面的东西。这是我们非常自豪、也真的下了功夫的一点。但那是我们需要在上面创新的大量产品表面。而能力、性格,很多东西,是你训练进模型里的。不管是实验室里做这件事的人,还是 Nat 团队里做产品的人,Nat 在想怎么让产品感觉良好时,谈的是后训练模型。当然,产品的界面也很重要,但界面最重要的部分就是产品本身。
扎克伯格:对,没错。从用户角度,有一种非常直观的感受,就是随着时间推移使用 Muse 的感觉。其中可能有相当一部分只是 Muse 处理某些任务的可靠性。但另一部分有意义的内容是,它有多主动,在什么情境下主动,当它跟你说话时,你对它的说话方式是什么感觉。所以显然有很多东西,而且我越来越在 X 的动态里看到,大家开始把这些梳理出来,它们都是主动式智能体,但彼此之间真正的差异是什么?
Alexandr Wang:你要做的是沿着阶梯往上训练大四到五倍的模型,然后不断重复这个过程。我们第一批 Muse Spark 模型,全部基于去年十二月那次初始预训练。说实话,我们所有人都对团队能塞进一个其实没那么大的模型里的智能和能力感到惊讶。之后我们在做下一个模型,预训练已经做了一阵子,一直在做后训练,现在它来了。所以这是下一代、明显更大的模型类别,你会在它思考的细腻程度上感受到。我们重点投入的很多领域,是把它做成最好的个人和职业智能体模型。我们重点内置的基础能力,是非常好的记忆,是非常好地在复杂任务中持续推进的能力。这背后,实验室、产品团队都投入了大量工作。这也证明了团队能够有条不紊地找出扩展模型的方法。所以这也是一个里程碑,意味着每一代更大的模型之间的时间间隔,现在会开始压缩。这对我们能造的东西非常令人兴奋。
主持人:在 Meta 内部,还是整个行业?
Alexandr Wang:在 Meta 内部。别的地方也在发生类似的事。这是一种递归自我改进(RSI)的效应,还是别的什么?
扎克伯格:Meta 这部分,部分原因是我们需要,我对 Llama 4 当时的轨迹并不满意。我们把整个团队重建了。这是过去一年半里一件挺疯狂的事,我们可能得花点时间讲讲。这个后面会聊。一些战争故事。团队得去搭建不同层级的模型,才能到达这一个。现在我们到了前沿,以后做的所有事,就只是在推前沿,不再需要之前那些大量铺垫。你怎么看?
主持人:我不知道。你说呢?
Alexandr Wang:我们真的挺兴奋的。这个系列会有两个模型可用,一个是 Muse Wonder,一个是 Muse Wonder Full。它是更高端的版本,是 Muse Wonder 的完整版。它有两个词,Wonder,完整版。你明显是个父亲。这是个很棒的爸爸笑话。至于性能,我们在个人和职业智能体的一系列评测上看到了惊人的表现。按我们的测量,它是业界最好的。还有一些我们特别兴奋的具体亮点,是我们随着时间设计进模型里的。比如 Mark 提到的主动记忆,我们认为要造个人和职业智能体,记忆就是造可靠智能体的明确需求之一。这也是我们相对于很多其他努力投入得格外多的一个领域。
Alexandr Wang:我们内部也有自己的记忆基准测试,能展示这方面的很多能力。
主持人:对普通人来说,模型里的记忆是什么意思?是不是指它处理任务时能暂存多少东西,也就是模型的工作记忆?它和上下文有什么区别?
Alexandr Wang:它体现在用模型的体验里,就是它能多好地记住你在几天、几周或几个月里提到的事情,然后在将来做任务时利用这些信息。这在 OpenClaw 里做得相当差。我们都很喜欢 OpenClaw,我也是很满意的用户,但它最终会做一个压缩,搞出长期记忆和工作短期记忆之类的东西。人们用 OpenClaw 一阵子之后,就会发现它的记忆相当不稳定。所以我们既设计了模型,也设计了一套系统让模型去发展出强得多的记忆形式,我们叫它主动记忆。另外,就像 Mark 提到的,还有持续能力。有些你谈到的能力,比如压缩,是模型自己做的。能把这件事做好,靠的是模型本身,它不是外挂的壳。所以它把记忆当作一个核心系统来感知。关键是它怎么利用各种信息源去执行将来的任务,以及理解自己压缩的能力,理解该怎么做压缩才最有效。这很重要,因为很多人早期用 AI 智能体的体验,就是记忆不稳定,所以改善这一点很有意义。不过要说清楚,仍有很大的改进空间,我们的评测也说明了这点。但这是我们相当自豪、也认为是切实贡献的一点。
主持人:主动记忆是一件事。
Alexandr Wang:主动记忆。主动专注是另一件事,就是模型在执行任务时能把它们推进下去的能力。特别是我们看到 Muse 用户以及 Muse 代码用户给出的任务越来越复杂、越来越模糊。我们希望模型能非常有效地执行这些任务。这也是在早期试用和测试中,很多人注意到这个模型有别于其他模型、显得很特别的一点。第三个是领域专长。
主持人:专注在 AI 术语里是什么意思?是给任务堆很多算力吗?还是会被别的东西分心?有点像持续性?
Alexandr Wang:有点像持续性。它就是在很长的周期里完成完整任务的能力。途中遇到挫折时,它能以对齐的方式找出别的解决方案。然后是编码能力的大幅跃升,也就是前沿编码能力。它在 DeepSwee 和 Swee Marathon 上是业界最好的,在 TerminalBench4 等基准上也表现很好。所以我们觉得,用它来编码的用户,虽然只占全体用户的一小部分,但那些人会有很大的提升。
这既是你们最新的前沿模型,开发者可以直接来找你,可以在 Open Router 上用,直接当一个模型来消费。在 Muse 内部,它也是一个大升级,活跃用户会直接感受到。我们在 Muse 里要做的,是因为它大很多、服务成本更高,所以一开始主要放在付费订阅里。我们对 Muse 这个产品的想法,是希望它对所有人免费可用。所以我们有大量的免费 token,大家可以用 Muse Spark 这个模型。但如果你想用 Wonder 来做大多数困难任务,那么至少目前,你用的是付费版本。最终领域会很快移动。我们希望在不久的将来,能有一个和 Wonder 一样好、但是 Spark 形态的模型,那将能很好地服务全球数亿人。
主持人:所以你打开 Muse,订阅那个高级版或者专业版,付钱。然后它就会为你变好。
Alexandr Wang:它也会在 API 上提供,在 Metal Model API 和 Open Router 上,也会给 MuseCode 的用户用。MuseWonderful 会给 MuseCode 的订阅者提供。这挺让人兴奋的。就像 Mark 提到的,它是个大得多的模型,所以我们正在研究怎么最高效地服务尽可能多的人。我们很兴奋能把它交到尽可能多的人手里。这是一大步。MuseSpark 我们已经挺满意了,在走到这一步的过程中交付的性能让我们很高兴。但这基本上是 MSL 真正站在前沿的开始。我们觉得这些模型和外面最好的模型相当有竞争力。
主持人:所以你觉得它像 Astra、Fable 和 Wander 一起站在前沿?
Alexandr Wang:你可以看不同的基准,直接看数据就知道。我们特别自豪的一点,是像我们提到的,我们花时间为 Muse 的产品形态去优化模型。所以这是业界最好的模型,我们真的认为它是世界上最适合个人和职业智能体这个用例的模型。大家喜欢抱怨古德哈特定律,就是一个指标一旦变成目标,就不再是好指标。你会听到有人抱怨模型是在刷榜,说到了某个程度,过度拟合基准反而让模型变差了一点。作为真正得训练 AI 模型的人,这是真的吗?基准给模型打分还算靠谱吗?你会开始看到那种因为刷榜太狠而出现的奇怪边缘失败案例吗?基准得不断往前走,因为它们被饱和得很快。
主持人:你觉得没被饱和的基准就没问题吗?
Alexandr Wang:随着我们做下去,我们把模型更多地导向我们内部、针对我们所关注用例的基准。早期我们还在做爬梯子的科学时,更在意外部基准,只是为了确保我们在正确的轨道上。然后每一次发布过去,我们看的东西里更大比例是我们内部的基准。我们其实在 Muse Wonder 的研究博客里量化了一件事,就是这个大模型质感的指标。大模型质感和刷榜感基本是反过来的,这个想法是,你用一个真正很大的模型时,就是能感觉出来,它很有层次。我们量化它的方式,几乎就是你提到的那个,也就是分布内性能和分布外性能之间的差距。我们衡量模型在属于我们 RL 和后训练分布内的任务上表现多好,对比分布外任务上的表现。我们实际上看到了从 Muse Spark 到 Muse Wonder 线的巨大跃升,因为就像 Mark 提到的,驱动这条新线的就是一个好得多的基座模型。我们已经能量化这个效应,这显然是我们乐于继续改进的一个维度。
主持人:但如果你说外部基准已经没那么重要,你更在意内部基准,那这是不是在反对刷榜,你认不认为,只是去追大家都在谈的外部基准上的最高分,可能并不会让你开发出好模型?
Alexandr Wang:最终我们在意的是造出有用的模型。我们希望模型到了人手里,他们用起来体验很好。这对我们或别人造的任何模型,都是最重要的指标。如果太聚焦在外部基准上,你去挖一下供应链,比如某个 PhD 学生读博时做了个基准,恰好爆火。那你就是把所有的产品思考都外包给了那个学生。所以显然那是错的。所以我们才这么在意。Meta 和 MSL 里很多人聚焦的一大部分,就是打造出色的评测。现在我们已经有了,就能做自己的。但如果你在搭一个实验室,那些公开的基准不是个离谱的起点,只是不是你想最终停留的地方。那只是在找活着的迹象。而当你像我们现在这样真正进入这个状态,想非常有意识地随着时间改进模型,去造出越来越好的产品,那就是我们全部时间花的地方。
从很高的层面说,这些是阶段。是预训练和后训练。讽刺的是,训练是这一切的超集。但那就是我在做的。
主持人:但有多少人参与这个整体工作?比如你们开发 Muse 的时候?
扎克伯格:你这是在聊 MSL 有意思的地方,以及我们采取的方法。从最开始,我第一次联系 Alex 的时候,我们看这个,就是因为,哇,我们走了多远。我把我第一次联系 Alex 时的截图调了出来。我第一句话是,嘿,你有空聊聊吗?然后我们聊了四十四分钟左右。那通电话之后两天,Alex 给我发了很长一段,大概是,如果我是你,我会怎么做。而第一件事就是,你不需要很多人,重要的是人才密度。
所以从计划的最开始,这就是你战略的核心。你其实不需要一大堆人,但你需要的是让每个人尽可能强,这也促成了那次疯狂的招聘攻势,以及我们不得不做的非常严格的筛选,从 Meta 内部挑出一些最优秀的人,再用很严格的流程从外面招人。但我其实觉得,MSL 之所以特别、为什么那么多人想加入,部分是因为它某种意义上更有意思,在一个人才密集、规模更小的努力里工作就是更开心。感觉像一家初创公司,却又拥有大公司的稳定和资源。这就像你计划里的第一点。所以预训练团队要多大,答案其实不需要那么大。但你看别的实验室,别的地方可能相当大。所以我觉得这些模型表现好的部分原因,是我们押注的人有水涨船高的资源,因为我们拿出了算力,没有把资源摊薄,也没有跨越很多竞争性的努力。我们就是投资关键的人,每个研究者配大量算力,然后他们就能干活。
主持人:Wonder 是第一个大训练吗?大部分训练最终能在那上面跑?
Alexandr Wang:那是下一次预训练。是在爬这个梯子。我们有一套分级系统,然后是 Spark。内部来说,「牛油果」是 Muse Spark 线的代号,「西瓜」是这一次的代号。水果用完了,所以我们得换一套新命名。技术上唯一比西瓜更大的水果是榴莲。你不会想去榴莲的,最好离远点。榴莲比西瓜大?平均来说吧,它肯定更重。就像 Mark 提到的,我描述的每个阶段,在 Meta 是几十个人在做,而不是几百个。Meta 是个巨大的公司,但这基本上是 Meta 内部一个非常小的努力。研究团队不到两百人,大概接近一百人,是刻意保持得非常精干的。然后还有一堆基础设施在运转。
主持人:从很高的层面,它是怎么发生的?模型是怎么来的?
扎克伯格:你拿海量的数据做预训练。大概是所有的公开互联网,以及你能搞到的所有书,尽可能多的数据,不同类型,加上专有的元数据,还有不同的模态。如果你想让它感知好,就要确保它有大量图像、音频、视频。如果你希望它在某些领域强,你不想最后才用 RL 硬塞进去,而是让它从一开始就接触这些。所以在这一阶段,你不太在意数据具体长什么样、怎么格式化,就是大量的数据。
主持人:当你说这是最好的个人智能体模型时,是不是预训练阶段就得拿到某种数据,比如海量的餐厅预订、日历之类的?
Alexandr Wang:你基本上就是把人们会在意的各种模态的大量数据倒进去。有好多事情。我其实不觉得我们聊 Muse Wonder 擅长什么的时候提到了这点。有些领域,比如人们在意什么?有购物,人们在意很多。个人建议,人们在意很多。人们有个人的法律问题、健康问题、策略问题。Muse Wonder 在这些上相当好。我不知道我们想不想给出什么量化数据,但它在那些个人建议类问题上非常强。所以这类事情,你在一定程度上可以用 RL 去做,但你就是想放进大量的数据。你可以想象健康是一个很大的领域,外面有海量健康数据。而在预训练里,你就是想看到所有这些不同的东西,把这些不同来源都放进去。
就像 Mark 提到的,Muse Wonder 的一个亮点,是它在各种领域专长上的能力。我们的理念是,最好的个人智能体应该像一个站在你这边的专家团队。它应该感觉像是你的法律团队、你的财务团队、你的医疗团队,等等等等。所以在好几个领域里,Muse Wonder 实际上是业界最好的。很多财务评测以及法律评测,它都是业界最好的模型。而这些领域能力,是从预训练就开始的。我们找大量的领域数据放进预训练。但预训练里有很多门道,预训练就像是那个推文说的,充满了那些嚼玻璃、盯着远方发呆的研究者。我觉得这里面有真相,因为它确实既是研究里风险最高的领域。我们把很大比例的算力投进了预训练 Muse Wonder,风险非常高。我觉得我们俩在那个过程的不同阶段大概都经历过低谷。训练一个模型的过程中,悲伤的七个阶段全都会经历。它从根本上说是最具科学性的部分,因为你没有很多样本,所以你从科学上准确推断会发生什么,真的取决于你用大脑推理整个过程中一切的能力。
所以在预训练阶段,每个训练前沿模型的人都在尽量拿尽可能多的数据做预训练,可能偏向,如果你希望 Muse Wonder 在法律、财务、税务这些问题上出色,那你就像想让预训练里有尽可能多的那个特定语料。但你仍然希望对最终模型要去哪有更多意图。不过,再说一遍,它就是从更多数据里受益。这是那个海量数据、海量算力的阶段。
主持人:你放进预训练的数据会到某个饱和点吗,还是说最终就是数据越多越好?
Alexandr Wang:这和你希望模型更大有关系,你需要更多数据,否则它就过拟合。但我的意思是,有没有那种数据,比如,我们不能拿那个去干扰模型,不能用那些东西把它的脑子塞满,还是说就是数据越多越好?我觉得有其中一些效应,但这正是科学的一部分。有些问题,比如我们放进去很多这些 token,那里有没有零和?还是说其实是正向迁移?看它怎么搭的,你也可能有负向迁移。所以有所有这些有意思的问题。但总的来说,扩展更大模型更大的挑战之一,不只是有多少算力,你还得能让数据和它一起扩展。这正是当初写预训练扩展定律时的结论。如果互联网增长没那么快,而你又想扩展出更聪明的大模型,一个有趣的问题就是,数据从哪来?
主持人:我觉得那大概就把这部分聊完了,可以转到另一块。
Alexandr Wang:这边 CEO 能量满满。所以,后训练。我觉得后训练现在是个非常让人兴奋的领域。而且几乎在持续地,整个领域都在学习后训练这些模型的最优配方。对人们来说,后训练就是你给模型你期望它做的任务,按它做得怎么样打分。所以如果是个下棋的模型,它就下棋,学习那个。其实有两个阶段,有 SFT,也就是有监督学习。你拿这个原始的东西,同时给它你想要的那个问题和答案。如果你在聊一段对话,你希望它在这种情况里怎么回应。所以当你训练性格这类东西时,SFT 对塑造它其实非常重要。但近些年大部分的进展都在 RL 里。一个有用的心智模型是,SFT 是你初始化很多东西,你初始化很多你希望模型以后能表现出的行为。也许在 SFT 结束时,那些行为被烤进了模型,但它只有大概百分之十的时间会那么做。然后在强化学习里,你在各种情境里给模型强化,把那些行为的触发率大幅提升。
在 RL 和后训练里正发生很多有意思的事。其中之一是,RL 和后训练的扩展本身就是一条清晰的轴,就是花更多算力、收集更多数据,在发布模型之前做多得多。尤其是随着预训练规模上去,做多得多。这就像扩展定律里的任何东西,它得和其他因素一起走,否则不行。如果让我对 AI 说一句宽泛的话,那就是把一切都扩大。但尤其是,你必须把一切都扩大,单独扩大一个维度是不行的。你可以只扩大一个维度,但你如果一起扩大很多东西,会得到最优得多的性能。
想 Muse Wonder 的一种方式是,我们做了预训练,做了一些 RL。当你看 Muse Spark,从 1 到 1.1、1.2、1.3,我们没改预训练的任何东西,只是在它上面继续做更多 RL。所以当你想一个新的类别的早期版本,它们其实相对少,RL 对预训练的比例,在早期版本里比后期版本要低。那基本上就是模型的点版本发布的意思。每家公司有自己的惯例,对我们来说,它就是那个意思。对很多公司来说,大数字是预训练。我觉得它已经失去了那个语义价值,但在 Meta 至少确实是这样。在 Muse Spark 至少是真的。Muse Spark 和 Muse Wonder 确实是不同的预训练。而我们把这个问题踢到以后,Muse Wonder 先不给它编号,但等我们有第一个点版本时,我们就得决定了。
RL 阶段一部分已经过去了,另一部分非常有趣。首先就是生产环境和生产任务,我觉得这是训练这些模型时意图很强的一个领域,也是你会注意到很逗的事情的一个领域。在很多情况下,RL 里的数据少其实就是多。所以那种感觉和科学,总的来说,和预训练是相当反过来的。另一点是,它能给模型非常放大的指令。很多我们在意的安全或对齐案例都是这种情况。你会看到,当你在前沿模型上做大算力 RL 跑时,你在那些场景里施加大量 RL 或优化压力,而模型要成功的唯一办法,就是做不对齐的事或者不安全的事。所以这是我们训练这些 Wonder 时必须非常小心、非常深思的另一个点,确保我们很用心地策划 RL 环境,确保所有环境都在驱动模型朝向更对齐的行为。所以你刚才说的关于质量的点,很重要。因为前面很多来回的问题都是关于数量,带着那种,你需要扩大数量。但我确实觉得,很大一部分其实就是哪怕更少量的高质量。
在 RL 里,就像我们在新的 Spark 线上看到的相当大幅的跳跃,这些都伴随着底层配方的真正有意义的改进。新版 Spark 1 到新版 Spark 1.3 之间的提升,感觉是天壤之别。对大多数人来说,如果你问他们,这些感觉像是来自不同预训练吗?他们大概会说对。这正在整个行业里发生。我们正学会从这些现有的基座模型里挤出这么多能力,引出这么多智能体能力。这不是说我们不相信扩展很重要,那正是我们一开始就有 Muse Wonder 线的原因。但这两件事同时在发生,对我们来说,这也是为什么我们总体上看到这么多进展,因为我们同时在以不错的节奏扩展预训练和扩展我们的 RL 配方。还有其他扩展轴,比如确保智能体框架是好的,你能协同优化这些东西。
主持人:但如果我理解得对,你们是说,对齐不是去搞什么对齐专用的 RL 步骤,而是确保整个 RL 过程都在引导模型?
Alexandr Wang:你必须在整个 RL 过程里都对它深思熟虑。所以这是个整体性的努力。但不同实验室也有非常不同的理论。对齐是个很哲学的概念,你想让它和谁对齐?我们的很多理论是,我们更在意它和你要给人们的智能体对齐。如果你让它做某事,你需要有很高的信心它会去做你要求的事,你希望它以高可靠性去做。你不想因为它觉得你错了而给你一场说教。显然,如果你要做的是灾难性的事,它需要优雅地、不惹你生气地不去做了。但总的来说,我们把对齐更多看作一个指令问题,以及和它要服务的人之间的价值观对齐。这是一种不同的思维方式,和某些别人的做法非常不同。
和你原问题相关的、更有意思的一件事,就是训练这样一个模型的过程到底要多久。比如 Muse Wonder,我们从去年八月左右就在规划了。我记得那次外出战略会,他们第一次讲这个的时候。我们刚聊的所有这些阶段,你真的都要做相当长的时间。不是我们做完 Muse Spark 才刚开始做 Muse Wonder,而是我们其实已经规划、做了这件事相当久了。而且我们真的把 Muse Spark 看作通向 Muse Wonder 的踏脚石,就像我们在第一篇博客里写的。我们当时就是那么想的。
至于要多久,我们也只是在聊研究部分。还有算力部分,我们一直在投资建设,首先是一大堆整体算力。我们对这件事的理念之一是,你可以用一个实验室最大的那台单机、那台超级计算机有多大,来衡量它的算力强度,用来做这些大训练跑。所以我们建了这个 Prometheus 集群,在俄亥俄,规模超过一吉瓦。现在我们正在路易斯安那建这个 Hyperion 集群,会扩展到五吉瓦。而这些其实比 MSL 还早。从零建一整个数据中心园区,至少那些计划,现在才上线。这其实更早,甚至可以追溯到 Llama 项目。大概是 2023 年或者 2024 年,我们开始做建那些集群的计划。它们现在才完全上线,路易斯安那那个会在一两年内上线。
扎克伯格:如果你想真正端到端地做这件事,那显然就是那种全栈。Meta 是个全栈科技公司,我们建自己的数据中心,造自己的芯片,建自己的底层基础设施。而现在这是下一个组件,可以说大概是下一波技术里最重要的组件,就是造出真正好的模型,然后交付给人们。如果你想完全端到端,这确实是个漫长的过程。
主持人:我觉得这件事,也许科技行业的人挺明白,但模型感觉像是不断地出。所以你可能会有那种心智模型,哦,一家公司发布了模型,然后他们才琢磨怎么造下一个模型。但其实这些是那些非常长的规划过程,那些非常长的工作流,在最后汇聚到一起,然后产出这些漂亮的模型。
主持人:当反馈周期这么长的时候,你怎么做好的产品?说到底,你八月开始规划模型,一年多以后才知道它好不好。硅谷出了名地依赖指标,但说到底,你是不是就需要一个审美家出来说,我很抱歉刚才那个?
Alexandr Wang:有指标的时候当然好,但做创业者的状态是,你在一个信息贫乏的环境里做决策的能力有多好。但那就像是加了类固醇,那是超级加倍版。我觉得 Mark 在这上面该拿巨大的功劳。因为一切都要这么久,从我来这一年多里的很多节点,而且远在那之前,你不得不做很大的投资,或者做很大的决定,关于你要怎么投资、怎么发展技术,远在有任何证明点之前,甚至关于这事到底行不行。所以这就像是困难模式创业,是精益创业的反面。精益创业是,你看能不能让东西跑起来,然后加倍下注,再看行不行。但在 AI 里你没法那么做。我们投资这些数据中心已经好多年了,我们不得不。如果你等看到东西行不行再动手,你会彻底落后。所以我们有这些对话,就像去年年底,我们商量,好吧,我们对进展相当兴奋,但还没见过模型。我们准备开这张支票,大概一千亿或者两千亿美元。我跟 Alex 说,你确定这能成吗?
扎克伯格:整个高管团队都在。我觉得 Susan 有点把你吓到了。每次我们聊这个,玩笑基本都是,我们希望一切都能成、都能好。但说真的,去年年底的时候,除了我给一个氛围报告、讲我们的研究进展到哪了,我还能展示一些图表之类的,但其实根本完全不清楚它到底会不会成。我当时感觉不错,但说真的,一点都不清楚它能不能成。
主持人:你们的意思是,训练前沿模型的本质就是,在牌还没发下来之前,你就得把筹码全押上。你就是得决定你要开发一个前沿模型,而这个量级的投入你没法分期。
Alexandr Wang:回到几年前,集群还不需要这么大,但现在需要了。所以这正是现在搭一个前沿实验室让人兴奋的部分,门槛极高。我其实对这件事有切身的记忆。去年年底我们在夏威夷,整个高管团队聚到了一起。Susan 好多次把我拉到一边说,我就想告诉你,如果这不成,会非常糟糕,在财务上会非常糟糕。我真的必须让你明白,这个模型必须成,它必须好。如果好,就都好,我们就很棒。但如果糟,就真的非常非常糟。而 Susan,你也认识。那是个有用的激励,也是那些特别逗的时刻之一,显然金额大得离谱。
主持人:训练要花多少钱?数量级,能分享的就说。
Alexandr Wang:你可以做基础算术。一个吉瓦的集群,我觉得你在外面看到的,运营一个吉瓦集群一年,大概是一百五十亿美元的量级。所以训练一个前沿模型大概是投入一百五十亿美元的努力。如果你说的是建资本支出,也就是前期就要付钱的那部分,那大概是五百亿到六百亿美元。但那只是一个集群用于训练的一部分,然后你还有所有其他部分。研究不只是跑那一次,那大概又是等量的投入。因为每一次你做的改动,你都要把整个梯子一直测到最大规模,然后它们还在服务那些东西。所以训练一个前沿模型现在要几百亿美元。我看过财务汇总,几百亿美元是个不错的估计。
但然后你还想拿它做点什么。所以我们一些更复杂的问题之一是,我们在训练这个模型,我们知道要训练它,因为这很关键。但是,我们觉得会有多大的产品需求?而产品还不存在。你在试图为还不存在的 Muse 建数据中心来服务它,而且我们得提前好几年做。所以这大概就是去年我们聊的时候那种感觉。有过一个时刻,不少人都说,要不我们稍微保守一点。然后就是,不,我们在做这件事,我们要让它成,我们要破釜沉舟。这会成的。我也是个创业者、创始人,这辈子在不同节点冒过险。我当时那种切身的感受是,这是天大的风险。这正是我觉得 Mark 非常让人佩服的一点,你真的把那个概念内化得很深,就是在赢的时候赢多大,而不是说失败没关系,而是当你真的赢了,赢面有多大。Mark 以一种很多人没有的方式,深刻地内化了幂律。
扎克伯格:我其实不觉得它有说的这么冒险。数字很大,但 Meta 在怎么用算力上是有兜底选项的。一是,如果 AI 整体上能成,大把别的人想要我们所有的算力,所以他们愿意付。如果成本是一个吉瓦一百五十亿,我们能拿那个换多得多。所以要让它不成,不只是我们得失败,AI 整体得失败。然后,即便那种情况发生,我们仍然有所有这些别的用途能有效地用上算力。所以大局来看,我们确实是在还不知道产品能不能就绪之前,就在为推理建这些算力了。但我们对 AI 的信念足够强,所以你说,上线了的 GPU 总会对某个人有用。但也是,我们相信自己正在造的东西。你可以看那个轨迹,先是 ChatGPT 作为基于文本的助手,然后 Anthropic 把编码智能体做成了,而没人造出那种个人的消费级版本。这看起来就是 Meta 应该在世界上造的东西。这对你、对我、对 Nat 来说,从一开始就很清楚,那基本上就是我们来这儿要做的事。
Alexandr Wang:对我来说,Muse 发布时真正的问题是,你永远不知道发布一个东西会被怎么接受。正常情况是你会打出本垒打,这次就是,它一上来就被极其热烈地接受了。但正常情况是它还过得去,你得迭代几次才能拿到产品市场契合,然后才真正增长。在某些方面,我觉得产品我们本可以增长得更快,但我们发布时还没把所有增长相关的东西真正准备好。因为我们的中位预期是,我们大概得在这上面迭代一下。那会没事的。你会有那种发布,简直是灾难性的,然后要好一阵才恢复,但那不好。不过哪怕要迭代几次,也本来会没事。
主持人:对整个高管团队来说,手拉手一起承担这个风险,是有凝聚力的时刻吗?你说的是 Susan 在 UXI 上。是凝聚还是反凝聚?
Alexandr Wang:那很有压力,两者都有。我觉得一起处在有压力的局面里,一般来说就是凝聚。
Meta 一个相当值得注意的是,高管团队大多数人都待了相当久。像 Nat 和我才是真正的新人。而且大多数人过去也都经历过很多次疯狂的局面。Meta 作为一家公司,是一家极其有韧性的公司,经历过很多当时看起来也极其吓人的局面。所以大家都基本知道那套流程,尤其是当我们的 CFO Susan Lee 在会上把我拉到一边说,这看起来确实是个特别吓人的局面。但大多数人的反应是,我们是 Meta,我们会熬过去的。那里有一种真正的同志情谊,还有一种相当好的能量。这我确实很感激,因为公司里其他运营着史上最伟大生意之一的高管,很容易就会对这整个事业相当恼火。但每个人也都对 AI 给公司带来的机会非常兴奋。退一步说,Mark 作为公司的创始人和 CEO,工作之一就是要确保公司始终在推向它能成为的最有野心、最宏大的版本。整个 MSL 和 AI 冲刺里很棒的一点,就是这是那种最原始的表达之一。我们深知 AI 是非常重要的技术,也是现在更大的技术之一。但如果我们能有效地造出它,并恰当地把它整合进我们做的一切,以及作为一个全栈技术公司,把它建进那些我们知道未来会存在的了不起的产品里,这对 Meta 可能极其宏大。Muse 是个让人极其兴奋的产品,它可以朝一千个不同的方向走。我觉得它大概是,当你深夜想想它能去的所有方向时,最让人兴奋的产品之一。Nat、Mark 和我,就是深夜互相发消息,哦,我们能做这个、能做那个,能建这个产品。现在科技界真的非常让人兴奋,在这方面它很像蓝海。
主持人:聊到 Muse,它清楚地给人一种下一代平台的感觉,一个替你运作的智能体。你长期以来一直在说不想依赖别的平台,在 Android 和 iOS 上构建的经历,让你被依赖别人这件事灼伤过。你聊到 Reality Labs 时,常常强调拥有未来平台的重要性,多年来做 Reality Labs 就是为了拥有未来的平台。现在这种新模态出现了,它清晰地像是你完成很多生产性工作的方式,也是未来的平台。
扎克伯格:这与其说是关于想拥有一个平台本身,不如说是关于能造出最好的东西。在某种程度上,如果你看别的社交应用,Meta 好得多的一部分原因,是我们不只造应用。很多人觉得,我们是个应用公司。我们不是应用公司,我们是个深层技术公司,我们做这个是因为我们在机器学习上是世界级的,而且所有推荐系统运转的规模,基本上世界上没几家有,差不多就我们和 ByteDance 在这个量级。然后,我们一路做到了金属层。对我来说,能经由设备走完最后一公里去交付,确实来自于我们过去那些不能在手机上造出想要体验的经历。但我只是觉得对将来来说,模型将会是交付技术体验最重要的部分,远远最重要。这也是我们很早就很有共鸣、很一致的一点,就是每一代科技公司,通常不会有一家公司通吃一切。我也不觉得这次会那样走。但有了互联网,大概有五六家非常大的公司,然后一大堆其他很棒的公司组成的生态。但那些做得最好的公司,基本上都有核心技术能更好地服务人们。而我觉得在下一个时代,大概会有少数几家公司有能力造出前沿超级智能。而我觉得那些公司会是真正驱动议程、能造出大多数有意思体验的公司,无论是面向消费者、企业、硬件,这些不同的东西。所以,当我看这件事,这真的是个选择吗?Metacode 不管我们做不做,大概未来都会存在。但如果我们想成为一个有意思的公司,一个在发明对未来人们重要的东西的公司,我看不出如果你没有端到端造出自己超级智能、并把它建进人们使用的产品的能力,你要怎么做到。这是你从很早开始就相信的事,会有少数几家。会有一个个人和消费导向的版本。而这个赛道是敞开的,因为别的公司似乎都只痴迷于自动化知识工作,而那甚至不是那么有魅力的未来。因为我们很大一部分信念也是,超级智能最高级的用途是发明和创造,不是自动化。所以这中间似乎有个很大的位置,但你必须拥有整个技术栈。
主持人:这个由 Muse 中介的未来,和企业会怎么展开?企业需要建对 Muse 的支持,它可能会试图用电脑操作硬闯进去,但那在某些方面会很糙。所以你大概希望每个人都对智能体对话有头等支持。然后更大的问题是,他们可能会主动试图屏蔽智能体和他们互动。这可能是因为他们有种被误导的感觉,也可能支持智能体其实不符合他们的利益。你可以想象,他们护城河很浅,生意全靠消费者在网站上花时间,或者全靠对消费者过度收费。那他们理性上就不该允许智能体,但那些会被颠覆。跟我讲讲二阶效应,经济是怎么运转的。
Alexandr Wang:起点是,我们在模型里训练了非常好的浏览器操作能力。那样我们想做到的是,没人需要为接入 Muse 做任何事。然后,对于最重要的合作伙伴,我们就在顺着名单往下走。对于想跟我们合作的人,我们就给直接的 API 访问。那样人们用 Muse 会高效得多、快得多,因为不是有个智能体在爬你的网站,它直接就去了。所以任何想那么做的人,我们最终都想做到。然后我觉得长远来看,就像今天每家企业都有网站、社媒账号、邮箱地址,每家企业也都会有智能体。所以我们也在另一边造这个。当然,Muse 的智能体会和其他类型的智能体对话,但它们和我们的智能体会配合得特别好,因为我们能整合那个。所以 Muse 用网站只是一段时间内的事,只是为了让大家容易上手。这样用它的人可靠,也方便企业启动。但我们有多得多的企业在打电话给我们,要求深度整合,而真正试图屏蔽它的很少。我猜那些试图屏蔽它的,最终会发现那对他们不是正确的战略,但这会随时间展开。它给企业省很多时间、省很多钱,这些对消费者明显是好事。所以在长远的弧线里,你会清楚地预期,需求会越来越多地从现在的渠道转向智能体式的需求。想象这个智能体商务的未来会发生什么,非常让人兴奋。
主持人:我其实觉得 Patrick 写了篇很棒的推文长文。我们发现《卡拉马佐夫兄弟》的文学分析写得相当好。我觉得很显然,这对商业整体上怎么运转,或者更广泛地说,对所有商业管道怎么工作,都是一个不连续的事件。但这对消费者好得多,对顾客好得多,所以有一种自然引力朝向那个现实。让我好奇你们看到的一件让人兴奋的事是,我觉得 Muse 是最早一批人们真正把购买完全委派给智能体的产品之一。这是个阶跃变化。我们一直在大量聊智能体购物和它的可能性,但现在它真的在发生,很多人在信任智能体替他们购物。而且我觉得智能体在帮他们找到适合他们买的好产品,比如我的例子里是好茶,这相当让人兴奋。这里明显有件让人兴奋的事在发生。
一部分价值主张,对用户来说就是减少摩擦。比如,我不想点遍所有这些网站、做所有这些研究去找到确切的产品。那一步对我来说是解决了。而且标准可以自动套用。比如,我周三之前需要东西,所以智能体只会找周三前能到我手里的东西。关键词搜索,我们居然曾经依赖它,简直疯了,因为那是个很合理的购物约束。所以旧的搜索方式,现在有了这个能力,感觉明显很原始。而我们相当兴奋的长期事情,是更强的个性化。Muse 让人兴奋的一点,是它对作为个人的你、对你生活的各个方面,有一种整体的语境。所以它能整体地理解关于你家人、你同事、你朋友的事情,然后帮你跨所有这些做协同优化,为你最好的朋友挑出确切合适的礼物。在个性化和推荐上,有些相当新颖的机会。因为历史上,很多推荐系统相当孤立,看不到你作为个人的整体视图。而 Muse 有机会提供高得多的个性化水平。
扎克伯格:人们已经看到了,如果你用 Muse 让它帮你买东西,它经常会加进一些它从另一段对话里拉来的语境。我三岁的女儿喜欢烘焙,也喜欢做饭。我平时喜欢的是熏肉,但为了哄 Aurelia 开心,我会烤点东西。我们形成了这个特别可爱的惯例,我在玩 Muse 的语音模式,它还没完全推出来,但我们在玩。它能区分声音,知道哪个是我,哪个不是我。我们整个星期都在聊周末想烤什么。她会出主意,或者想出一些不是真食谱的疯狂东西,然后跟 Muse 碰撞。然后 Muse 会确保,每个周六该烤的时候,我从 Instacart 拿到食材,它们基本上准时出现。最重要的事是,如果我周六才刚开始这个活动,你得把所有东西买齐,会花点时间。但现在一切都准备好了,随时可以坐下来做。但这周末它知道西瓜要发布了,就往袋子里塞了个西瓜,非常甜,很暖心。它推断那个食谱的支出不够,拿不到配送,所以需要别的东西,就加了西瓜进去。它说你想要这个西瓜吗?我说要。特别可爱。那个直播里的西瓜,就是 Muse 给我拿的。整件事另一件有意思的是,我以前不太用 Instacart,大概一年就用两次,用 Priscilla 的账号之类的。我去开了个 Instacart 账号给 Muse,现在我一周用一两次。因为我在和 Aurelia 用 Muse 聊,我们想出这些食谱,它配送过来。现在它成了我工作流的核心部分。
所以我其实觉得这里的机会不只是转化率提高百分之二十,我成了一个全新的 Instacart 订阅者,而我以前根本不会这么做。长远来看,问题是,整个商务的可寻址市场是不是在急剧扩大?因为不再只是人了,现在智能体实际上也会有账号。这正是开始变得真正让人兴奋的机会,任何袖手旁观的人,长远都会感到难过。
主持人:你们在 Muse 上这个做得很好,我们很满意。我们长期以来一直对商务智能体很兴奋,因为对我们来说,人们将来买东西的方式就是这个。这很明显,因为实际购买阶段没人需要那些摩擦,也因为早期的产品研究用 AI 就有产品市场契合,哪怕从最早的一批 AI 开始。电脑操作真的是我们让它发生所需要的最后一个大解锁,因为现在你基本上可以让你的 Muse 买任何东西,然后用电脑操作自己搞定,所以那是终极的向后兼容。这是 Nat 真的非常执着的一组事。
Alexandr Wang:我觉得很多 Muse 的魔力在于,很多这种事就是能成。如果一切都只是稍微不那么可靠一点,就会感觉完全是噩梦,没人会用,人们会把 App 扔掉。所以这么多东西达到了可靠的临界点,就是魔力的一大部分。把体验做好的,我觉得是 Nat 和团队里一个核心小组真的聚焦的事。
主持人:挺逗的。我真的很喜欢这个细节,就是它在笔记本上哒哒敲。人们想让对电脑说话的 AI 愿景成真,已经努力了非常久,苹果在 2014、2015 年左右推出了 Siri。显然,语音模式和各类 AI 产品已经有几年了。为什么这么难?现在还不是那样。如果你在开车,想查一下烘焙或者挪个会议,你其实大概不会用语音。
扎克伯格:有几件事。一是你其实想让它去干活。当你和它说话时,哪怕它听懂了,那要怎么运转?然后有好多关于人们对话方式的事。它通常不是,我给个提示,然后我等着你说话,它就是来回的。当你在语音模式里和智能体说话时,经常是它开始说话,但我觉得如果我停三秒,它会以为我说完了、想要说话。然后如果它开始说话,我又插回去,它会以为那是全新一个问题吗?有好多对话动态是你想做对的。但还有另一个问题,就是用语音沟通是相当高带宽的,但在消费信息上,让人对着你说话,超级没效率,和视觉比起来非常没效率。所以理想的界面可能不只是一个纯粹的语音对语音,虽然语音输出对你挺有用。
Alexandr Wang:语音输入已经显然有一波爆发。你在编码里也能看到,人们在跟它们说话,大多数研究者对着键盘低语。因为就像 Mark 提到的,那是把想法说出来最高带宽、通常最低摩擦的方式。最极端的版本是现在大学生用 AI 的方式,一种非常常见的用法是,他们完全意识流地吐词十分钟、十五分钟,然后让 AI 把它整理、结构化、把东西拼起来。挺有意思的,是一个非常有趣的科技使用模态。我确实觉得智能体是个阶跃变化,因为心智模型很不一样。如果只是一个你说话的信息性东西,你显然会陷入它感觉没用的境地。而现在它能为你做事,就更接近和人或人类说话的体验。所以在和 AI 互动上有很多有意思的恐怖谷,在它们能采取行动之前一直感觉有点怪。
Muse 很酷的一点,是好几件事的汇聚。Muse 是有具身的,它像个小家伙,你觉得它在替你工作,这也只有当产品有连贯的表征和具身时才可能,因为它有持久记忆,有为你做事的能力,有采取行动的能力,还有一点性格。是这些事的汇聚让具身概念本身能成立。而结果发现,其实这才是真正的眼镜。很多人哪怕只要没屏幕或小屏幕就想要它,摄像头和音频就足够成为一个有用的产品。然后我们开始发带屏幕的眼镜,不是那种宽视场全增强现实,虽然我也觉得那会很棒,但哪怕小屏幕也相当强。所以你会开始在那儿得到一些完全多模态的有意思互动,语音进出,它能看到你看到的,能往像素上画。
我们这儿做的另一件让人兴奋的事,是用各种设备,这真的是在释放生态去尝试很酷的设备形态和外形。自从发了那个,我们其实已经有好几个手机厂商来找我们,说想直接把设备整合进他们的手机,看看效果多好,我们对此真的很兴奋。当下科技有意思的一点是,智能体显然很让人兴奋,这显然该解锁很多东西。
主持人:你们会回到家用设备吗?这显然是个个人设备,但我们其实有过 Portal。这终于是 Portal 吗?
Alexandr Wang:我们刚发的一个设备是小巧的家庭连接器,大概像一枚镍币那么大,带个 USB。你连上它,你的 Muse 就能连上家里的一切。这也是最有趣的事之一,就是让它连上你的 Sonos,连上你所有的灯。我在晚上该放松的时候,就让它把全屋的灯调暗,挺好。
主持人:我们怎么给 AI 的建设融资?大家都在担心,谷歌自由现金流转负了,你在说一个吉瓦、然后五个吉瓦。Meta 还没自由现金流转负,但总还有更多资本支出要融,所以答案是什么?Susan Lee 在哪?
Alexandr Wang:会有很多从这件事创造价值的方式。我们对 Muse 具体想做的,是让它能被广泛使用,因为当人们开始能互相互动时,会有些有价值的网络效应在规模上出现。用的人越多,合作伙伴越想整合,所以如果我们能把它做到规模,它会变得更有价值。做到那点最好的方式,基本上是有一个它既负担得起又免费的模式。
Alexandr Wang:会有很多方式扩大收入。订阅会是一大块。因为基础版是免费的,我们希望免费版很出色,但这不代表有些东西在成本上天然就不适合放进免费版。所以如果你明天就想在 Muse 里开始用 Muse Wonder,那你的方式就是付费订阅。那会是一大块生意。还有一堆围绕商务的东西我们也很兴奋,我们相信 Muse 实际上会帮人们赚钱、省钱,而随着时间,有很多方式从你为人们省下或赚到的钱里抽走一小部分,那最终会成为一个非常大的收入来源。然后还有所有其他东西。
主持人:你觉得 Muse 总体上对人来说是负成本,因为它帮他们配置财务,比如人们说去翻我的邮件,找出一堆我其实不用的订阅,然后取消掉?
Alexandr Wang:我不知道那是不是我们会变现的东西,但你大概懂那个意思,以及它怎么帮你赚钱。我们聊过的一个点子,也是我觉得你一直很执着的一件事,就是把它做成小型企业的「开箱即用的生意」,这样就能帮他们打理正在做的所有这些环节,你可以想象那非常有价值,对店主和对 Meta 来说都非常赚钱。如果我们在造模型来造个人智能体和商业智能体,这里有一大块过剩的价值,因为这个模型非常通用,它不只是做那些事,所以我们也会用它做 API 出租,那会盈利。我们想启动 Meta 企业平台、让 CJ 决定加入我们来建这个,很大一部分原因是我们有这么一个观点,传统上 Meta 不是企业公司,但我们相信挑战的很大一部分,本来就是造出领先的模型,而它们非常通用。一旦我们做到这一点,如果我们做出重大投入去建一个企业团队,能以企业需要的方式消费这个模型,那我觉得很多企业会想用 Muse Wonder,它会是个出色的模型而且负担得起。所以那最终也会是一块非常大的生意。把这些东西加在一起,再加上我们本来就从一家非常盈利的生意起步,有良好的信用,能为这些大型投资做担保,我觉得这让我们作为一个实验室处在一个相当好的位置,能建起我们需要的算力,造出领先的产品,建起围绕这个的网络,让公司真正在接下来几十年里领跑这个领域。
主持人:所以你觉得最终这些产品会有大量收入,很快就能自我供血。
扎克伯格:如果问题是「我们能不能从这里面赚钱」,那答案最好是能。历史上,答案是能,但历史是非常前置的支出。AI 作为一个行业的历史,某种程度上是,人们一直在焦虑这些生意要怎么赚钱,而每一年,人们都会对超级智能有多有用、人们愿意为它付钱这件事的上涨空间感到惊讶。这基本上是 Meta 的整套剧本。我们造出某个东西,把它做到十亿人,然后扩大收入,同时主要通过继续扩大那些已经上了规模、还在增长的东西来增长收入。这也是那些动态之一。Dario 也谈过这个,但总的来说,因为造这些模型需要这么多提前规划,如果你看任何一个时间点的研发支出,它其实是好几代模型同时重叠的研发支出,它们需要很长时间来做,然后最终你交付时会看到巨大的回报。这基本上是我们在 Muse Spark 家族模型上看到的,我们很久以前就开始做这些,然后通过 Muse 产品看到了惊人的消费者采用。另一件事是我们用模型来加速核心业务,你有个几千亿美元的核心业务,还在极快地增长,现在如果你能用这些模型加速一些东西、让它增长快几个百分点,那在你把它铺开的同时,也能为其中很大一部分提供资金。Meta 的核心业务就像是世界第八大奇迹,是一门极其好的生意,还在以惊人的速度增长。你们那个确实做得绝。
扎克伯格:我觉得你也在说到一件事,Alex,就是有个有意思的会计现象,如果你去建一个数据中心,你有资本支出,你可以按多年的使用寿命来折旧,人们争论那个使用寿命是多久,但重点是你确实能折旧它。而很多 AI 成本其实就是研究员的工资,那些工资花在模型训练上,因此也有多年的使用寿命,但总的来说你不能把它资本化。这也是我们自建数据中心相比其他一堆付云费用的公司的一个财务优势。他们付的是年费,但到某个点 GPU 会完全折旧,而我们大概还会继续用一阵子,因为哪怕一块 H100 现在的价值都比去年高,就因为算力如果继续受限的话。
主持人:对我们 OpenRouter 有什么建议吗?我们已同意收购它们,但还没交割。
Alexandr Wang:让人兴奋的一部分,是我们开始看到的模型,尤其是正在开发的前沿模型,比如 Muse Wonder 对比 Fable 或 Astra,我们其实正开始朝相当不同的方向聚焦,和别的模型不一样。我们在这场对话里聊到的模型开发过程里有很多意图,真的和别的模型的聚焦方式不同。所以当这些模型被压缩到同一套基准上时,那些有意思的、各不相同的气质差异就被抹掉了。所以对 OpenRouter 来说,一个让人兴奋的普遍机会,是帮助开发者理解这些细微差别是什么,这样他们就能对最终选什么模型做出最知情的决定。然后你也能想象它的反面,就是你有所有这些开发者在使用这些模型,所以那些开发者是很好的询问对象,能问出这些模型之间有意思的差异,那些比推文长度更多的洞见,不只是「这个模型好、这个模型差」那种层次。这就像是到葡萄酒侍酒师那个版本,理解这些模型及其相对优劣势,会很让人兴奋。
主持人:所以根据你们的经验,OpenRouter 的观点是,未来会有各种各样的模型,针对不同任务优化,我同意那个。那只是你们基于经验。
Alexandr Wang:我们聚焦在不同的事上,我们比别的主要实验室更在意个人和职业智能体。我的观察是这样。这挺好,经济里就该有差异化,某种程度上这正是资本主义的意义。
扎克伯格:我真的同意那个点。我喜欢你们做 OpenRouter 并能把它做大的部分原因,就是越多能发展出来、支持生态里多样玩家的基础设施,整体上就越好。出于同样的原因,我也相当欣赏 Nvidia 最近一些支持开源生态的动作。这就跟我们整套关于好的未来长什么样的理论和哲学一致。我们认为好的未来是通过赋能人们来实现繁荣,这就是我们在做的个人超级智能那件事,但也有整个企业版本。而对于很多重要的安全议题,我们的观点是,达到那一点的途径是拥有多样性,通过有很多不同的东西存在、人们能接触到,来形成制衡,而不是只有少数几个好模型掌握在少数几家公司手里。从我的角度看,那对将来大概是比「很多人能接触到不同的东西」更冒险的配置。
主持人:你们有没有理论解释为什么会这样?我感觉也许人们曾预测 AI 里会有更多赢家通吃的动态。2023 年人们讲的一个故事是,有一家 AI 实验室会开始发展出优势,那会让他们启动递归自我改进,然后就会把别人越甩越远。但它一直保持着极强的竞争性,前沿有多个玩家,你们今天带着 Wander 这个前沿级别的模型出来,开源模型总的来说也很出色地跟上了。所以我们几年前有那个故事,说某人会一路狂奔拿下大奖,为什么那没发生?
Alexandr Wang:有很多底层的原因和机制在驱动这件事,其中之一当然是执行力。对任何一家前沿实验室来说,都有执行力强和执行力弱的时期,这在所有实验室里都是真的,所以随着时间那种东西会自己平均掉。
主持人:我觉得另一个非常外交辞令的说法是,这不就是有些领先的玩家搞砸了吗?
Alexandr Wang:我觉得如果所有玩家在领先时都执行得完美,他们大概就能保持领先,所以那是一个因素。蒸馏的力量和强度当然是另一个因素,它相当程度上让开源生态受益,我觉得这是一种反霸权力量,存在于蒸馏模型这个现象里。这只是技术的一种性质,不是有谁计划好让蒸馏这么奏效,但结果就是你能通过某种形式的蒸馏自然地获得很多能力。而广泛地说,蒸馏对整个生态是相当好的力量,因为它意味着你能把非常强的智能能力塞进越来越小的模型里,这让我们能以宽得多的规模去服务它们。今天真正小的模型,比一两年前最大的模型强大得多。然后最后一点是,生态里很多人想要这样一个未来,它不是那种资本主义里最终只剩一家公司的结局。这也是为什么,不只是个人,还有公司,把钱投在同样的东西上。很多人一开始很兴奋地加入 Meta 和 Meta 超级智能实验室,因为他们就是想在一个专注于把这项技术带给数十亿人的地方工作,而那并不必然是其他所有前沿实验室的既定目标。所以有很多自然的力量,行业里很多人在追问,我将来真正想生活的世界状态是什么,有大量各层级的决定,关于他们在哪工作、和谁做生意、做什么商业交易,驱动向一个更均衡的结果。
主持人:你在说到 MSL 初创这块,我也想问问。感觉从根本上仍然很难。我们聊过开发一个前沿模型需要什么,但也从一个冷启动,MSL 的冷启动是什么时候?我们在 4 月 4 日发布了 Llama 4,我觉得是 2025 年。然后大概是 4 月 20 日还是 21 日,就是我开始打电话找人问建议的时候。我记得我在一个员工会上,收到 WhatsApp 通知,说半小时后有个电话,我心想,有意思。所以 MSL 一年多一点。你怎么看它是怎么成型的,用那种说法,什么起了承重作用?
扎克伯格:早期有这整件事,就是首先我们得把这个核心小组聚起来。Nat、Alex 和我,我们一开始聊了一点。一开始我们在头脑风暴,我在跟 Nat 聊,我们能不能有办法把它搭成对 Alex 的股东来说是双赢,能把他弄过来。然后我们聊计划是什么。我当时处在这么一种模式,就是到处问不同的人我们该怎么做,每次我们聊完,我都会多带回来三件事,这是我们应该做的。那非常有信号,有很多战略上的清晰。我们头脑风暴、做了这件事一阵子,然后 Nat 和 Daniel 加入了,我们聚起了几个最初的研究员,但一开始就像超新星那样,我们把一堆人塞到一起,我觉得头几个月我们俩都没怎么睡。我清空了日历一两个月,就只是见研究员、跟他们聊。我记得甚至在我们宣布你要过来的那笔交易之前,你就在招人,人们心想,这是怎么回事。但然后还有那个大问题,就是,如果我们对现在这个项目的轨迹不满意,那谁才是往后领导这个项目的合适人选?Alex 和我这些年花了很多时间聊,大概每隔几个月聊一次,我一直非常佩服他思考战略的方式。我有个看法,就是,他现在做着这个非常运营的数据生意,但对我来说总是感觉,他是我有机会见过的、他那一代里最敏锐的创业者。他总是让我觉得,这是个,他其实在经营这门非常辛苦的运营生意,但顺便说,仍是门可爱的生意。
主持人:怎么了?
扎克伯格:我们是它的大投资者。那是关于经营这门生意有多难的评论。你在经营世界第八大奇迹,Alex。很多生意看起来都像辛苦的运营生意。这正是我的看法,就是辛苦。
扎克伯格:所以我就有这么一个看法,哪怕这有点。我觉得我们开始的时候,很多人心想,这要怎么成?就是那种社媒的人跟数据的人合作,我们到底是要在这儿建一个前沿实验室还是怎样?但我非常强烈的信念,因为我跟所有实验室的领导都聊过,所有研究负责人什么的,我就像,不,Alex 就是那个人,他他妈就是那个人,我们能够去拉起一个团队,招到我们需要的人去做这件事。我们需要他那种战略上的清晰,关于我们想用不同方式切入这件事,那种对人才密度的极致聚焦,还有那种清晰传达不同愿景的能力,那是我们在这段时期一起塑造出来的。还有一堆我觉得很极端、但基本上奏效的东西,比如拥有这种非常扁平的文化,这是你一直很执着的一件事。你有差不多两百个直接下属?实践中没到那么极端,有团队负责人之类的。我的 Muse 帮我管他们。
扎克伯格:但就是有这一系列东西,很早你就阐明过,我心想,这有点极端,但它方向是对的,我们应该去做。我去跟别的人聊,那基本上就是传统上你期待一家大公司怎么运作,我心想,不,我们想做一些,就像你说的那四件事,我觉得哪怕其他有主见、高效的创始人 CEO 也不会那么做。
主持人:一,你就直接把公司里一群人的近期努力称为失败、不够好。确立 MSL 这个动作本身,人们能读出言外之意。所以有时候你得重启一个团队,那是一件事。二是你愿意为人才付天价。你为把 Alex 和一些其他人弄过来付了很多钱,尤其为 Alex 付了很多钱。三是,顺便说,这门非常好、非常辛苦的生意,你付了百分之四十九。我们把故事讲清楚。
扎克伯格:三是,我要指出 Alex 以前从没训练过前沿模型,所以你是在某种程度上押注 Alex 做一件他在 AI 里做过那些事,但无意冒犯,你就是没做过那个你被雇来做的那件具体的事。然后第四,你说你清空了日历,两个月只做这件事。很多 CEO 会照开业务复盘、照开董事会、照处理客户的事。这四件事在我看来挺有意思,很多 CEO 不会那么做。
Alexandr Wang:那有意思。一件你可能自己没意识到的事,我觉得 Mark 相当特别的一点是,一旦他得出结论某件事是对的做法、或者某件事说得通,他就把一切都完全转向,和那套信念保持一致。大多数哪怕非常成功的、有主见、很锋利的创始人,惯性也会是,我还有我整个日历,那我就谈谈做这件事,然后指望别人去做。而 Mark 一旦得出结论某件事是他必须做的、或者很说得通,他就真的会,他在这方面大概有非常高的学习率,非常愿意把整个东西转向,和它保持一致。一件被严重低估的事,是公司里有多少东西也得出于支持 MSL 而转向。虽然它是大公司里一个更像初创的努力,MSL 的需求仍然相当大,我们基础设施上需要巨大帮助,需要建这些大规模数据中心,需要公司很多其他部门的大量支持,尤其随着 Muse 成功,我们还需要和公司其余部分大量深度协作。而这一点,基本上只有因为 Mark 是创始人 CEO 才可能,他能确保我们有一种朝向这个 AI 至上版本的 Meta 的全局优化,而不是一个组织朝向无止境局部优化的自然惯性。
扎克伯格:但这也是我们合作方式的很大一部分,对我来说,身处这件工作的细节里很重要,这样我们才能让公司周围的一切去做我们需要做的事。对这些东西我会有看法,但我不是首席研究员。我们合作得好,很大程度是因为,我们俩都相当深入所有这些事的细节,但运营这个实验室是件大事,运营公司其余部分来支持这个努力也是件大事。你几乎没法在没有这两块的情况下完成这件事。我觉得我们搭起整件事时相当重要的一点是,Meta 这家公司投入了巨大资源来立起 MSL,然后我们非常清楚地告诉所有人,没有截止日期,我们会以正确的节奏推进。这一方面可以极其吓人,你搭起这个极其昂贵的单元,然后告诉所有人,而且你在一家大公司里担心,也许七年之后才会有东西发布。但我觉得,聚焦人才密度很酷的一点是,
Alexandr Wang:招来所有这些极其聪慧、已经做了这么多事的人,每个人都有很强的交付动力,每个人都想在这个领域留下自己的印记,所以每个人都高度自我驱动,想尽快往前推进。有一件事挺逗,我得不断提醒团队,就是这是一支充满不安全感的卓越者组成的团队,所以任何时候如果我问他们,你觉得三个月后我们会到哪一步?每个人给的永远是最悲观的答案。然后我把它记下来,三个月后我说,我们刚发布了这个模型,我来给你看看你们所有人三个月前说我们会到哪一步。那这有没有让他们更乐观一点?没有,他们还是很自我批判。我觉得一般人似乎对 MSL 相当乐观,对自己的项目非常自我批判,那其实是相当健康的一种动态。但这个趋势还在继续。在很多方面,Muse Wonder 对每个人来说都是一个不可思议的里程碑,因为团队一路走来非常批判。
主持人:你们是什么时候知道 Muse Wonder 成了的?
Alexandr Wang:好问题。一路上你能得到所有这些中间信号,说明东西好还是坏。在预训练里,你有很多基于困惑度的评估,那是一种不同的评估制度,能帮你预训练,然后你有那种更传统的基准,能帮你走向 RL。这个模型已经炖了相当久。我觉得 AI 研究里最逗的事之一是,很多时候人们就是眯着眼看一堆点,然后说,看起来不错,或者,看起来有点不对。最逗的是,人们有实体的量角器,把它贴在显示器上一组线上,去量一个角度。所以 AI 还没来抢这份工作,很多是直觉在驱动。我记得我们有过这么一段对话,就是你什么时候知道它成了。我们在他自己的预训练之后有过一场争论,就是,在 RL 里要多久它才会比 Muse Spark 好?我记得预训练团队的人只是想管理预期,他们说,有时候这要花一阵子。然后它立刻就好了。所以我们觉得走上了好的轨道。我们已经兴奋了好几个月了,但还有很多要做。
扎克伯格:回到最开始,最有趣、最有挑战、也最能立住这件事的,是你真的就想要这个高人才密度的努力,我们从 Meta 内部拉来一些最优秀的人,从外部招很多最优秀的人。你刚问的,如果你在事先问,Alex 不一定训练过这样的模型,但对我来说,大事之一是,所有最优秀的人都很兴奋能和他一起工作。你在你做的很多事情里肯定也看到这个,就是大多数人不是一维的,也许你做一件具体的事,但你成长和扩张的能力,很大程度上取决于那些在不同领域出色的人愿不愿意来和你一起做不同的事。伟大人物的追随者。但还有,哪怕对那些还不认识你的人,或者不知道你是怎么回事的人,你就是个让人印象深刻、有吸引力、人们想一起工作的人吗?人们对你将创造这个环境感到安心吗?你在这点上一开始就非常深思熟虑。有些东西你当时已经有完整成型的信念,关于你认为我们该怎么做,但我也记得,我们早期招聘对话时,我们在实时地塑造它,就是,我们和这个人谈的这个构想不太行得通,但他们看起来不错,他们有这个想法,那基本上是在实时地凝聚一个关于它该是什么形态的愿景。
有些最初的概念,最极端的一件事,是你有人才密度的概念,但我一开始不确定它得是一次彻底的重启。这事开始于我们出去和很多最优秀的人聊,然后意识到,为了让这件事尽可能有吸引力,它应该感觉像我们从零再来一次。我们也会从 Llama 的努力和 FAIR 等等里拉来很多很棒的人,但那是件非常刻意的事,是你在我们出去和最初那批人聊的时候弄清楚的,什么会让这件事有吸引力。它最终非常聪明,对实验室的文化和它的起步方式产生了巨大影响。能有那种动态去弄清楚它需要是什么形态,我觉得那是个非常罕见的特质,一个非常创业者的特质。当我在想这个领域,它不断在演化,所以对要运营一个实验室的人来说,什么才是重要的?不是他们是不是最新那个模态或者实验室训练技术的专家,而是这个人是不是个清晰的思考者,能不能像创业者那样动态更新、随之前进。这是个本质上非常创业的空间。
主持人:这段经历有没有改变你对走向外部的价值的看法?你的重启,你带进来的人很多都是外部的,Alex、Matt、Daniel 这些人,但你也描述过,根据走到外部去、根据行业里研究者集体观点的总和,来决定你需不需要一次重启。你觉得你会在未来不相关的项目里延续这种做法吗?因为显然,大公司的风险是,大家都说,我们有很棒的做法,让我给你看看我们关于它的一百页文档。
扎克伯格:显然你不能。我们这儿不得不做的很多事,是把公司其余大部分也转过来,比如基础设施团队,现在在建这些巨大的集群来支持这个,那显然也是件大事。公司很大一部分得转向来做这个,你没法同时做太多那种事,只能有一件事是最高优先级。总的说,它让我某种程度上更乐观了。我们招来了 Kunal Shah,我觉得他是印度顶尖创业者之一,建了很棒的 Cred,现在他运营着 WhatsApp,我一直觉得 WhatsApp 在商务上该做更多,我们在那儿有点服务不足,而印度是我们所在的、最大的国家。但情况有点不同,因为我们不是在把整个公司转向 WhatsApp,我们只是想在那儿注入更多创业能量。这是个十分之十难度的东西,我不想用过去时来谈它,好像它已经完成了,因为它仍然是个十分之十难度的东西。那一个个必须成立的零件,它确实包罗万象,这对做它的人很难,但对公司其余部分、对公司的财务模型也施加了某种压力,我不想把这两件事混为一谈。有新鲜血液是好事,有理解语境的人也是好事。如果你在 Meta 待了十年,你见过一些事,我们经历过很多艰难时期,那也是重要的语境。很多就只是,你在搭一个团队时,Alex 对团队形态该是什么样有一套理论,我猜我对领导者该是什么形态也有一套理论,一年多下来,看起来还好。首先,尝试点不一样的东西、和别人做的不一样,就是好事。
Alexandr Wang:这里还有些别的维度值得提。在决定我们得做彻底重启时,一个主要输入是外部的,但还有一个输入,我记不清有没有跟你讲过这个故事,我加入后的头几次会议之一,我在一个和现有努力的一些负责人开的会上,我说,我觉得我们第一件要做的事,是训练一个非常好的推理模型,到某个时间点,但这显然是最重要的里程碑。然后组里一个关键负责人,他现在已经不在 Meta 了,他说,我们不需要推理模型。我们的消费者有谁需要推理模型吗?我感觉我们不需要做推理模型,做个普通模型就行。我当时有种心一沉的感觉,我加入了错误的公司,我得往后退十步。这会后我打电话给 Nat,我说,Nat,他们刚在会上这么说。但我觉得那具体说明了一件事,Mark 跟人聊的时候,我当然也开始意识到,我们需要公司的领导层更加 AI 至上、更加前倾,对技术移动多快、要往哪去、有哪些可能性更加前倾,基本上就是戏剧性地更加 AI 至上。随着 Mark 开始把整个公司转向这个方向,很清楚这是,Mark 被 AI 说服了,然后大家都看到他 AI 至上了,每个人都意识到,这是公司要去的地方。很多现有的领导很快就接过来、改变了。比如 Adam Mosseri,他运营 Instagram,有我所见过的、最有审美、也最有效的个人氛围式编码和个人迷你 App 设置之一,他在这个方向上走得相当远。Meta 很多待了很久的领导都很能适应,他们经历过科技的一个高度动荡期,现在 AI 大概比那些过去的浪潮动荡五到十倍、移动快五到十倍,但他们很多次都适应了新趋势。所以其实我非常佩服,看到 Meta 很多领导层多快,如果我把刚加入时和他们的对话跟现在的对话对比,他们现在超级 AI。说实话,这在 Meta 这么大的规模上是相当让人佩服的,它是世界上最庞大的公司之一。
扎克伯格:我们很快就让他们到那儿了。如果你开始写代码,那也有帮助。我们想创造的文化很大一部分,是当你有所有这些直接下属时,重点不是你有那些直接下属,而是没有非技术管理者。我不觉得你会说你在给两百个人提供大量的管理式支持。
主持人:我觉得在研究者的共识里,有这么一个常见的模式,你从非常技术,转到一个你不再身处细节的角色,然后你非常快就不技术了,比你意识到的快得多。这相当危险,因为这是个移动极快的领域。所以你必须保持技术,人们必须用智能体,人们应该写代码,这在这整件事里一直是相当重要的一部分。
主持人:你们有过什么很好笑的争执吗?
Alexandr Wang:我们有很多争执。我们直到最近还在纠结命名。这是我很欣赏 Alex 的一点,它回到你的哲学,你在大规模招聘时谈过,招那些真正在乎的人。原话里带了些脏字。但 Alex 是真的很在乎,这一点我算是发现了。
Alexandr Wang:那确实非常重要。当你把所有这些有才华但意志非常强的人凑成超新星时,你会得到一些争吵。某种程度上,我宁愿人们为自己相信的东西去争取、去争论,而不是人们觉得自己只是在盲目执行某个东西。人们需要感到拥有感。
主持人:Mark 作为一个老板,和你预期有什么不同?
Alexandr Wang:我没有很大的参照系,我现在可以走了。过去一年和 Mark 共事,一件非常酷的事,就是看到他那种真正的胆量,以及这个特质,一旦他内化了某些信念,改变先前行动、转向和那些信念一致的世界观,那种速度和幅度。这些总的来说是相当不寻常的特质,哪怕在创始人这个群体里也是。Mark 真的会摄入新信息,完整地更新他的世界观,然后按新安装的世界观行动,非常贝叶斯,然后愿意。
主持人:我从没得到过这么好听的恭维。你的先验真是可爱。
扎克伯格:但重要的是后验。
主持人:是后验。在某次事件之后你不许再谈后验了。
Alexandr Wang:还有那种胆量,这一开始其实让我相当困惑,就是你愿意下这些巨大的赌注。这事 Nat 和我经常聊,我说,哇,我们这儿真的搞得很大,我们俩都会说,你会搞这么大吗?那是个相当显著的特质,也是我真的很佩服的。如果我回看 Meta 的历史,想象在所有这些关键节点上,场景会是什么样,我能看到这就是那个剧本,或者很多那些情况大概就是那么走的。有些时刻你能明显感到有件非常非常大的事在发生,它甚至可能还没体现在指标里,可能还没影响用户数或收入,但很清楚,如果你相信那件事会发生,它对公司、对产品就有巨大的含义。我对 Meta 历史的事后复述是,Meta 是一家每次那种事发生时都极其极其认真对待的公司,这让公司能够创新、能够在一个移动极快、变化极快的科技图景里持续演化。Mark 非常贝叶斯。
主持人:就是贝叶斯。人生苦短,做对的事就好。
Alexandr Wang:我觉得 AI 大概是那乘以一百之类的。很多 CEO 去年夏天会告诉你,我觉得 AI 对我生意是最重要的东西,大概每个 CEO 都会那么说,但你看他们实际在做什么,他们的行动和那个信念有多一致,我觉得这是 Meta 和 Mark 相当相当特别的一点。
主持人:最后一个问题,因为我们都过了睡觉时间了。你怎么看Alexandr Wang在推特上那些疯疯癫癫的发言?
扎克伯格:我觉得大部分都很棒。我猜我的主要看法是,不管你失败多少次都不重要,重要的是你赢的时候赢多大。在沟通上,我觉得最重要的就是真实。当你想真实时,有些东西出来的效果不是你想要的那样,但我觉得那个方向的取舍,比过度照本宣科、不真实要好。
大部分我就觉得太搞笑了。
Alexandr Wang:我不是个重度 X 用户,但你又回去发帖了。一堆研究者在那儿,我们也想,你也在那儿,但我发的每样东西我也会发到 Threads 上,都挺好。
但每次我打开 X,我都看到四条帖子,就让我笑翻。你现在大概是个集散中心,人们把好东西发给你。你这些东西是从哪来的?它是怎么运作的?我们昨天和我的搭档聊过这个,我觉得一个观察就是,我经常的思维模式是,哦那很好笑,我想知道 Jolly 会怎么看那个,然后你就能从中得到好的梗。话虽如此,我体验过互联网那种残酷的代谢,它多快就代谢掉梗,所以你真的得待在造梗的最前沿,很容易掉队。这大概也是这整场对话的一个不错的总结。
主持人:很容易掉队。你得保持在前沿,待在细节里,保持技术,待在前沿。好了,我们就到这儿。谢谢你们。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.