LeCun炮轰Hinton：他认可LLM就是想摆烂退休了！

来源：量子位 | 公众号 QbitAI

Jay 发自 凹非寺

Lecun这次是真跟Hinton爆了……

Hinton之前从来没特别关注过LLM。结果2023年GPT-4出来，他突然跟顿悟了一样： “天哪，这些模型已经非常接近人类智能了，它们可能有主观体验……”

对于这种转变，Lecun表示——

完全不认同，难以理解。

我感觉他就是想摆烂：“好了，这就是我们需要的，我可以宣布胜利了。” “嗯嗯，我可以退休了。然后到处去做关于AI危险的演讲。”

紧接着，话锋一转，又把矛头指向了另一位图灵奖得主。

其实很多事情我早在几年前就说过，Hinton最近才意识到。 Bengio的情况类似。

这也是为什么Lecun在被主持人问到为何如此「另类」时，回答：

从来没有什么我和Hinton和Bengio分道扬镳，是他们变了。

既然要可汗大点兵，当然避免不了聊到老东家。

到了2024年初、尤其是2025年，FAIR已经不符合我认为保持创新、研究和突破所需要的条件了。 很多优秀的人都走了。

至于原因，Lecun说其实扎克伯格很好，领导层也都很支持他。只不过，Meta也卷入LLM竞赛后，实在没办法只顾着埋头做研究了。

对此，Lecun表示很遗憾。

因为在他看来，要获得突破性研究「其实很简单」。

就雇最好的人，这些人有嗅觉，知道该做什么。你给他们成功所需的资源，然后…… 滚开，别挡路。

但主持人还是不太满意，一路刨根问底：为什么？为什么？为什么？？

重点怀疑对象——亚历山大王。

主持人：

Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun的回答也很实在了，真是问啥说啥。

肯定是的。但我不确定我是否有足够的内部信息来评论。 扎克伯格可能在亚历山大王身上看到了某种接班人的影子，一个更年轻版本的自己。

除了这些，当然也保留了经典节目。

Lecun用带着点调侃的语气，再次向LLM阵营发起了挑衅。

JEPA类世界模型，五年内统治AI圈。（笑）

这是Lecun的最新一期播客专访，他跟主持人聊了快一个半小时，关于世界模型、JEPA、为什么离开Meta、为什么LLM走不到AGI……

好久没有这么逐字逐句地听访谈了，真有点力竭。

全程不敢跳过，全程无尿点，Lecun全程都在疯狂输出暴论：

• Anthropic在试图用恐惧来推动AI监管，我完全不认同这种做法。

• LLM永远不可能可靠，不是所有事情都是Coding。

• 模仿学习就是不行，连自动驾驶这一个任务都搞不定。

• 世界模型希望解决的，是zero-shot解决新任务

• 如果你在读PhD，别做LLM。没意义，你做不了贡献。

• 还有少数地方是真的在做研究，比如DeepMind。但整个行业越来越封闭了。

以下附上访谈全文。

为保证可读性，量子位在不改变原意的基础上，对内容做了部分调整。

Enjoy。

为什么LLM不是通往智能的路

主持人：你当年押注神经网络，所有人都在质疑你，结果证明你是对的。

现在你又在做一个类似的事情，押注against LLM和主流的生成式架构。

你最近还围绕这个方向创办了新公司AMI。AMI在做什么？

LeCun：首先我要说清楚，LLM没有什么问题。

LLM是很多非常有用的AI产品的基础，我自己也在用，它们很好，做它们该做的事情。

但LLM不是通往人类水平智能的路径，甚至不是通往动物水平智能的路径。

主持人：你自己还帮着做了最早一批主要的开源LLM。

LeCun：没错。所以AMI是什么？AMI代表Advanced Machine Intelligence，我们的定位是AI for the real world。

今天大家熟知的AI技术，擅长的是语言操作。

语言是很特殊的一种东西，它特别适合目前这些成功的架构。

但现实世界呢？是高维的、连续的、有噪声的、混乱的。难度完全不在一个量级。

这也是我大半个职业生涯在做的事情，过去五六年加速推进，最近两年取得了实质性进展。

到去年年底，很明显Meta已经不是推进这个项目的合适场所了，所以我离开并创办了AMI。

主持人：这似乎是一个行业趋势，越来越多的人从大公司或研究实验室出来，带着自己兴奋的研究方向创业。

LeCun：这确实是一个很奇怪的trade off。

有两种模式。一种是大量探索性研究，很多方向并行。然后某个东西好像work了，你需要继续推进，但它已经不是研究了。

做这些事的人是研究员——至少媒体这么叫他们——但实际上已经变成了工程和产品化。

这种事在Meta发生过好几次。

2023年初，FAIR开发的Llama 1非常有前景，Meta专门创建了Gen AI组织来把它变成真正的产品，后来出了Llama 2、Llama 3、Llama 4。

Llama 4有点令人失望，扎克伯格对此不满意，把整个组织重组了，换了新人。

但过去一年真正发生的事情是，Meta意识到自己落后了，于是把战略重新聚焦到追赶行业上。

副作用就是，大量的探索性研究被降低了优先级。

我做的JEPA和世界模型的工作倒没有受影响，但公司其他部分完全聚焦在LLM上了。

这让我很清楚，Meta不再是推进这个项目的合适地方。

我们有了初步成果，需要从研究转向真正的技术开发、规模化和产品化。

同时我们也意识到，大部分应用场景Meta其实不太感兴趣，比如制造业。

世界模型

主持人：你在追求世界模型这个大方向。但也有其他人从更偏生成式的角度切入世界模型，比如Google的Genie、各种视频模型，VLA，还有李飞飞做的3D空间模型……你怎么看JEPA模型和这些方法的比较？

LeCun：世界模型正在快速变成一个buzzword，在研究领域已经是了，在工业界也开始了。

VLA我就不多说了。这条路现在普遍被认为走不通了，不够可靠，需要的训练数据太多。

那什么是世界模型？从根本上说，世界模型就是让一个智能体能预测自己行为的后果。

我无法想象你怎么能构建一个agent系统，而这个系统没有预测自己行为后果的能力。如果人类不考虑后果就行动，别人会觉得我们是傻子。

所以世界模型就是这么回事，能够预测你自己行为的后果，你就可以规划一系列行动来完成一个任务、达成一个目标。

通过规划、推理、搜索和优化来做这件事，而不是像LLM那样一个token接一个token地自回归预测。你是在搜索一个能完成任务的最优行动序列。

LLM没有预测自己行为后果的能力，也没有真正的规划能力，因为推理就是预测下一个token，不是搜索。

所以，智能行为需要三个特征。

第一，预测行为后果的能力。

第二，通过优化和搜索来规划的能力，找到能产生正确结果的行动序列。

第三，就是你怎么预测行为的后果。

比如我面前有一个没有盖的水瓶。如果我推瓶子底部，它会在桌上滑动。如果我推瓶子顶部，它可能会翻倒。

但我们无法精确预测瓶子会往哪个方向倒。我们不可能在像素级别预测这些。

我们大脑中的世界模型，预测的是一个抽象层面的表征。

JEPA

主持人：这个架构的设计，很大程度上是受人脑启发的？

LeCun：至少是受认知科学的启发。能不能直接翻译成一个具体的神经网络架构，这中间有很大的gap。

认知科学确实是一个动机。心理学中的系统二就是这个意思，你在做深思熟虑的、反思性的行为时，会想象、预测自己行为的后果，然后据此规划。跟系统一那种本能的、反应性的行为不同。

所以有灵感来源，但也有大量的实证证据表明，你不应该去生成像素。

我对通过预测来建立世界模型这件事感兴趣很久了。

大约五年前有一个顿悟的时刻，我意识到所有成功学到了好的图像和视频表征的架构，都是非生成式的。

VAE，变分自编码器，或者更广义的自编码器，直觉上似乎是学习输入的抽象表征的自然方式。你把图像输入一个神经网络，训练它在输出端重建输入。

但如果你用一个大的神经网络直接这么做，什么有趣的事情都不会发生，它只是学到了恒等函数，完全没意义。

用VAE来学图像表征，能得到一些东西，但效果真的不好。稀疏自编码器也一样。

还有一类技术，叫denoising auto encoder，MAE是它的一个变体，BERT在NLP里也是类似的思路。你把图像损坏一部分，然后训练神经网络恢复原始图像。

FAIR曾经有一个大项目做这件事，投入了大量计算资源，结果非常令人失望。

但同时，一些相同的人和巴黎、纽约的其他人，在做另一套技术，用的是非生成式架构。

你拿一张图像，损坏它，把两个版本分别送入编码器，然后用一个预测器，从损坏版本的表征去预测原始版本的表征。

这就是JEPA。一个编码器对一个观察编码，另一个编码器对另一个观察编码，然后用一个预测器从第二个的表征预测第一个的表征。

当下具身模型的问题

主持人：现在很多机器人公司发布的demo越来越impressive，似乎展示了某种规划和推理能力，即使面对没见过的房间或任务版本也能执行。你怎么看？

LeCun：确实有真实的进展，有些demo确实令人印象深刻。但这些系统需要海量的数据来训练，要么通过遥操作采集，要么通过人手握着夹持器操作来收集……

主要靠模仿学习训练，加上一点在仿真中做的强化学习。

问题在于，模仿学习需要大量数据，而且对每个你想让机器人完成的任务都要单独收集数据，成本高、也比较脆弱。

而如果系统有一个世界模型，能预测动作的结果，它就可以直接规划行动去完成一个新任务，不需要专门为这个任务训练。

世界模型带来的泛化能力要大得多，用更少的训练数据就能覆盖更宽的任务谱。

任务之间确实有协同效应，你训练系统完成的任务越多，它学新任务需要的数据就越少。

但世界模型的希望是，能zero-shot解决新任务。目标是用很少甚至零训练数据就能解决大量问题，也许加一点RL风格的微调就够了。

人类完全有这个能力，很多动物也有。

一个17岁的孩子学开车只需要十几二十个小时。我们有几百万小时的驾驶数据，到现在还没有L5的自动驾驶。

模仿学习连自动驾驶这一个任务都搞不定。

主持人：有一种思路是用视频模型生成大量合成数据来做仿真，即使物理上不完美，也能改善机器人在真实世界的表现。你怎么看？

LeCun：还是那个问题，为什么17岁的孩子20个小时就能学会开车？

你不需要几百万小时的示范数据，也不需要合成数据。

如果我们破解了这个问题，就不需要生成数据了。

可能仍然需要在仿真中训练，但不需要现有系统所需的那种数据量和试错次数。

硅谷的羊群效应

主持人：一个有意思的点是，如果你是OpenAI，你知道某个东西继续scale就会继续变好，那从商业角度看，你并没有太大的动力去做数据效率更高的事情。

LeCun：其他公司也没有动力做不一样的事，谁都承受不起落后于对手的代价。这是一种硅谷的羊群效应，所有人都在挖同一条战壕。

这也是为什么我把AMI的总部设在了巴黎，美国办公室在纽约，不在硅谷。

主持人：你最兴奋的AMI技术的应用方向是什么？

LeCun：AI for the real world。家用机器人、L5自动驾驶。

主持人：我什么时候能有一个家用机器人？

LeCun：这还要好几年。尽管有大量公司在造机器人，但没有一家真正知道怎么让它们足够聪明。

主持人：也不能信任它们在有婴儿的家里工作。

LeCun：那肯定不行。即使是相对窄的制造业任务，靠模仿学习也只能处理少数几个任务，没有人真正知道怎么让它们可靠地工作。

短期来看，工业领域有海量的应用场景。

你需要一个智能系统能预测如果我改变这个复杂系统上的某个控制变量会发生什么。喷气发动机、化工厂、发电厂、生产线、人体、人体细胞……

这些系统复杂到无法用少数方程来建模，传统的建模方式行不通。

你需要做的是用深度学习从数据中训练出一个模型来捕捉这个系统的动态行为。得到的就是一个现象学模型。

如果它是action-conditioned的，那你就得到了一个这个系统的世界模型，可以用来做最优控制。

这类应用的数量是惊人的。

主持人：你觉得JEPA模型在接下来几年会发展到什么程度？

LeCun：五年吧。

五年内，完全统治世界。

主持人：好的，五年统治世界。（笑）

LeCun：开玩笑的。

这话是引用Linus Torvalds。当年有人问他Linux的目标是什么，他说total world domination。他确实做到了。

但我确实认为JEPA类世界模型就是未来智能系统的蓝图。

LLM还会有一小块位置，作为语言接口。

但我们在设计的是能思考的系统。它们一开始可能不会说话或听，但它们会思考，然后你可以在上面再加说话和听的能力。

主持人：你之前就有过这样的经历，在神经网络上做了一个极其逆共识的押注，最终被历史证明正确。

你觉得这次，在什么时间内，大家会意识到你又对了？

LeCun：我觉得会比预期来得更快。

很多人意识到VLA不行，LLM处理不了真实世界的数据。范式转换的认知正在发生。到2027年初，这会变得对所有人都完全显而易见。

Tapestry

主持人：换个话题，聊聊你在做的Tapestry。

LeCun：这个跟AMI Labs有点正交。

主持人：好像光AMI还不够你忙的。

LeCun：这是我过去三年左右慢慢形成的一个想法。

人们越来越多地使用AI助手来做各种事情，传统搜索引擎的使用量在下降，大家都直接问自己的AI助手。

如果Meta和其他公司开发的智能设备计划实现了，比如智能眼镜之类的，你基本上就是通过语音跟你的AI助手对话。你所有的信息获取都将由AI助手来中介。

那么问题来了。

如果你是中美以外国家的人，你用的AI助手是硅谷或者北京公司做的。其实不太好。

你说的语言，根本没有被认真对待。

你的文化，这些做AI的公司不理解。

你的价值观，在互联网上公开可用的训练数据里几乎没有体现。

怎么解决这个问题？

你需要一个平台，基于一个开放的、免费的基础模型，Llama那种风格的，任何人都可以微调，去适配特定语言、特定文化。

这就是Tapestry的核心。全球的贡献者参与训练一个全球模型，这个模型本质上是全世界知识和文化的存储库。

贡献者贡献的是数据和算力，同时保留对数据的控制权。他们不需要把数据分享给其他贡献者。他们贡献的是参数向量。

这是一种联邦学习的思路。

一堆数据中心，每个拿到一个全局共识模型的参数向量，可以把它理解为所有贡献者参数向量的平均。所有贡献者定期通过一个中心服务器交换参数向量。

本地worker在更新自己的参数时，同时尽量让它接近全局共识向量。随着训练推进，所有参数都收敛到一个共识模型，它就相当于在所有数据上训练出来的效果。

现在你有了一个开放模型，效果跟在全世界数据上训练过一样好。然后你可以针对自己的目的去微调。

我认为有一种自然的力量会推动这件事发生。

AI正在快速变成一个平台，平台有自然走向开放的趋势。

Linux就是这样，互联网的软件基础设施也是这样，无线网络也是这样。一开始都是私有的，后来全被开源替代了。

OpenAI就是下一个Sun Microsystems

主持人：这确实是一个很聪明的方式来对抗开源萎缩的趋势。很多人担心闭源模型越来越强，会被用来训练下一代，形成一种闭源的逃逸效应。

LeCun：还记得1996年互联网基础设施的大玩家是谁吗？

Sun Microsystems、HP、Dell。Sun给你搭配Solaris和他们的私有硬件，HP搭配HP-UX。

Unix比Windows可靠多了，你不会在Windows上跑web server。

但现在谁还在用Windows NT跑web server？全部被Linux干掉了。整个互联网跑在Linux上，连Azure都是，微软自己都是Linux。

所以今天的OpenAI、Anthropic，就是昨天的Sun Microsystems和HP-UX。

主持人：这背后隐含的是你对这些模型能力上限的判断，开源迟早能追上来。

LeCun：它们已经用完数据了。

公开可用的、有价值的文本数据已经全部用完了，没有更多了。这些公司在做的就是购买商业版权数据的授权，或者用合成数据训练。

主持人：但过去几年确实有一些impressive的结果，是在大规模预训练之后取得的。IMO金牌、各种benchmark持续提升。

LeCun：这个很有意思。

想想这两个领域，数学和代码。这两个领域的共同点是什么？

语言本身就是推理的载体。不是唯一的载体，但当你在纸上做形式化的数学推演时，你操作的就是语言，LLM在这上面确实很强。证明定理之类的，LLM很擅长。

但LLM不太擅长提出好的概念、好的定义。创造性的行为，LLM做不到。数学不只是解题，大部分其实是创造性行为。

代码也一样。

LLM是好的程序员，但不是软件架构师，不是计算机科学家。它们能帮我们写代码，但还替代不了人类。

它改变的是人类的角色。

人类现在往抽象层级上走一层，我们的工作是决定造什么，而造的过程可以让LLM帮忙。

主持人：LLM需要做到什么才能说服你改变看法？

LeCun：zero-shot的agenting。

给它一个全新的问题，它没有被训练过解决这个问题，没有针对它的脚本。它能不能完成这个从未训练过的任务？

除非这个系统有预测行为后果的能力，并且能用这个能力来做规划。

也许一个被大幅增强的LLM可以，加上了搜索和规划能力的那种。

目前做数学的LLM其实已经在做这件事了，它们搜索能完成特定任务的token序列，可以跑代码或验证证明是否正确，所以有一种方式来检查输出是否正确。

但这不是一种高效的规划方式，而且只在token空间里能做搜索的领域有效。

我说的JEPA，不是在token空间做这件事，是在抽象思维空间做。

主持人：可能有些听众会想，就算效率低，在token空间能work的事情已经覆盖了经济中很大一部分了。

LeCun：对。

LLM擅长什么就用它做什么，这完全没问题。

我只是说，它不是通往AGI的路。而通用AGI能覆盖的领域会相当巨大。

主持人：听起来你觉得LLM在成为软件架构师之前就会到达天花板。

LeCun：它不会到天花板。但它在越来越多的应用场景中部署起来会变得越来越困难，因为每个场景都要收集大量训练数据。

而且你没法让这些系统完全可靠，没有幻觉，没有危险行为。

为什么与Hinton和Bengio分道扬镳

主持人：你和另外两位图灵奖得主共享这份荣誉。但他们似乎对LLM的潜力，或者说潜在威胁和安全风险，看法完全不同。你们是什么时候开始分歧的？

LeCun：2023年。

主持人：什么驱动了这个分歧？

LeCun：不是我改了主意，是他们改了主意。

Hinton之前根本不这样，他从来没有特别关注过LLM。

结果2023年GPT-4出来的时候，他突然顿悟了：

天哪，这些系统已经非常接近人类水平的智能了，它们可能有主观体验。

我知道他的想法大概是这样的——

人类皮层大约有160亿个神经元。

如果你想做某种类似反向传播的事情，大脑不是直接做反向传播的，但如果它做某种梯度估计来优化某种目标函数，你大概需要一个几个神经元组成的电路来复现一个虚拟神经元的功能。

所以假设你需要10个真实神经元来复现一个反向传播神经元的功能，那你的皮层就只相当于16亿个神经元。

然后他推理得出：

天哪，GPT-4已经很接近这个数了！也许它会变得跟人一样聪明。

我完全不认同这个说法。

我感觉他就是想摆烂了，然后到处去做关于AI的希望和危险的演讲。

好了，我可以退休了，我可以宣布胜利了。 我一辈子都在寻找皮层的学习算法，也许我没有发现它到底是什么，但反向传播似乎是一个不错的替代品，它work得很好。 嗯嗯，这就是我们需要的，我可以退休了。

(笑)

不过他现在关于AI危险的声音比一两年前小多了。

我觉得他意识到了几件事。

第一，现在的LLM没那么聪明。

第二，在达到人类水平的智能之前，还需要一些概念性的突破。

第三，这些系统的蓝图会跟LLM很不一样，而且我们很可能有办法让它们可控。

我早在几年前就说过这些事，Hinton最近才意识到。

Bengio的情况类似。

我觉得他们两个真正担心的，是社会体系能不能确保AI的好处被最大化，确保AI不会只是加剧不平等。

这不是那种AI统治世界的末日场景，更多是坏的使用者的问题。

LLM本质上是不安全的

主持人：但这个风险光靠今天的LLM就已经存在了。

LeCun：确实。但我不认为它像一些人声称的那么末日。肯定不像Anthropic声称的那么末日。

Anthropic在试图用恐惧来推动AI监管。我完全不认同这种做法。

主持人：他们看起来是真的相信。

LeCun：我觉得他们确实真的相信。但我也觉得，他们有一些很好的商业理由去相信这些。

主持人：说到这些新架构，你对LLM不是终局这件事很确定，但你自己对新架构的时间线也相当激进。你怎么看这些新架构如果真的带来突破，安全方面的问题？

LeCun：我要说一个可能有争议的话。我在Meta的同事肯定不会喜欢我说这个。

LLM不能被做到可靠，因为你没法阻止它们产生幻觉。

主持人：按你这么说，它们能完成那些15个小时的编程测试不让你意外吗？

LeCun：代码是一个你能验证的领域。你生成的代码是否满足specification，这是可以检查的。

但不是所有事情都是代码。已经有编程agent把你的硬盘给清了的例子，或者做了蠢事让你损失了大量数据或金钱。

你给一个prompt，它完成对应的任务，但仅限于训练让它学会了对这个prompt做正确的事。没有任何硬性约束强制它完成这个任务，也没有机制让它预测任务是否被正确完成。

而且它们没有常识。一个月前流传的那个洗车笑话，我两周前又试了一遍，所有模型都说你应该走路去。除了Gemini。

主持人：那Gemini大概是训练的时候用了你之前讲这个例子的视频。

LeCun：不是我的视频。不是我发明的这个例子。但确实有这种情况，我说LLM做不到某件事，六个月后它就能做了。

原因很简单，我在播客上说了LLM做不到这件事以后，所有人当然会去ChatGPT上打这个问题。于是它就变成了训练集的一部分。下一个版本当然就能回答了。

但这不是因为它突然变聪明了，只是因为它被这个问题训练过了。

我不认为在当前范式下有办法修复这个问题。

我提出的架构是objective-driven AI。你给一个AI系统一个目标，就是完成这个任务。

系统怎么知道它会完成这个任务？

它有一个世界模型，它预测一系列想象中的行动的结果。

如果这个结果满足一个cost function，描述任务完成到什么程度。那么这个系统通过优化来工作，找到一个能完成任务、最小化cost的行动序列。

当然还有很多可能出错的地方。

cost function可能不准确，你以为它在衡量任务完成度，但也许不准。

世界模型可能不准确，系统对行动后果的预测可能是错的。

这个系统仍然会犯错，但它至少能在某种程度上预测行为的后果，我认为这对任何agentic系统都是不可或缺的。

你还可以在这个系统上不只加一个保证任务完成的cost function，还可以加一堆其他的目标函数、cost function，甚至是约束条件。

你可以在抽象层面指定这些，也可以有底层的目标函数，组合起来保证系统不会危险。系统从构造上就不能违反这些条件。

LLM做不到这一点。

LLM总是能逃逸。训练误差和测试误差之间总有gap，总会存在某个prompt让系统做出非常愚蠢的事情。

主持人：能不能聊一个具体领域。现在也有很多人在医疗领域用LLM。LLM在医疗里做不到什么，需要一个真正理解世界的模型？

LeCun：比如为慢性病患者设计治疗方案，甚至非慢性病也一样，特别是当这个患者的情况不完全符合你之前见过的模板时，如果你有一个好的关于患者生理动态的心智模型，你可能能设计出一个真正能把患者带到好状态的治疗方案。

患者也可以是一个细胞。

怎么让一个干细胞变成能产生胰岛素的胰腺beta细胞？

一个1型糖尿病患者，免疫系统攻击了自己的beta细胞。怎么持续制造beta细胞？

你有没有一个人类细胞的模型，能让你搞清楚需要给干细胞发什么序列的信号，让它变成beta细胞？

LLM能做的是复述你能在书上读到的知识。

但你不能只靠读书当医生。你得做住院医培训，得会听心脏，按肚子，才能做诊断。

为什么离开Meta？

主持人：你在Meta待了十多年，建了一个世界上最受尊敬的研究实验室。最近离开了。回顾那段时间，你觉得做对了什么，做错了什么？

LeCun：做对的事情是，建了一个顶级研究实验室，真正做出了创新，产出了大量基础方法、科学成果和工具，比如PyTorch。

还有一种开放的、尊重科学过程的文化，我认为这对突破性创新是必要的。

创新有一整条链条。最前端是蓝天研究，全新的概念，大部分发生在大学里，少部分发生在工业界的高级研究实验室里，这样的实验室一只手数得过来。

Google有一个好的，FAIR曾经是一个好的。希望它还会继续是。

然后下一步是，这是个好想法，让我们推进看看它能不能变得有用。

但仍然是研究层面的意思，我们不会自欺欺人只找一个对这个问题work的方案，我们要看这个技术能不能被推进到practical，不一定是产品级别的，但至少能证明它在某个任务或benchmark上打破了记录。

再下一步是公司说，好了，我们要投入大量工程力量把这个推向前。

这一步是大量项目失败的地方，也是很多公司掉链子的地方。

Meta在这方面其实还不错，但远非完美。

部分是组织问题。

你需要一个离研究很近、但又不完全是产品组织的团队来接力。不是那种三个月deadline出产品的组织，而是能继续往前推技术的。

我们曾经有过这样的组织，后来丢了。FAIR在公司里变得孤立，有很多想法没人接。

2023年Gen AI组织成立，从FAIR抽了60到70个科学家和工程师，后来规模扩大了。

但它面临太大的短期压力，没时间跟FAIR交流。结果本来应该在LLM上保持前沿和创新的Gen AI，只能聚焦短期目标，变得非常保守。研究和产品之间出现了gap。

主持人：Llama 4就是这样的情况吗？

LeCun：甚至从Llama 3开始就是了。Llama 1是2022年到2023年初FAIR内部的一个小项目。

然后Gen AI组织成立，Llama的人被调了过去，开始做Llama 2。

接着一批人意识到，我可以出去创业。

这就是Mistral的起源，Llama 1的两位作者和一个来自Google的人一起创办了Mistral。

那段时间，不少人离开了Meta。

接手了Llama后续工作的Gen AI组织面临巨大的短期压力，变得非常保守。

有来自领导层的压力，也有团队自身的问题。事情出问题的方式有很多种，你没法归咎于某一个人。

主持人：现在很多组织都面临这种短期压力。你觉得像当年FAIR那样的纯研究环境，在今天的行业里还有可能存在吗？还是说唯一的出路就是离开、自己开公司？

LeCun：我觉得Google Research和DeepMind内部还有少数地方是真的在做研究。但整个行业越来越封闭了。

Google在收紧，Meta和FAIR也在往同一个方向走。现在对发表论文有了更多限制，如果你做的东西中期来看跟公司业务相关，他们会告诉你不要公开讨论。

这种氛围对突破性研究是不利的。

很遗憾，因为要获得突破性研究其实很简单。就雇最好的人，这些人有嗅觉，知道该做什么项目。

你给他们成功所需的资源，然后……

滚开，别挡路。

回望FAIR

主持人：这对更广泛的研究社区意味着什么？FAIR的遗产之一是培养了大量研究者，他们现在遍布整个生态系统。但现在进入这个领域的年轻人，可能一上来就被扔进短期导向的环境。

LeCun：愿意跟我一起工作的人，通常有两个特点。

一是足够疯。

二是认同一个理念，就是在学术界读PhD期间，你应该做下一代AI系统，不应该做当前这一代。

如果你现在在学术界做LLM，说实话非常无聊。基本上就是研究LLM为什么work、怎么work、局限性是什么。这是描述性科学，没什么创造性。没意思。

而且如果你真想用LLM做新东西，你在学校根本拿不到需要的GPU。

所以算了。

如果你在读PhD，别做LLM。没有意义，你做不了贡献。

主持人：你怎么知道是时候离开Meta了？

LeCun：是多种因素的组合。

很多人对我在Facebook和Meta的角色有完全错误的认知。我2013年底加入，真正开始是2014年初。头四年半我是FAIR的director，我建立了FAIR的组织架构，确立了文化，雇了核心的人，管理整个团队。

四年半后我从这个角色退下来了，变成了Chief AI Scientist。

一方面，快六十了，我就是不想做管理了。我愿意做一阵子来把组织建起来，但我不擅长这个。

我更像是一个科学或技术上的visionary，一个engineering scientist。

成为Chief AI Scientist之后，我向CTO汇报。开始推进一个我认为必要的研究项目，因为FAIR的野心一直是构建智能系统。我管FAIR的时候把自己的研究搁置了，没时间做。

当时我已经形成了一个概念，这个架构会基于自监督学习，基于从感知信号比如视频中做预测。这些就是世界模型的想法。

2016年我在NeurIPS做了一个keynote，说AI研究应该走这个方向，世界模型，预测行为的后果，然后规划。

我说RL不会带我们到那里，因为太低效了。监督学习已经显示了它的局限。未来是自监督学习和世界模型。

那怎么做自监督学习和世界模型？

我启动了几个项目，有些方向没走通。做了一些视频预测的工作，然后形成了这个概念：

你可以在视频上做自监督训练，但必须让系统在表征空间做预测，而不是在像素空间。

这就是JEPA的核心想法。

这个想法大概在2020年成形。2022年我写了一篇很长的vision paper，把我的整个愿景都写出来了。把所有秘密都摊开，我不在乎。我希望这能把一批人拉到这个方向上来。

确实work了。

不仅吸引来了一批学生，在NYU和巴黎的，因为他们想做这个方向。

FAIR内部也有一整个团队说，这就是我们想做的。然后Joelle Pineau说，这应该成为FAIR的一个重大使命，我们管它叫Advanced Machine Intelligence。

主持人：然后他们让你带着这个名字出去创业了。

LeCun：对。扎克伯格读了那篇论文，知道它在说什么，认同这个项目。CTO Andrew Bosworth也是，前CTO也是，CPO也是。领导层对这个项目有很多支持。

但后来公司把所有精力重新聚焦到LLM上了。

尽管有领导层的支持，下面的层级不太买账。

而且JEPA世界模型的应用，虽然在可穿戴智能体和机器人方面有场景，但Meta机器人研究组被砍掉了。

所以这个环境不对了。

JEPA的大部分应用场景在Meta不感兴趣的工业领域。FAIR越来越被要求去帮LLM的忙。

主持人：Scale AI的收购是不是这个纯LLM聚焦的催化剂之一？

LeCun：肯定是的。可能还有其他原因。我不确定我有足够的内部信息来评论，但有可能扎克伯格在亚历山大王身上看到了某种接班人的影子，一个更年轻版本的自己。

主持人：很多媒体叙事是说亚历山大王来了以后，纯研究组织就更难运转了。

LeCun：这里有一个很大的误解，关于我的角色、我跟亚历山大王的关系，以及AI在Meta是怎么运作的。

我对Llama的技术贡献是零，完全没有。我对Llama的唯一贡献是力主开源Llama 2。

当时内部有很大的争论。这是一个非常高层级的讨论，每周两小时，从扎克伯格往下大概40个人，持续了好几个月。

我和Boz都非常明确地主张，安全风险被夸大了，创造一个产业的机会非常大，开源Llama 2会启动整个AI产业。事实证明确实如此。

但Llama本身，我的技术贡献是零。我既没有推动它，也没有阻碍或拖慢它。

FAIR内部有很多人在做LLM，这很好。我从来没有反对过，只是说这不是通往人类水平智能的路。但它有用，跟语音识别或翻译一样有用。

特别是2018年我从FAIR director退下来以后，我对别人在做什么没有直接影响。我只是发表我的愿景，然后把人拉到我的项目上来。

他们跟我合作是因为他们愿意，不是因为我是他们的老板。

到了2024年初、尤其是2025年，FAIR的走向和管理方式已经不符合我认为保持创新、研究和突破所需要的条件了。

很多优秀的人都走了。

播客链接：
https://unsupervised-learning.simplecast.com/episodes/ep-86-yann-lecun-on-leaving-meta-breaking-the-llm-paradigm-why-hinton-is-wrong-rZ6fpa_8

参考链接：
[1]https://x.com/jacobeffron/status/2055279354821607551

阅读最新前沿科技趋势报告，请访问21世纪关键技术研究院的“未来知识库”

未来知识库是 “21世纪关键技术研究院”建 立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）