北京
鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI
离职的LeCun，反手就给Meta一记重锤：差评如潮的Llama4真的作弊刷榜了！
- 结果的确被篡改了一点。
为了更好的结果，团队对不同基准测试使用了不同的模型
都说别惹离职er，不止LeCun，田渊栋也在个人年终总结中透露了一点内幕。
- 明明是被拉来给Llama4救火的，事先预想了四种可能，结果小扎给了我第五种……
（扶额苦笑.jpg）
Anyway，至于离职后的打算，两位大神都不约而同地表示：
创业！
Llama4刷榜引发的离职潮
DeepSeek还是给小扎压力太大。
此前就有消息爆料，DeepSeek的横空出世，让Llama 4还没发布就被甩在身后，逼得小扎疯狂加码AI投资。
这一点也得到了LeCun的证实。
小扎确实慌了，对内push上强度，要求GenAI部门加速AI开发和部署，还拉来原FAIR团队的田渊栋救火。
结果就是，团队之间沟通直接破裂。LeCun他们想要做些新东西，但小扎更想要已经被验证过的、可以直接落地的技术。
真正的导火索则来自于Llama 4的惨败。
不仅输了，还因为排行榜造假名声大跌，于是小扎彻底对团队所有人失去了信心，并将他们全部边缘化。
这也直接导致Meta开启了团队大换血：一边天价从硅谷各个公司挖人，一边又大刀阔斧裁掉老员工们。
田渊栋及其团队则是被率先波及的一群人。
一月份被赶鸭子上架加入Llama 4，十月份Llama 4.5一训完就被卸磨杀驴。
这波田渊栋都得喊冤……
因为上头的压力，全组被迫放下手头正在做的工作，来Llama 4接烂摊子，距离发布ddl就剩2个月，还要处理所有dirty work。
为此，田渊栋那时还专门画了个2x2的回报矩阵，计算了下干这事的四种结局：
但老板都发话了，不得不干啊，田渊栋想着那就但求尽力而为，问心无愧吧。
结果哼哧哼哧干了几个月，小扎一个都没选，给了Plan E：不问责负责人，转头把田渊栋和组员们一脚踢了出去。
难怪田渊栋复盘这段经历时，也要来一句：
- 这也让我对这社会的复杂性有了更为深刻的认识。
不过好在田渊栋自己也想得开，他说自己已经待在Meta十多年了，最近几年更是抱着“公司快把我开了吧”的心态，所以也算是因祸得福吧，还给他接下来的小说创作提供了很多新素材（doge）。
（咳咳）言归正传，这几个月对于田渊栋来说，也不算一无所获，在强化学习训练的核心问题上他也有了些新的探索。
首先是大模型推理，继2024年底团队公开的连续隐空间推理（coconut）引发广泛关注后，团队继续通过理论工作Reasoning by Superposition进一步阐明了连续隐空间推理的优势所在。
与此同时，也分别从不同角度尝试提升模型推理效率：Token Assorted通过隐空间的离散token减少计算开销、DeepConf基于置信度提前终止推理、ThreadWeaver制造并行思维链加速推理，以及在不同规模模型中用RL学习推理能力。
在可解释性方面，研究聚焦于Grokking（顿悟） 这一特征涌现现象，从记忆到泛化的突变过程入手，试图解释模型究竟学到了什么、和输入数据的关系、能达到怎样的泛化，也就是打开模型的黑箱。
简而言之，对于被拉来“背黑锅”这事，田渊栋对老东家还是手下留情了，虽然你不地道，但我已经Let it go～
不过紧随其后离职的LeCun就没那么心软了，直接痛批Meta内部对LLM上瘾过甚，尤其是那些新挖来的超级智能实验室成员。
他点名批评亚历山大王：年轻且缺乏经验。
虽然学得快，但压根不懂研究，不知道怎么做、也不知道如何和研究员们共处。
在LeCun面前，这个27岁的年轻人，简直像个little baby。
但大语言模型并非他们所想象的那样美好，LeCun直言，LLM有用但本质受限于语言，夸张一点说：
- LLM是死胡同。
要实现人类水平智能，就必须了解物理世界的运作规律，也就是LeCun长期专注的世界模型，但Meta对此已经丧失了兴趣。
在研究路线上的分歧，也让LeCun不得不离开公司，开启自己人生的下一章——创业。
离开Meta做点啥？创业
LeCun的新公司名为Advanced Machine Intelligence（AMI），做的还是他心心念念的世界模型，而且all in开源。
不过据他自己透露，他只会担任新公司的执行主席而不是CEO。
- 我是一名科学家，我能激励人们从事工作，以及猜测哪项技术会成功，但我不擅长组织管理，也实在太老了。
LeCun将拥有和之前在Meta相同的研究自由度，而负责带领AMI的将交给法国医疗AI初创公司Nabla的联合创始人兼CEO Alex LeBrun。
他们将目光聚焦在V-JEPA架构上，试图通过学习视频和空间数据来理解物理世界，让AI完成规划、推理并拥有长期记忆，也就是他常说的高级机器智能。
LeCun预计将在12个月内，见证该项技术的初始版本诞生，并在最近几年内实现大规模进展，虽然它显然还远远称不上超级智能，但至少在通往AGI的道路上，它存在希望。
而作为LeCun的老下属，田渊栋也拒绝了大厂们纷纷为他抛来的橄榄枝，刚刚正式宣布创业！
具体细节暂时未表，但他表示：
- 乘着自己还年轻，去当一家新初创公司的联合创始人。
不管怎样，先安静地忙活一阵。
参考链接：
[1]https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2
[2]https://zhuanlan.zhihu.com/p/1990809161458540818
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
