Ilya左膀右臂被Claude团队挖走！给他奥特曼砍掉的超级对齐算力

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

刚从OpenAI愤而离职的RLHF发明者之一Jan Leike，宣布加入Anthropic。

就在十多天前，追随Ilya Sutskever的脚步，Jan也和他俩共同领导的超级对齐团队说了拜拜。

现在，Jan的去向落定，迅速加入Claude团队Anthropic。

至于职务嘛，与他在OpenAI超级对齐团队干的活类似：

我将在Anthropic继续执行超级对齐任务！
新团队将致力于可扩展监督、从弱到强的泛化和自动对齐研究。

有意思啊有意思，要知道，Anthropic创始团队也是当年从OpenAI“叛逃”出来的。

当年，曾任OpenAI研究副总裁的Dario Amodei等人，由于对OpenAI商业重点、与微软的关系远近、对安全的重视程度等存在分歧，毅然决然组团出走。

这才有了今日可以与OpenAI相抗衡的Anthropic，才有了打破GPT不可战胜神话的Claude 3。

Jan的官宣推特底下一片恭喜声，甚至有人形容Jan加入Anthropic带来的价值，“就像金门大桥为旧金山增加价值一样——他将帮助拨开AI安全研究的迷雾”。

当然也有人担心，过于注重AI安全会让模型实用性下降：

“恭喜恭喜！从今以后Claude就会变得平庸无奇没啥用了，毕竟GPT-4o发布之前（超级对齐两位领导人离职前）的ChatGPT就是这样。”

但Anthropic内部员工倒是挺开心的，甚至有人公布了自己内部的“玄学”：

过去的日子里，他们每周都要拜一下Jan，期望他保佑对齐研究顺顺利利。

Anthropic创始成员、ChatGPT前身InstructGPT的参与者Amanda Askell，还去向Claude“求签”了。

答案是：

Claude也很欢迎Jan的到来～

痛快加入OpenAI最强劲敌

今天凌晨，Jan Leike发布推特，宣布成为Anthropic的一员。

此时距离他追随Ilya离开OpenAI，刚好过去14天。

加入Anthropic后，Jan的目标很明确：

继续执行超级对齐任务，主要包括可扩展监督（以可预测和理想的方式控制大规模AI行为的技术）、从弱到强的泛化和自动对齐研究。

来自TechCrunch的消息，Jan将直接向Anthropic首席科学家Jared Kaplan汇报。

而目前Anthropic正在研究可扩展监督的团队，将转向Jan汇报。

一直以来，由OpenAI的11名出走员工打造的Anthropic，经常在各种场合强调自家对安全性的高度重视。

尤其是比OpenAI更安全。

不过一些团队成员提起过，走高度重视AI安全这条路，经常会因为与OpenAI带领的主流路线不一致而走得不太顺。

现在看来，在超级对齐这件事情上，两家大模型巨头也确实侧重有所不同。

就在Ilya和Jan离职后没几天，OpenAI就解散了他俩曾经共同领导的超级对齐小组。

超级对齐概念在去年7月被提出，OpenAI原本的打算是花费4年时间打造一个超级对齐系统，旨在构建一个能够与人类水平相媲美的自动对齐研究器。

当时的对外宣布，是说会在这事儿上投入20%的计算资源——当然了，Ilya离职时有内幕曝光，超级对齐团队的计算资源经常被卡……

超级对齐小组解散后，OpenAI悄悄招募了一个安全相关的团队。

这个团队名叫Indent，是一家数据安全初创公司。

值得一提的是，这家公司是OpenAI首席执行官奥特曼的老相识了：2021年时，奥特曼参与了Indent约560万美元的种子轮融资。

不过，Indent这股新鲜血液，并不是OpenAI用来补充超级对齐人员流失的后备军。

根据Indent团队在X上发布的信息，他们的职责范围主要还是保障数据安全。

同时，就在昨天，OpenAI成立了一个新的安全委员会，由奥特曼等高级管理人员领导。

该委员会将向公司董事会推荐“OpenAI项目和运营的安全决策”。

最强模二代

话说，Jan刚加入的Anthropic，可以算得上大模型时代的最强“模二代”。

它一整个就是复仇者联盟配置——

核心创始团队：

11名OpenAI前员工，因不满老东家成为微软附庸、不够重视安全问题怒而出走。

投资队伍：

初期有OpenAI老对头，又被ChatGPT的出现杀得措手不及的Facebook联创Dustin Moskovitz，谷歌前CEO、现技术顾问Eric Schmid。

今年3月，亚马逊完成了对Anthropic共40亿美元的重注。

这样的配置，让团队在今年3月打破GPT系列不可战胜的神话，旗下Claude 3榜单性能跑分全面超越GPT-4，成为首个全面超越GPT-4的产品，坐上了全球最强大模型新王座。

转观国内市场，这样从大厂大模型团队/大模型创业公司出走创业的情况也不胜枚举。

最近这段时间最有热度的就是字节跳动杨红霞离职创业一事。

杨红霞起初是阿里达摩院的一员，是超大规模多模态预训练模型的技术负责人，也是相关模型进化到万亿规模的主要推动者。

去年3月，杨红霞加入字节AML（机器学习系统）团队，任字节跳动大语言模型研发技术专家，在美国西雅图从事大语言模型的研发。

她的汇报对象，是字节跳动AML和豆包大模型Foundation团队负责人项亮。

近期又有消息曝出，杨红霞已于近日从字节跳动离职，并开始筹备AI创业项目。

这就能看出国内外模二代的不同之处——Anthropic下场时间很早（甚至是ChatGPT爆火之前），而国内基座大模型市场份额基本已经被大厂和五虎等瓜分。

因此，选择出走另谋出路的朋友们，往往和杨红霞一样，选择投身更具体的AI细分领域施展抱负。

量子位从市场获悉的消息如下：

△或有缺漏与误传，欢迎评论区留言指正

当然了，除了出走大模型创企/大厂团队，自己躬身创业的有识之士，也有像当初杨红霞一样，选择加入现有头部玩家的AI届大牛。

譬如，不知是否受近期微软中国区人工智能团队“轮岗海外”的事件影响，微软资深首席研究员段楠，被曝已经离开MSRA（微软亚洲研究院）。

去往何处？

量子位打听到，段楠已经加入了大模型创业公司的最神秘玩家阶跃星辰。

无论是OpenAI、Anthropic，还是国内大模型头部玩家，它们之中人员或多或少的洗牌，带给大模型创业市场的，是更新的血液，也是你追我赶局面的最强助力。

参考链接：
[1]https://x.com/fouadmatin/status/1793350695476933108
[2]https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/?guccounter=1
[3]https://x.com/kipperrii/status/1795506990137139468
[4]https://x.com/janleike/status/1795497960509448617/quotes