北京
来源：雷锋网
据雷峰网独家获悉，一位 Google Gemini 的预训练专家，于近期已加入国内某互联网大厂。
该研究员在 Google 的职级或是 L7- L8，接近总监级别，长期在英国工作，入职后主要从事预训练相关工作，也经常往返国内出差。
一位知情人士看来，这可能是国内大厂这一轮争抢 Gemini 人才以来，第一次真正“找对了人”。
上述人士告诉雷峰网，此前多家大厂均从 Gemini 引入过人才，但部分人选并未触及核心。
他们之中，或只参与预/后训练边缘环节，或是只从事管理工作，职责却并不覆盖预训练最为核心的内容。
01
BAT 挖角 Gemini 人才
害怕在预训练上犯错
去年底，国内基模团队对海外 AI 人才的关注，明显向“预训练”靠拢。
一位业内人士告诉雷峰网，以前国内大模型的主线是追赶规模——堆算力、堆数据；但堆数字的做法很快就碰到了 Scaling law 的天花板，性能提升变得愈发困难。
而真正拉开差距的，是预训练阶段的技术路线选择、数据分布策略以及一二阶优化器的应用方法。
每一个策略上的微小失误，都会在时间和算力资源上造成巨大浪费。譬如，各大厂及Kimi、智谱等明星大模型公司，光在预训练优化器选型上，内部就有诸多分歧，各家的优化策略也截然不同。
而这类“提升”和“避坑”经验，很多并不写在论文里。比如，一种优化方法理论上有效，但放到真实的大模型训练中，究竟什么时候用、怎么调整，可能需要经历完整的训练过程才能知道。不同训练方案之间怎么取舍，也很少会被完整公开。
多位大厂基模专家曾向雷峰网提到，在大模型团队内部，类似的技术路线选择，往往会受到团队过往经验影响。他解释道，此前参与 Scaling 相关工作时，就曾接触过多种训练技术，但一些方法最终并没有被完整采用，原因并不只是“技术行不行”，还包括对稳定性、风险和实际收益的判断。
于是，能把模型训到前沿水平的海外实验室，成了国内公司挖猎人才的首选目标。
Gemini 是其中最典型的目标。部分公司人员认为，Gemini 的技术底子够厚、人才密度够高，而 Google 庞大的组织和频繁的调整，恰好留出了挖人的窗口。
当时一些公司的思路很直接：既然自己的预训练遇到了瓶颈，那就去找已经把前沿模型训练出来的人。
但在真正接触之后，他们才发现，能掌握 Gemini 核心预训练的人少之又少。
02
为什么去 Gemini 硅谷大本营
挖人的策略是错的？
一开始，不少人的第一反应是去 Google 的硅谷大本营找。
毕竟 Google 的核心 AI 业务长期与美国科技产业中心紧密相连，OpenAI、Anthropic、Meta 等公司的核心团队也主要集中在美国。
但实际情况有点特殊，硅谷的 AI 预训练研究员告诉雷峰网，Google 有意把最核心的预训练人才留在 Deepmind 英国办公室，与硅谷的高曝光区隔开，以降低被“挖墙角”的风险。
再看国内。从今年7月入职腾讯的田永龙，到此前加入字节的吴永辉、乔思远，再到阿里的周浩等等，越来越多有 DeepMind 或 Gemini 背景的人，开始进入中国大厂。
外界看来，这样的履历足够有分量。但 Gemini 员工向雷峰网坦言，很多科学家都来自硅谷办公室，而非英国，因此并没有真正掌握 Gemini 预训练的核心方法，所以各家公司只能在预训练上摸着石头过河。
这也让一些国内公司意识到：如果目标是寻找掌握关键方法的 DeepMind 预训练人才，不能只盯着硅谷，天高皇帝远的英国办公室，才是藏龙卧虎之地。
而近期该互联网大厂的动作，从硅谷到伦敦，让高招目标正变得越来越具体。
（转载自雷锋网）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
