吴永辉是谁？字节AGI计划一号位，谷歌AI扫地僧

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

字节跳动大模型团队，又添一员大将。

据智能涌现消息，Google DeepMind研究副总裁、Google Fellow吴永辉已离开谷歌，加盟字节Seed。

吴永辉，南京大学校友，博士毕业于加州大学河滨分校，2008年博士毕业就加入了谷歌，司龄近17年。

他是谷歌神经机器翻译项目及Rank Brain项目的主要贡献者之一。在2023年谷歌大脑和DeepMind合并之后，他也参与到了谷歌大模型Gemini的研发工作当中，Gemini 1.5论文显示，他是Core Contributor之一——

这意味着他在对Gemini项目有着重大影响。

根据Google Scholar，吴永辉的论文引用量已超5万，h-index达到72。

谷歌L10，Gemini核心贡献者

具体来看吴永辉的履历。

吴永辉2001年本科毕业于南京大学计算机科学专业，毕业后加入微软。

在微软工作3年后，他重返学校，前往加州大学河滨分校深造，4年时间获得CS博士学位和统计学硕士学位。

博士毕业后，吴永辉就加入了谷歌，至今已近17年。

谷歌大脑时期，吴永辉的研究围绕语音展开，主要研究方向包括ASR（自动语音识别）、NMT（神经网络机器翻译）、TTS（语音合成）、语言建模和排序等。

他的最高引论文就产出于这一阶段：

论文提出了谷歌神经机器翻译系统GNMT，基于Ilya的Seq2Seq框架和注意力机制，研究人员们解决了当时神经机器翻译训练、推理成本高昂，以及处理罕见词时存在困难等主要痛点。

在当时，GNMT相较于过往的短语翻译系统，翻译错误减少了超60%。

到了2023年，为应对ChatGPT掀起的大模型风暴，谷歌旗下两大顶级AI团队谷歌大脑和DeepMind合并。吴永辉也就此参与到Gemini的研发工作当中。

领英显示，吴永辉在此阶段已升任为谷歌研究副总裁、Google Fellow。

所谓Google Fellow，对应的是谷歌职级当中的L10——

这通常被视作谷歌的最高职级，在此之上的L11，公开资料显示就2个人：Jeff Dean和Sanjay Ghemawat。前者是谷歌首席科学家，后者是美国国家工程院和美国艺术与科学院（AAAS）院士，二人被认为为谷歌的技术创新和发展做出了不可磨灭的贡献。

具体到Gemini的相关论文中，吴永辉的名字出现在“Gemini App总体技术负责人”一列。

Gemini 1.5则将其划分为“核心贡献者”。

根据爆料，加入字节后，吴永辉将担任大模型团队Seed基础研究负责人，专注于偏长期的研究探索工作，直接向CEO梁汝波汇报。

值得一提的是，今年1月，字节跳动刚刚启动了代号为Seed Edge的AGI长期研究计划，提出核心目标“做比预训练和大模型迭代更长期、更基础的AGI前沿研究”。

Seed Edge的5大研究方向包括：

• 下一代推理：探索更高效且更通用、提升模型推理能力的方法。
• 下一代感知：找到统一生成和理解表示的方法，表示和压缩真实世界，构建 “世界模型”。
• 软硬一体的模型设计：从软硬一体出发，探索Transformer+GPU之外的模型设计，发挥下一代硬件的能力。
• 下一代范式：在反向传播、Transformer架构、预训练+对齐的模式之外，探索更高效的模型结构和学习方法。
• 下一代Scaling方向：在预训练和推理阶段的Scaling Laws之外，探索Multi-Agent（多智能体）和Test-Time Training（测试时间训练，动态调整模型参数）等方向。

而在2月13日的字节跳动全员会上，梁汝波也提到，以AI业务为例，今年最重要的三个事情是：探索智能上限；探索新的UI交互；加强规模效应。

AI是一场马拉松，现在还很早，只是前500米。我们希望团队的心态是既进取，又耐心。

或许吴永辉的加入，是这种进取和耐心的最新具象化体现。