北京
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
字节跳动大模型团队，又添一员大将。
据智能涌现消息，Google DeepMind研究副总裁、Google Fellow吴永辉已离开谷歌，加盟字节Seed。
吴永辉，南京大学校友，博士毕业于加州大学河滨分校，2008年博士毕业就加入了谷歌，司龄近17年。
他是谷歌神经机器翻译项目及Rank Brain项目的主要贡献者之一。在2023年谷歌大脑和DeepMind合并之后，他也参与到了谷歌大模型Gemini的研发工作当中，Gemini 1.5论文显示，他是Core Contributor之一——
这意味着他在对Gemini项目有着重大影响。
根据Google Scholar，吴永辉的论文引用量已超5万，h-index达到72。
谷歌L10，Gemini核心贡献者
具体来看吴永辉的履历。
吴永辉2001年本科毕业于南京大学计算机科学专业，毕业后加入微软。
在微软工作3年后，他重返学校，前往加州大学河滨分校深造，4年时间获得CS博士学位和统计学硕士学位。
博士毕业后，吴永辉就加入了谷歌，至今已近17年。
谷歌大脑时期，吴永辉的研究围绕语音展开，主要研究方向包括ASR（自动语音识别）、NMT（神经网络机器翻译）、TTS（语音合成）、语言建模和排序等。
他的最高引论文就产出于这一阶段：
论文提出了谷歌神经机器翻译系统GNMT，基于Ilya的Seq2Seq框架和注意力机制，研究人员们解决了当时神经机器翻译训练、推理成本高昂，以及处理罕见词时存在困难等主要痛点。
在当时，GNMT相较于过往的短语翻译系统，翻译错误减少了超60%。
到了2023年，为应对ChatGPT掀起的大模型风暴，谷歌旗下两大顶级AI团队谷歌大脑和DeepMind合并。吴永辉也就此参与到Gemini的研发工作当中。
领英显示，吴永辉在此阶段已升任为谷歌研究副总裁、Google Fellow。
所谓Google Fellow，对应的是谷歌职级当中的L10——
这通常被视作谷歌的最高职级，在此之上的L11，公开资料显示就2个人：Jeff Dean和Sanjay Ghemawat。前者是谷歌首席科学家，后者是美国国家工程院和美国艺术与科学院（AAAS）院士，二人被认为为谷歌的技术创新和发展做出了不可磨灭的贡献。
具体到Gemini的相关论文中，吴永辉的名字出现在“Gemini App总体技术负责人”一列。
Gemini 1.5则将其划分为“核心贡献者”。
根据爆料，加入字节后，吴永辉将担任大模型团队Seed基础研究负责人，专注于偏长期的研究探索工作，直接向CEO梁汝波汇报。
值得一提的是，今年1月，字节跳动刚刚启动了代号为Seed Edge的AGI长期研究计划，提出核心目标“做比预训练和大模型迭代更长期、更基础的AGI前沿研究”。
Seed Edge的5大研究方向包括：
- 下一代推理：探索更高效且更通用、提升模型推理能力的方法。
- 下一代感知：找到统一生成和理解表示的方法，表示和压缩真实世界，构建 “世界模型”。
- 软硬一体的模型设计：从软硬一体出发，探索Transformer+GPU之外的模型设计，发挥下一代硬件的能力。
- 下一代范式：在反向传播、Transformer架构、预训练+对齐的模式之外，探索更高效的模型结构和学习方法。
- 下一代Scaling方向：在预训练和推理阶段的Scaling Laws之外，探索Multi-Agent（多智能体）和Test-Time Training（测试时间训练，动态调整模型参数）等方向。
而在2月13日的字节跳动全员会上，梁汝波也提到，以AI业务为例，今年最重要的三个事情是：探索智能上限；探索新的UI交互；加强规模效应。
AI是一场马拉松，现在还很早，只是前500米。我们希望团队的心态是既进取，又耐心。
或许吴永辉的加入，是这种进取和耐心的最新具象化体现。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
