晚点独家丨字节启动 Seed Edge，加码 AGI 研究

接近张一鸣的人士说：“他会关注 AI 技术细节，自己与顶尖 AI 研究者交流，鼓励字节 AI 人才自由探索。”

文丨贺乾明 王与桐

编辑丨程曼祺

2024 年下半年，市场曾传闻字节跳动正筹建“大模型研究院”。随后，字节回应称：“有加强大模型相关研究的长期计划，但并未决定建立独立机构。”

我们了解到，近期，字节跳动 AGI 研究团队终于浮出水面：

1 月下旬，字节正式设立代号为“Seed Edge”的研究项目，核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究，Seed Edge 已拟定 5 大研究方向。

中国大模型领域目前的一个优势是依托优秀的学习和工程能力，快速跟进行业最新成果：在相对确定的方向上，用更少资源、更高效率，开发出性能逼近甚至追平领先者的模型。

而 Seed Edge 的成立则是一个不同的信号，标志着字节这家中国互联网科技巨头正试图探索 AI 原创式创新：用更多资源和人才，摸索尚未确定的智能边界，逼近 AGI 的未来。

张一鸣重视 AI 研究投入，Seed Edge 设立 5 大研究方向

AI 是字节目前最看重的技术和业务方向。

接近字节的人士告诉我们，字节创始人张一鸣非常重视和强调加强 AI 研究投入，他会自己看论文，看技术关键细节，和一流 AI 研究者聊天、交流，并鼓励字节 AI 研究团队探索、研究基础课题。

我们了解到，在新加坡，字节有专门的研究团队协助张一鸣理解前沿技术、讨论研究规划，其中之一是新加坡国立大学原教授、字节研究员冯佳时。2023 年开始，他经常给张一鸣辅导。

一位投资人也曾告诉我们，2023 年底，他发现张一鸣开始一对一去拜访重要 AI 论文的作者，其中还有未毕业的博士生。

据了解，关于成立研究组织，字节酝酿已久。但在形成可行方案后，内部沟通并征集意见只用了一周。

有接近字节的人士称，面对 AI 变革：“字节是中国大公司中最敢于调整的，行动速度极快。”

我们了解到，Seed Edge 拟定的 5 大研究方向都相对长期，不会像迭代模型那样追求快速出成果：

• 下一代推理：探索更高效且更通用、提升模型推理能力的方法。
• 下一代感知：找到统一生成和理解表示的方法，表示和压缩真实世界，构建 “世界模型”。
• 软硬一体的模型设计：从软硬一体出发，探索 Transformer+GPU 之外的模型设计，发挥下一代硬件的能力。
• 下一代范式：在反向传播、Transformer 架构、预训练 + 对齐的模式之外，探索更高效的模型结构和学习方法。
• 下一代 Scaling 方向：在预训练和推理阶段的 Scaling Laws 之外，探索 Multi-Agent（多智能体）和 Test-Time Training（测试时间训练，动态调整模型参数）等方向。

据了解，Seed Edge 会先以虚拟项目组的方式运行，探索这些不确定性更强的研究方向。

不止下一代模型，也要获得做出领先模型的创新能力

过去一年，字节用密集发布的大模型、豆包 App 等 AI 应用，展现了他们紧跟先进模型和做出有用户规模产品的能力。

就在昨天（1 月 22 日），字节迭代豆包基础模型刚过一个月，又发布融合多模态能力的豆包 1.5 Pro 模型，称 “用较小激活参数，即可比肩一流超大稠密预训练模型的性能”。

豆包 1.5 Pro 是一个 MoE（混合专家系统）模型，此类模型解决问题时不用激活模型所有参数，能提升计算效率、降低成本。MoE 模型的性能通常用能力相同的稠密模型（解决问题时激活所有参数）的总参数量和 MoE 模型的激活参数量的比值来确定，这被称为 “性能杠杆”，业界此前的普遍水平为不到 3 倍。

字节称，用完全相同的部分训练数据（9T tokens）对比验证，他们优化后的 MoE 架构，仅需激活性能相当的稠密模型 1/7 的参数量，就能有更好表现，性能杠杆提升至 7 倍。

发布豆包 1.5 Pro 模型的时候，字节还明确提到，他们开发了高度自主的数据生产体系，“坚持不走捷径，不使用任何其他模型的数据”，确保数据来源独立和可靠。

至此，字节的豆包系列模型，已经覆盖语言、视觉、语音等不同方向，并有偏重性能或效率的不同版本，能力上也比肩领先模型。而豆包 App 的日活用户则已突破千万级，成为中国最大的大模型应用，规模远超第二名。

我们了解到，字节大模型研究团队定下的模型研发目标很高，不仅是跟进当前行业最领先的模型，而是希望能做出下一代的领先模型。

Seed Edge 的成立意味着，字节对 AI 的野心还不止于模型与产品，还希望获得持续提升智能水平的创新能力。

相比不断更新模型，这是一个更 “模糊” 的目标，它所面临的挑战，不仅是数据、算力不够，而是更根本的目标判断与路径选择。

“2010 年代是扩大规模的时代，现在我们再次回到了需要奇迹和新发现的时代。”OpenAI 联合创始人、前首席科学家伊尔亚·苏茨克维 (Ilya Sutskever) 去年 11 月说。

正式组建 Seed Edge 前，字节就开始投入研究 AI 基础技术。据我们初步统计，2024 年字节的研究团队发布 100 多篇 AI 相关的论文。

“字节 AI 研究的深度、广度，远超出外界印象。” 一位字节人士说。

一个例子是字节豆包大模型团队（Seed）去年 11 月发布的论文，从物理定律的视角，探讨 Sora 等视频生成模型距离世界模型还有多远。

他们提出了一个与 OpenAI Sora 研究团队相反的结论：视频生成模型无法从训练数据中提炼出通用的物理规则。而 OpenAI 发布 Sora 时强调它是探索物理世界模型的一条可行路径。

图灵奖得主、Meta 首席 AI 科学家杨立昆 （Yann LeCun）评价这个成果时说，“这不是一个让人惊讶的结论，但好在有人尝试证明了这件事。”

在 AI 领域，这类探讨模型基础问题的研究，通常存在于学术界或 DeepMind 等海外大公司的基础研究团队，在中国公司中并不多见。

类似的研究还有 Seed 团队同在去年 11 月发布的 SuperClass 论文，它提出了一种效果比肩 CLIP，但更简单、高效的视觉模型预训练方法。

CLIP 由 OpenAI 提出，是一种能让模型理解文字与图片关系的训练方法，广泛用于文生图、视觉理解、图像问答、具身智能等领域，但会消耗大量算力。

据 Seed 这篇论文介绍，同样的任务、参数下，SuperClass 训练模型可以节省大约 50% 的显存，响应速度提升超 20%。

SuperClass 论文被 AI 领域顶级学术会议 NeurIPS 接收。2024 年 12 月举办的 NeurIPS 上，字节入选近 50 篇论文，在国内公司中排名前列。

从论文数量看，字节与海外大型科技公司还有差距：NeurIPS 上，Google 入选了 120 多篇论文，微软也有超过 100 篇。

把资源转化成人才密度

做前沿探索，字节的明显优势是 “有钱、有资源”，但更重要的是，资源能否转化为人才密度，给人才创新和研究空间，最后逐渐形成培育更多优秀人才的土壤。

仅从现状看，在中国，字节对 AI 人才有很强的吸引力。

“字节是（中国 AI 领域） 人才密度最高的公司。” MiniMax 创始人闫俊杰前不久告诉我们，“其他公司都差一个档，这是一个事实。”

字节 Seed 团队组建于 2023 年，已经聚集了一批高水平的研究员，他们主要有三个来源：

从学校毕业不久的年轻研究者，如：

• 丁铭——2023 年从清华大学博士毕业，视觉大模型 CogVLM 的核心作者。
• 钟宛君——2023 年从中山大学博士毕业，读博期间曾获评 2021 MSRA Fellowship。
• 秦禹嘉——2024 年从清华大学博士毕业，开源大模型工具学习引擎 BMTools 的核心作者。
• 胡声鼎——2025 年将从清华大学博士毕业，曾是端侧语言模型 MiniCPM 的训练负责人。

我们还了解到，2024 年 5 月，字节 Seed 团队发起了面向顶尖应届博士毕业生的 Top Seed 人才计划，招募了约 30 人。

早年就在字节的 AI 研究者，如：

• 冯佳时——豆包大模型视觉基础团队负责人，2021 年从新加坡国立大学加入字节，在 Google 学术的引用次数达到 6.7 万——OpenAI 的研究团队中，超过这个数字的不到 10 人。
• 王雨轩——豆包大模型语音部门负责人，2018 年从 Google 加入字节，带队做出了效果比肩 GPT-4o 豆包端到端语音模型。
• 王明轩——豆包大语言模型研究团队负责人，2019 年加入字节，带队研发火山翻译系统，在 WMT 机器翻译评测中拿到冠军。

大模型热潮之后新吸引的研究者，如：

• 田值——光年之外原技术骨干，2023 年年中加入。
• 黄文灏——零一万物原联合创始人和预训练负责人，2024 年年中加入。
• 周畅——阿里通义大模型原技术负责人，2024 年加入。

Seed Edge 项目建立在 Seed 团队基础上，聚集其中优秀的研究人员。

字节设定了更宽松的考核机制：字节每半年考核一次绩效，但将为 Seed Edge 项目人员提供更长考核周期，同时不做严格的过程中考核，在项目取得突破进展后，再做最终评估；Seed 团队主要考核模型层的效果，Seed Edge 则考核研究成果的价值。

一位接近 Seed Edge 项目的人士告诉我们，一个特别的考核和激励设计是：如果一位研究者经过多轮考核周期后取得了重要的研究成果，他们还会 “补偿” 此前几轮周期的考核绩效，“鼓励探索更长周期、不确定的和大胆的课题”。

追求 AGI ，字节学着慢下来

做 AGI 前沿探索，和字节以往尝试过的所有新方向都不同：它本身并不指向具体业务，而且 AI 是一个更长期、更底层的技术变革。

在计算机到互联网的技术创新和奠定期，以中国当时的整体经济和技术水平，几乎没有机会做创新者。

而现在，中国正经历从跟随到可能参与原创式创新的过渡阶段。

对资源有限的公司来说，侧重跟紧前沿模型，投入相对确定和被证实的方向是合理策略。

在 OpenAI 发布 o1 后，智谱、DeepSeek、月之暗面等公司以更少资源，更强的工程化能力，在更短时间里做出了效果比肩 o1 的模型。

字节、阿里、华为、腾讯等大公司，年收入达到数千亿，甚至万亿人民币规模，它们则有资源投入更前沿的技术创新。

字节 Seed Edge 列出的 5 个研究方向，目前都不是有充分的资源就可以迅速拿到答案，都需要长期摸索，还有可能不会有回报。

一位字节人士说：“在做大模型这件事上，字节现在在学习 ‘慢’ 下来。”

这需要字节一定程度上跳出既有方法论和惯性，容忍更长的反馈周期、更不确定的结果，并形成相应的新组织形式。

“要有想象力，保持平常心，就是希望大家在业务上专注提升认知，目标要高远，但心态要放平。”2023 年 3 月，字节 CEO 梁汝波在字节 11 周年庆上说，对新业务要更要如此 。

追寻 AGI，将是考验字节能否 “永远有想象力” 的一个试炼。这也不仅是对单一某家公司的提问。

题图来源：《星际穿越》