北京
8月7日，据“凤凰网科技”援引“金融时报”报道，字节跳动正在训练一个参数量最高可达10万亿参数的AI大模型，目前处于预训练早期阶段。这一规模比国内已发布的最大模型月之暗面Kimi K3（2.8万亿参数）还要大三倍多，接近Anthropic最先进的Mythos系统。业内估计Mythos 5约8万亿参数。
该模型由Seed Foundation负责人项亮主导，与大语言模型预训练数据负责人沈科合作。据“晚点LatePost”报道，字节近期已在内部讨论训练超5万亿参数模型，最终目标可能更高。不过该计划仍处于早期阶段，不保证最终发布。
这一动作的背景是Seed团队在语言模型领域的追赶压力。2月发布的Seed 2.0市场反响有限，同期智谱GLM-5和月之暗面Kimi K3在编程能力上已明显领先。火山引擎目前是国内最大模型API卖家，但豆包大模型的token消耗中，超过一半来自视频生成模型Seedance和图片生成模型Seedream，语言模型占比不高。二季度以来，Seedance的增速放缓影响了火山MaaS的整体token增长：3月为120万亿，6月为180万亿，低于250万亿至300万亿的原定目标。
负责模型研发的 Seed 团队目前约有 2000 名成员，分布在中国及海外，包括 AI 研究人员、基础设施工程师、数据团队以及翻译团队。
近日，字节跳动创始人张一鸣与Seed负责人吴永辉共同召开全员会。张一鸣在会上表示“可以接受模型暂时落后于行业”，希望团队“追求智能上限”。他反对模型蒸馏，认为蒸馏“本质上是在复制Claude已有的能力，很难真正实现超越”。他也提醒团队：“编程只是眼下的热点之一，不应该完全被它牵着走，编程之外还有更多更大的机会。”
字节此前已用“大力出奇迹”策略在视频生成模型上验证过这条路。Seedance 2.0今年2月上线后，被公认为全球性能最强的视频模型之一。如今，字节想在语言模型上用同样方式赌一次弯道超车。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
