2146 tokens/s！字节跳动发布极速代码生成模型Seed Diffusion，速度暴涨5.4倍

大数据文摘出品

最近，字节跳动发布了一款全新的AI代码生成模型“Seed Diffusion Preview”。

这款模型采用了完全不同于以往的生成方式，不再是“一个词一个词”地慢慢生成，而是整段代码并行生成，一次生成多个片段。

据官方披露，Seed Diffusion Preview在Nvidia H20 GPU上的生成速度高达2146个token每秒，比传统模型提升了最多5.4倍。

与传统的自回归模型不同，这款新模型采用“离散状态扩散”（discrete-state diffusion）的方法，将图像扩散模型的思路移植到了文字和代码领域。

它的工作原理是：先制造一段带有噪声和占位符的初始代码，然后一步步地“复原”出真实的代码，而不是从头开始一个字符一个字符地拼凑。

这样的结构，使得模型可以一次性生成多个部分，再通过Transformer建模依赖关系，并结合因果顺序与轨迹蒸馏来提升一致性。

在多项基准测试中，Seed Diffusion Preview的表现不输其它主流模型，在代码编辑等任务中表现尤为突出。

01 双阶段训练机制

为了兼顾速度和质量，字节跳动为Seed Diffusion Preview设计了一套双阶段训练机制。

第一阶段采用遮罩训练，将部分代码替换为特殊的占位符，训练模型还原这些被遮罩的内容。但单靠这一阶段会产生一个问题：模型可能忽视未被遮罩的部分，只是盲目复制原文而不加检验。（前 80%）

独立性假设：

边际概率分布：

为此，团队加入了第二阶段：基于编辑的训练，引入插入和删除操作，强迫模型检查并修正所有部分，不只是那些被遮挡的片段。

此外，字节跳动还优化了代码的生成顺序。

模型通过约束顺序训练引导模型遵循依赖关系（如先声明后使用），以提升完整性与可执行性。

训练语料是，在常规代码语料基础上，额外用预训练扩散模型生成轨迹并筛选蒸馏，以提升顺序与一致性。

02 瞄准谷歌，进军复杂推理领域

Seed Diffusion Preview不仅是一个技术展示，它的推出也有明确的对标对象。

谷歌在今年5月推出了Gemini Diffusion模型，同样主打代码生成。字节跳动此举，正面迎战谷歌。

从性能对比看，Seed Diffusion Preview在推理速度上全面领先，并且在代码编辑、生成结构完整代码方面也能与之抗衡甚至超越。（即在作者给定设置下速度更快，由于硬件与评测差异，跨模型直接对比需谨慎）

特别是在并行解码方面，Seed Diffusion Preview采用了“自我优化生成机制”（同策略学习（on-policy）。

在训练中引入验证器的同策略目标，以减少生成步数并维持质量。

此外，字节跳动针对扩散生成流程开发了内部的框架支持工具链，优化了整个软件栈。

生成过程中，虽然各个代码块并行生成，但整体上仍然保持逻辑顺序，保证变量依赖关系和执行顺序的正确性。

未来，字节跳动计划继续扩大模型规模，并尝试将这种并行扩散架构推广到更复杂的推理任务中。

目前，该模型已有在线演示版本。不过因为太火，显示服务繁忙。

https://studio.seed.ai/exp/seed_diffusion/

作者长期关注 AI 产业与学术，欢迎对这些方向感兴趣的朋友添加微信Q1yezi，共同交流行业动态与技术趋势！

GPU 训练特惠！

H100/H200 GPU算力按秒计费，平均节省开支30%以上！

扫码了解详情☝