北京
分享至
一台为推理而生的NPU，被拿去从头训练语言模型，最后跑出的损失和B200几乎一样。VIDRAFT团队公布的这次预训练，把"推理芯片只能跑前向"的默认设定摆到了台面上。
具体做法是：在2025年发布的商用推理NPU Rebellions ATOM-Max上，从随机初始化开始预训练一个325.6M参数的语言模型，再与同一模型在B200 GPU上的训练结果对比。在1024个未见文本窗口上，两者损失分别为0.7993和0.7994。两次训练的权重和评估脚本均已公开。
为什么这件事值得看一眼？推理加速器卖出去是拿来跑模型的，不是拿来训模型的。它们的软件栈主要执行前向计算，而一次完整的预训练需要反向传播、优化器状态，以及数万次稳定更新。把一次50亿token的训练推到GPU级质量，直接挑战了外界对推理硬件用途的固有认知。
需要说清楚的是，这次展示的边界同样明确：
- 不涉及速度或成本。报告覆盖的是质量，不是吞吐量，也不是单次训练的价格。
- 不涉及规模。325M参数配5B token，属于研究规模。
- 不是芯片单独就能做到。NPU及其标准软件是为推理构建的，训练依赖VIDRAFT自有的训练栈，以及一项正在申请专利的稳定性技术。
- 没有覆盖种子方差。每种硬件只跑了一次。
两组模型的配对差异为-0.0001，标准误0.0007。想自行核验的话，两份权重和evaluate_unseen.py都在模型仓库里。
VIDRAFT团队同时说明，该账号由团队成员运营，上述工作为VIDRAFT自身成果，并非独立评测。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
