北京
分享至
大多数AI基础设施是按两支舰队规划的：GPU负责训练，更便宜的加速器负责推理。VIDRAFT团队把一支舰队能不能干两件事的问题，做了一次实测。
他们从零预训练了一个325M参数模型，用的是2025年发布的Rebellions ATOM-Max推理NPU，在未见文本上的成绩与一台B200对照机打平：0.7993 对 0.7994。
对容量规划者来说，值得琢磨的不是这个小数点后的差距，而是有多少训练工作可以挪到推理硬件上跑。
今天为什么还要养两支舰队？推理加速器每次查询更便宜、能效更高，但它们的软件栈只跑前向传播。任何需要梯度的活儿，从LoRA适配到预训练，都得交给GPU，往往是租来的，往往还在另一个区域。
如果推理硬件能训练，变化落在三处：
- 利用率。推理舰队在低谷期闲置，训练任务可以填进这些时段。
- 数据本地性。适配可以跑在数据和已部署模型所在的地方。
- 采购。一类硬件覆盖模型生命周期里更多的环节。
这次实测跑了5.0B token、76,292步，约四天，没有出现发散。在1,024个未见窗口上，与GPU对照机的配对差异为-0.0001，标准误0.0007。
但规划者现在还不能假设什么？
- 吞吐量和单次运行成本没有报告。
- 芯片本身不会训练。ATOM-Max的软件是为推理构建的，训练依赖VIDRAFT自己的软件栈和一项正在申请专利的稳定性技术。
- 325M以上的规模尚未验证。
用的是哪颗NPU？Rebellions ATOM-Max，2025年发布。结果能复核吗？可以，权重和evaluate_unseen.py都在模型仓库里。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
