北京
一台为推理而生的NPU，能不能从随机初始化开始，把一个大模型从头训出来？这个问题在硬件圈里长期有个默认答案：不能。理由是推理加速器出厂时配的编译器和运行时，只为执行别人训好的模型的前向计算而设计。
但有一组实验给出了相反的结论。研究团队在 Rebellions ATOM-Max 上从零预训练了 VKORE-325M-NPU-Base，参数量 325.6M。这块芯片是 2025 年发布的商用韩国 NPU，定位就是推理。作为对照，同一个模型在单块 B200 GPU 上又训了一遍。
为什么"推理NPU不能训练"会成为默认假设？因为预训练要的东西比推理多得多：每一层都要反向传播，要有优化器状态，还要在数万步里保持数值行为稳定。这些都不在推理软件栈里，于是外界自然得出"这类芯片只能做服务"的结论。
这个结论在商业上分量不轻。推理 NPU 比训练 GPU 更便宜、功耗更低，很多机构手里已经有了。如果它们也能训练，同一类硬件就能同时干两件事。
要证明"GPU 级质量"，光靠嘴说不行，得有一个只差硬件的参照。团队用完全相同的初始化、数据、批次和学习率调度，把同一个模型训了两次：一次在 NPU 上，一次在单块 B200 上。发布出来的检查点就是标准的 LlamaForCausalLM，用普通 transformers 就能加载。
两条训练曲线在整个过程中几乎重合，都从大约 5.8 降到大约 0.80。局部的抖动差异，只是因为每次运行抽取随机窗口的顺序不同。
真正关键的测试在没见过的文本上。训练语料取自 FineWeb-Edu sample/10BT 的前两个分片，评估则用分片 013 里的 1,024 个随机窗口，这部分从未参与训练。因为两个模型看到的是同一批窗口，可以逐对比较：平均差值为 -0.0001（NPU 减 GPU），标准误 0.0007，NPU 模型在 50.1% 的窗口上损失更低。在这个精度下，两者无法区分。
和更早的 VKORE-46M 相比，这次的跨度在于规模。VKORE-46M-NPU 证明的是反向传播能跑起来，VKORE-325M 才走到真正的预训练。两者之间最难的部分不是反向传播，而是让一次长跑从头到尾保持稳定。这套稳定性技术由团队自研，正在申请专利，因此没有公开细节。
那能不能直接买块 NPU 自己训？不行。ATOM-Max 和它的标准软件是为推理打造的，要在上面训练，依赖的是团队自己的训练栈和稳定性技术。买芯片本身并不等于获得训练能力。
复现路径是开放的。权重、数据配方和评估方法都公开，仓库里的 evaluate_unseen.py 会下载分片 013、抽取同样的 1,024 个窗口，并打印两个损失值和配对差值，只依赖 transformers、numpy 和 pyarrow。
需要说清楚边界：VKORE-325M 不是聊天模型，它是一个在 5B token 上训练的 325M 基座模型，作为训练硬件的结果发布。它也是 VKORE 系列里第二个模型，前一个是 VKORE-46M-NPU，而它是第一个在真实预训练规模上、且带有 GPU 孪生对照的模型。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
