北京
“推理专用NPU能不能做LLM预训练？”这个问题在韩国一家叫Vidraft（비드래프트）的团队那里，得到了一个用数字回答的版本：能。他们把3亿2,560万参数的语言模型VKORE-325M-NPU-Base从随机初始值开始，在Rebellions（리벨리온）2025年推出的商用推理专用NPU ATOM-Max上完成了预训练。
同一套模型也在单张B200 GPU上训练了一遍，作为对照。两个模型都在训练中从未见过的1,024个文本片段上评估，损失分别是NPU 0.7993、GPU 0.7994。权重和评估脚本全部公开。
为什么外界普遍认为“推理专用NPU做不了训练”？原因在软件栈。推理芯片的编译器和运行时，是为执行别处训练好的模型前向传播而设计的。预训练需要的东西多得多：所有层的反向传播、优化器状态，以及数万步里稳定持续的权重更新。推理软件里没有这些。
这个问题直接连着成本。推理NPU比训练GPU便宜、功耗更低，而且很多机构已经持有。如果同一套设备还能训练，一种芯片就能干两件事。
公开的模型是标准LlamaForCausalLM格式，可以直接用transformers加载。
“和GPU同质量”怎么证明？需要一个只有硬件不同、其余全部相同的对照。于是同一个模型用相同的初始值、相同的数据、相同的批次、相同的学习率计划训练了两次：一次NPU，一次单张B200 GPU。
训练曲线全程重合，两者都从约5.8降到约0.80。小幅波动不同，是因为两个实验以不同顺序抽取了随机片段。
更关键的考验在没见过的文本上。训练语料只用了FineWeb-Edu sample/10BT的前两个分片，评估则取自训练完全没碰过的分片013，随机抽取1,024个片段。两个模型用同样的片段评估，因此可以逐片段配对比较：平均差值为-0.0001（NPU减GPU），标准误0.0007，在50.1%的片段上NPU更低。在这个分辨率下，两个模型无法区分。
和上一代VKORE-46M相比，VKORE-46M-NPU证明的是反向传播能在芯片上跑起来；VKORE-325M则迈到了真实预训练的规模。两者之间最大的难题不是反向传播本身，而是把长时间训练稳定地跑到底。这套稳定化技术为自研，正在申请专利，文中未展开说明。
只买NPU就能训练吗？不能。ATOM-Max和基础软件是为推理设计的，训练需要Vidraft自研的训练体系和稳定化技术。光买芯片并不构成训练能力。
想自己复现，仓库里的evaluate_unseen.py会下载分片013，用同样的1,024个片段输出两个模型的损失和配对差值，只需要transformers、numpy、pyarrow。加载方式如下：
- NPU模型：FINAL-Bench/VKORE-325M-NPU-Base
- GPU参照：同一仓库下的b200_reference子目录
几个常见问题的答案：用的是Rebellions 2025年发布的商用推理专用NPU ATOM-Max；在未见过的FineWeb-Edu文本上损失0.7993对0.7994，配对差-0.0001、标准误0.0007；这不是对话模型，而是用50亿token训练的3.25亿参数基础模型，公开目的是展示训练硬件上的成果；权重、数据构成和评估已公开，训练体系与稳定化技术属自研、专利申请中。
它是VKORE NPU训练系列的第二款模型，比首款VKORE-46M-NPU大7倍，数据量多222倍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
