北京
推理芯片只能跑推理？有人拿它从头训了个语言模型，还跟B200比了比。VIDRAFT披露了一项实验：在Rebellions ATOM-Max上从随机初始化开始预训练一个325M参数的语言模型，同时用B200 GPU训练同一个模型做对照。在两边都没在训练中见过的文本上，损失分别是0.7993（NPU）和0.7994（GPU）。
ATOM-Max是2025年发布的一款商用推理NPU。按惯例，边缘和本地部署会把硬件分成两拨：GPU负责训练，更便宜的加速器负责推理。买推理卡的理由很直接——单次查询成本更低、功耗比训练GPU小。可一旦模型要适配本地数据，通常的解法还是租GPU时间，或者把数据送出去。
如果推理硬件也能训练，账本和数据流向都会变。适配、甚至预训练，可以放在团队已有的机器上，留在自己的网络里完成。
实验里两条训练曲线在整个过程中重合，两次运行遵循同一套学习率调度。至于NPU训出来的模型是不是真的一样好，检验方式是从FineWeb-Edu的一个分片里取1,024个窗口，该分片从未进入训练语料。逐窗口比较，差值为-0.0001，标准误0.0007。按这个口径，算平手。
有两个限制需要说清楚。第一，光有硬件做不到这件事：ATOM-Max及其标准软件是为推理设计的，训练依赖VIDRAFT自家的训练栈和稳定性技术，相关技术正在申请专利。买下这颗芯片，并不自动等于能训练。第二，325M参数配5B token，属于研究规模的基础模型，不是能直接上线的生产助手。这个结果说明的是这一类硬件的能力边界。
几个常见疑问也给了回应：用的是Rebellions ATOM-Max，2025年发布的商用推理NPU；权重和evaluate_unseen.py都在FINAL-Bench/VKORE-325M-NPU-Base里，数字可以自行验证；这不代表训练不再需要GPU，而是说在软件到位的前提下，推理NPU能承担真实的训练任务，规模、速度和单次成本是另外的问题；对端侧AI而言，模型可以在离运行地很近的地方、在已部署的硬件上完成适配，不必把数据搬到GPU云上。
需要说明的是，这项工作由VIDRAFT完成，VIDRAFT是Ginigen AI的关联方。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
