训练一个大模型要花多少钱?过去这个问题只有财务表知道。小米 MiMo 团队的做法是:把成本数字实时打在屏幕上,让所有人看着它一秒一秒往上跳。
MiMo-V2.6 正处于强化学习训练过程中。团队公开的实时成本显示,训练开销每秒都在上升。没有事后结算,没有模糊区间,就是一条持续走高的曲线。
![]()
三个被放大的维度
据团队透露,这次强化学习训练在三个方向上做了规模化。第一是算力,规模约为 2B tokens/step,采用 1568 prompts × 16 rollouts 的组合,并且完全异步。
第二是环境与 harness。训练属于多任务代理式强化学习,在单次运行中混合了多个环境和多个 harness,而不是一次只跑一种任务。
第三是评分算力。团队采用了代理式的组内信用分配机制,奖励信号来自测试用例和基于评分标准的评估。
这三个维度叠在一起,解释了为什么成本曲线会持续攀升——算力、环境、评分,每一环都在消耗。
成本可视化本身就是一种表态
把训练成本实时公开,在行业里并不常见。多数团队公布的是最终成绩,训练过程中的资源消耗往往被略过。实时显示每秒成本,等于把大规模训练最不性感的那一面摆到了台前。
对关注训练经济性的人来说,这比一份跑分表更有参考价值:它直观呈现了强化学习阶段的开销节奏。
团队表示,相关细节会在接下来几周内分阶段开源,逐步放出。也就是说,目前公开的还只是这场训练的一个切面。
直播还在继续,成本数字也还在涨。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.