北京
来源：格隆汇APP
大模型竞赛进入万亿参数时代，MiniMax在近期释放出强烈技术信号。7月9日，记者获悉，其下一代大模型预训练已启动大半个月，参数规模预计在2.5万亿至3万亿之间，市场可将其视为2.7T级别的大版本迭代。该模型此前已完成约两个月的数据准备和结构验证，目前早期训练结果显示，模型收敛表现好于内部阶段目标，相关指标优于此前预期。这意味着MiniMax在进一步放大参数规模的过程中，暂未出现明显训练不稳定问题。
支撑这一超大模型训练的关键，是MiniMax自主研发的MSA架构的升级。据悉，公司正在推进MSA2.0升级，重点包括提升长序列任务处理能力、降低Attention计算开销，并改善大规模训练中的硬件利用效率。相较于单纯扩大参数规模，此次升级更强调通过架构优化提升训练效率和模型可持续扩展能力。业内人士认为，在大模型竞争进入高成本训练阶段后，架构效率、算力利用率和长上下文能力将成为头部模型公司拉开差距的关键变量。
此外，MSA架构带来的成本红利也在持续释放。通过降低Attention计算开销并提升硬件资源利用率，MiniMax内部判断后续模型毛利率有望超过M2。随着架构升级带来的计算开销下降和推理效率进一步提升，新一代模型的单位经济性将继续改善，为商业化竞争奠定基础。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
