北京
分享至
4月30日，小米开源其首个推理大模型Xiaomi MiMo。据介绍，模型支持消费级GPU部署，推理速度相比同规模模型提升约17%。
据介绍，MiMo-7B-RL模型在AIME 24-25与LiveCodeBench v5公开测评中，表现优于OpenAI闭源模型o1-mini及阿里Qwen开源模型QwQ-32B-Preview，参数量仅为前者的一小部分。
据悉，该系列模型由小米新组建的大模型Core团队开发，共包含基础模型、SFT模型及两种强化学习版本，现已全部在Hugging Face平台开源，采用Apache 2.0协议授权。
据介绍，MiMo模型的关键技术在于预训练与后训练的联动策略。预训练阶段基于200B tokens的高密度推理语料，采用三阶段渐进式训练方法，总训练量达25T tokens，增强逻辑抽象能力。
后训练阶段则引入“按题目难度动态调整”的奖励机制，并结合数据重采样策略与自研的Seamless Rollout系统，将强化学习效率提升2.29倍。（袁宁）
本文来源：网易科技报道
责任编辑：
袁宁_NB35110
