5月30日,小米正式公开MiMo-V2.5系列模型的推理系统全链路优化方案。据小米方面介绍,团队围绕Hybrid SWA+MoE+多模态的复合架构,系统性重构了从KVCache管理、分级缓存、前缀缓存到调度策略与Prefill/Decode链路的完整推理栈,KVCache存储压缩至同级方案的约1/7,在长序列场景下推理成本大幅下降——这是本次降价的核心技术基础。5月27日,MiMo-V2.5系列API完成永久降价,最高降幅达99%,不区分输入长度。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.