北京商报讯(记者 陶凤 王天逸)5月30日,小米官方披露MiMo-V2.5大模型推理系统全链路优化技术细节。此前5月27日,小米MiMo-V2.5系列API宣布永久降价,最高降幅达99%。据介绍,小米针对Hybrid SWA+MoE+多模态架构重构完整推理栈,将KVCache存储压缩至同类方案约1/7,大幅降低长序列推理成本,在不削弱模型本身能力的前提下,实现同硬件下更高吞吐量、更低延迟,以此支撑终端定价下调。公司称,该方案也是业内首个覆盖该复合架构的大规模工程落地成果。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.