北京
分享至
9月23日晚，小米MiMo大模型负责人罗福莉提前披露，MiMo-V3将启用全新架构，作为其核心组件的HySparse2已率先登场，技术论文同步公布。
该技术可降低预填充开销、缩减KV缓存占用，并优化长上下文检索能力。
此前，小米在9月22日刚发布MiMo-V2.6系列，其Pro版本以46分的综合智能指数在当前开源权重模型中排名第一。
按照罗福莉给出的数据，与MiMo-V2.6所用的Hybrid SWA架构对照，100万Token上下文下，HySparse2长输入的预填充（Prefill）计算量降至约1/5，KV Cache占用降至约1/4.5；长上下文检索能力同步增强，AgentPPL与LongPPL两项指标均出现下降。
市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：行舟
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
