网易首页 > 网易号 > 正文 申请入驻

面向Agent时代!小米MiMo推出HySparse混合稀疏注意力架构

0
分享至

智东西2月7日报道,昨天,小米MiMo大模型团队宣布推出HySparse,一种面向Agent时代的混合稀疏注意力架构,使用“极少的全注意力(Full Attention)+ 稀疏注意力(Sparse Attention)”核心设计。

随着Agent模型与应用的爆发式发展,精准高效处理超长文本正在成为模型必不可少的基础能力。Agent不仅需要在超长上下文中完成稳定检索、推理与多轮规划,还必须在推理阶段保持足够快的响应速度,目前最大的挑战已经不只是“能不能算”,而是“算不算得起”。

为此,小米MiMo提出了HySparse架构。在多项通用、数学、代码和中文评测中,HySparse在7B Dense和80B MoE两种规模均带来提升。

其中,在总共49层的80B-A3B MoE模型实验中,HySparse仅保留5层Full Attention仍能保持或提升模型能力,KV Cache存储降低至原来的1/11,实现效果与效率的兼顾。

RULER长文测试表明,HySparse即便将Full Attention层压到极少,也能稳定保持长距离关键信息访问,展现了其混合稀疏结构的优势。

HySparse采用hybrid block结构:每个hybrid block由1层Full Attention+N层Sparse Attention组成。Hybrid block内部的Sparse Attention层并不再独立做token选择和维护全量KV,而是直接复用前置Full Attention层产生的重要token索引和KV Cache。

这背后的动机是Full Attention在完成自身计算的同时,已经生成了KV Cache,并且计算出了最准确的 token重要性信息,自然可以供后续N个Sparse Attention层直接复用。

HySparse可以视为是在MiMo-V2-Flash的Hybrid SWA结构的基础上,为SWA增加了全局的、更重要的token信息补充。这一改进不仅提升了性能,还没有增加KV Cache存储,也没有显著增加计算开销。

HySparse结构为Agent时代的超长文本处理提供了高效精准的技术解决方案,也为大模型高效注意力结构的研究与落地提供了全新参考。

小米MiMo透露,团队计划在更大规模模型上进一步验证HySparse的极限和潜力,并持续探索降低Full Attention层数量的可能性,让超长上下文更高效。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
“你要不要命了!”深夜高速上一辆疾驰小车,副驾人员躺在司机怀里,两人合眼大睡,直到交警来电才惊醒

“你要不要命了!”深夜高速上一辆疾驰小车,副驾人员躺在司机怀里,两人合眼大睡,直到交警来电才惊醒

南方都市报
2026-11-20 09:24:32
31.98万元起!享界首款MPV上市 余承东:我们用料很狠,导致纯电车型成本很高

31.98万元起!享界首款MPV上市 余承东:我们用料很狠,导致纯电车型成本很高

每日经济新闻
2026-11-20 18:40:01
大连英博将做出重要决定,事关斯坦丘离队后谁来挑大梁,值得期待

大连英博将做出重要决定,事关斯坦丘离队后谁来挑大梁,值得期待

振刚说足球
2026-11-21 11:15:48
一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

一张“专科男生穿始祖鸟学习”照,被嘲笑惨了:穿上龙袍也不像太子

泽泽先生
2026-11-15 13:59:44
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

浩渺青史
2026-10-17 01:48:48
长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

长大后才明白,原来反派告诉你的全是现实!网友:原来我们才是刁民

夜深爱杂谈
2026-10-06 19:48:30
福建省代省长郭宁宁与12家民营企业代表座谈

福建省代省长郭宁宁与12家民营企业代表座谈

闽商报
2026-11-21 10:01:07
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
30年的酒不是白喝的,黄仁勋刚离任7天,台积电就对英伟达翻脸了

30年的酒不是白喝的,黄仁勋刚离任7天,台积电就对英伟达翻脸了

互联网大观
2026-11-20 13:52:35
美股“黑色星期五”:标普、道指双双进入回调,纳指暴跌5.3%抹平全年涨幅

美股“黑色星期五”:标普、道指双双进入回调,纳指暴跌5.3%抹平全年涨幅

北美商业电讯
2026-11-21 05:35:24
全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

医脉圈
2026-11-02 12:37:32
“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

熙熙说教
2026-11-20 14:16:44
采石矶之战,南宋1.8万残军利用黑科技,降维碾压金国17万铁骑

采石矶之战,南宋1.8万残军利用黑科技,降维碾压金国17万铁骑

小豫讲故事
2026-11-15 06:00:08
墨西哥总统辛鲍姆令人动容!

墨西哥总统辛鲍姆令人动容!

廖保平
2026-11-21 11:48:50
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
中国球迷眼中的杨瀚森和诺里眼里的杨瀚森,根本不在一个维度

中国球迷眼中的杨瀚森和诺里眼里的杨瀚森,根本不在一个维度

姜大叔侃球
2026-11-21 10:37:57
不出意外,明年开始,考公考编、国企招聘将迎来“大变化”

不出意外,明年开始,考公考编、国企招聘将迎来“大变化”

户外阿毽
2026-11-20 04:21:25
日本要另起炉灶?AZEC峰会结束,告别前,高市向11国发出特殊邀请

日本要另起炉灶?AZEC峰会结束,告别前,高市向11国发出特殊邀请

安珈使者啊
2026-11-20 11:38:49
2026-11-21 13:12:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
艺术
游戏
房产
教育

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

无障碍浏览 进入关怀版