6月5日,腾讯混元宣布提出Stem稀疏注意力算法,已被机器学习顶会ICML-26收录。根据Stem算法×HPC算子的全栈加速方案,算法层面,Stem通过Token位置衰减(TPD)和输出感知度量(OAM)实现25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文下首字延迟降低3.7倍。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.