国家知识产权局信息显示,广西电网有限责任公司申请一项名为“一种基于KV Cache低比特量化的多模态大模型推理加速方法”的专利,公开号CN122366673A,申请日期为2026年4月。
专利摘要显示,本发明公开了一种基于KV Cache低比特量化的多模态大模型推理加速方法,涉及人工智能及深度学习技术领域,方法包括:预填充阶段,通过查询张量奇异值分解构建子空间;对键张量施加正交约束迭代量化,值张量逐token量化,均压缩为2比特;将权重视作复数,相位量化至四阶单位根;推理时融合视觉编码器的层归一化;解码阶段逐token生成,实时量化键值并存入缓存,结合历史完成注意力计算;本发明能够显著降低显存占用,提升推理吞吐量,充分用满2比特存储空间,保持模型精度,无需额外微调或校准数据。
天眼查资料显示,广西电网有限责任公司,成立于1990年,位于南宁市,是一家以从事电力、热力生产和供应业为主的企业。企业注册资本1419133万人民币。通过天眼查大数据分析,广西电网有限责任公司共对外投资了99家企业,参与招投标项目44013次,专利信息3642条,此外企业还拥有行政许可255个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.