北京
分享至
国家知识产权局信息显示，上海交通大学、上海烨知心科技有限公司申请一项名为“基于KV缓存逐通道位宽分配的大语言模型优化系统”的专利，公开号CN122596138A，申请日期为2026年6月。
专利摘要显示，一种基于KV缓存逐通道位宽分配的大语言模型优化系统，包括：分块模块、通道范围统计模块、几何均值计算模块、位宽分配模块、量化模块、元数据存储模块、位宽重算模块和反量化模块，本发明依据各通道的取值范围相对于块内几何均值的大小，自适应地为每个通道分配量化比特数：取值范围较大的通道分配较多比特，取值范围较小的通道分配较少比特，从而在不增加平均比特预算的前提下使各通道的量化误差趋于均衡；并且由于每个通道的量化比特数完全由该通道key数据的最小值与最大值决定，反量化端能够据此重新推算出相同的量化比特数，无需在显存中额外存储任何位宽索引或精度标记。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
