北京
国家知识产权局信息显示，智算云扉（常州）云计算科技有限公司申请一项名为“一种面向RAG系统的大模型KV Cache优化方法”的专利，公开号CN122861988A，申请日期为2026年7月。
专利摘要显示，本发明公开了一种面向RAG系统的大模型KV Cache优化方法，隶属于人工智能和大语言模型推理优化技术领域。该方法包括：步骤S1：构建历史提示词的相关缓存；步骤S2：基于语义相似度的参考提示词检索与缓存加载；步骤S3：引入位置编码并进行KV Cache填充；步骤S4：识别高偏差token；步骤S5：跨层动态重计算；步骤S6：剔除冗余的KV Cache。本发明针对RAG场景进行优化，突破了跨请求缓存复用对前缀文本精确匹配的依赖，实现了语义相似请求之间的token级KV Cache共享，并能够动态释放深层网络中的冗余缓存空间，在保证生成质量基本不下降的前提下，显著降低RAG场景下的大模型推理延迟和显存占用，提高系统吞吐能力和资源利用率。
天眼查资料显示，智算云扉（常州）云计算科技有限公司，成立于2024年，位于常州市，是一家以从事研究和试验发展为主的企业。企业注册资本100万人民币。通过天眼查大数据分析，智算云扉（常州）云计算科技有限公司共对外投资了1家企业，财产线索方面有商标信息2条，专利信息1条，此外企业还拥有行政许可1个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
