北京
分享至
国家知识产权局信息显示，北京焱融科技有限公司、哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）申请一项名为“面向检索增强生成的KV缓存选择性重计算方法及装置”的专利，公开号CN122570693A，申请日期为2026年6月。
专利摘要显示，本发明公开了一种面向检索增强生成的KV缓存选择性重计算方法及装置，该方法获取与用户查询对应的复用上下文KV缓存，将用户查询的查询token作为注意力查询端，将复用上下文KV缓存对应的上下文对象作为被评估对象，在Transformer模型的多个网络层中计算注意力权重并进行跨层融合，得到上下文对象重要性信息；再根据重要性信息和重计算约束确定待重计算对象集合，基于本次请求上下文执行缓存重计算并更新复用上下文KV缓存，得到更新后缓存；最后基于更新后缓存和用户查询执行解码生成。该方法能够将重计算预算集中于与用户查询相关的关键证据位置，降低长上下文推理开销。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
