北京
分享至
金融界2025年6月10日消息，国家知识产权局信息显示，中国地质大学（武汉）;浪潮网络科技（山东）有限公司申请一项名为“基于智能网卡的大语言模型推理KV预取方法及系统”的专利，公开号CN120123112A，申请日期为2025年01月。
专利摘要显示，本发明公开了一种基于智能网卡的大语言模型推理KV预取方法及系统，涉及机器学习领域，基于智能网卡的大语言模型推理KV预取方法主要包括：将历史KV缓存迁移到远程存储设备，在本地GPU设置KV预取窗口，根据当前等待的模型推理任务信息决定下一个调入KV预取窗口的历史KV缓存，将远程存储设备上的历史KV缓存直接取到KV预取窗口；复用KV预取窗口的历史KV缓存执行推理任务，更新KV缓存数据及对应状态，并将其更新至远程存储设备上。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
