北京
分享至
国家知识产权局信息显示，字节跳动技术有限公司、北京字跳网络技术有限公司申请一项名为“处理生成式模型的推理请求的键值缓存管理系统、方法及介质”的专利，公开号CN122838058A，申请日期为2025年10月。
专利摘要显示，本公开的实施例涉及一种用于处理生成式模型的推理请求的键值缓存管理系统、方法及介质。其中方法包括：接收用于将键值对的一个或多个块写入键值缓存的推理请求，根据所述推理请求，通过指派所述键值缓存中的所述起始虚拟内存地址并且计算针对所述生成式模型中的每一层和每一块的内存指针，为所述键值缓存预留连续的虚拟内存空间，以使所述一个或多个块被顺序地写入；以及将所生成的所述内存指针输出到所述生成式模型，从而使所述生成式模型的每个自注意力层将所计算的键值对写入所述键值缓存中由所述内存指针指定的物理地址处。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
