国家知识产权局信息显示,天翼云科技有限公司申请一项名为“KV缓存管理方法、装置、设备及存储介质”的专利,公开号CN121919124A,申请日期为2025年12月。
专利摘要显示,本申请公开了一种KV缓存管理方法、装置、电子设备及存储介质。一种KV缓存管理方法包括:目标模型的每一层预先分配有用于存储KV缓存的N个固定大小的内存块;针对目标模型的每一层,为目标推理请求按需分配一个或多个内存块,并建立目标推理请求与内存块之间的映射关系;在当前层,将基于目标推理请求的词元生成的KV缓存,存储于相应的内存块中,并记录每个内存块中KV缓存的逻辑位置偏移量;在当前层,根据映射关系以及逻辑位置偏移量,获取KV缓存序列;在目标推理请求推理完成后,释放分配给目标推理请求的内存块。应用本申请所提供的技术方案,可以有效减少内部内存碎片和外部内存碎片,提高内存利用率,有助于提升系统吞吐量。
天眼查资料显示,天翼云科技有限公司,成立于2021年,位于北京市,是一家以从事互联网和相关服务为主的企业。企业注册资本476399万人民币。通过天眼查大数据分析,天翼云科技有限公司共对外投资了5家企业,参与招投标项目2785次,财产线索方面有商标信息17条,专利信息5000条,此外企业还拥有行政许可15个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.