国家知识产权局信息显示,北京燧原智能科技有限公司申请一项名为“一种显存管理方法、设备、介质及程序产品”的专利,公开号CN122653826A,申请日期为2026年5月。
专利摘要显示,本发明涉及人工智能技术领域,公开了一种显存管理方法、设备、介质及程序产品。该方法包括:在调度周期开始时,根据当前请求到达速率和当前请求完成速率,计算得到预测显存使用量;如果根据预测显存使用量检测到满足预设预测性换出触发条件,则根据运行数据,获取各推理请求对应的目标驻留优先级;获取各推理请求对应的各键值缓存匹配的模型层级,并根据模型层级对各键值缓存进行划分,以获取各键值缓存块组对应的驻留层级;根据目标驻留优先级和驻留层级,对各键值缓存块组进行换出,以实现显存管理。可以实现主动的、预测性的KV Cache迁移,可以实现KV Cache驻留优先级的动态调整,可以实现细粒度的KV Cache换出,可以实现差异化的KV Cache管理。
天眼查资料显示,北京燧原智能科技有限公司,成立于2018年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本15000万人民币。通过天眼查大数据分析,北京燧原智能科技有限公司参与招投标项目2次,专利信息102条,此外企业还拥有行政许可11个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.