北京
国家知识产权局信息显示，恒育源科技（深圳）有限责任公司申请一项名为“基于大模型推理的显存优化调度方法及系统”的专利，公开号CN122862006A，申请日期为2026年7月。
专利摘要显示，本申请涉及一种基于大模型推理的显存优化调度方法及系统。所述方法通过获取分组查询注意力架构下各图形处理器的键值头承载分布，按承载数量正比进行非对称页池分配，使键值头承载GPU获得匹配的页池空间、纯查询头GPU通过跨GPU通道远程获取KV数据；在此基础上采集各GPU的负载与页池状态信息进行请求准入路由，并在推理执行中按非对称页池配置实施差异化KV缓存管理。该方案将分组查询注意力的非对称特征贯穿显存分配、路由决策与推理执行全链路，消除了张量并行下因键值头分布不均造成的短板GPU瓶颈，使集群有效KV缓存容量突破单一GPU限制，实现显存资源的优化调度。
天眼查资料显示，恒育源科技（深圳）有限责任公司，成立于2020年，位于深圳市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本500万人民币。通过天眼查大数据分析，恒育源科技（深圳）有限责任公司拥有行政许可6个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
