国家知识产权局信息显示,上海壁仞科技股份有限公司申请一项名为“用于人工智能模型的推理调度的方法、计算装置、介质和程序产品”的专利,公开号CN121279460A,申请日期为2025年12月。
专利摘要显示,本发明涉及用于人工智能模型的推理调度的方法、计算装置、介质和程序产品。该方法包括:确定用于预填充阶段的第一预定令牌容量、以及用于解码阶段的第二预定令牌容量,第一预定令牌容量与第一缓存相关联,第二预定令牌容量与第二缓存相关联;调度器在第一预定令牌容量范围内,以预定令牌数量为单位确定内存块尺寸,以用于基于所计算的内存块尺寸针对对应尺寸的预填充请求执行预填充;以及每完成一次第一预定令牌容量范围的预填充,触发一次解码阶段,所触发的解码阶段的解码请求占用第二预定令牌容量的槽位。本发明能够避免因内存块过多拆分而影响性能,并且能够避免推理延迟。
天眼查资料显示,上海壁仞科技股份有限公司,成立于2019年,位于上海市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本4222.5702万人民币。通过天眼查大数据分析,上海壁仞科技股份有限公司共对外投资了10家企业,财产线索方面有商标信息135条,专利信息1463条,此外企业还拥有行政许可4个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.