国家知识产权局信息显示,华为技术有限公司申请一项名为“一种模型推理方法、计算设备及相关设备”的专利,公开号CN121503634A,申请日期为2024年8月。
专利摘要显示,本申请提供了一种模型推理方法、计算设备及相关设备,该方法包括以下步骤:计算设备先为推理模型分配键值缓存,该键值缓存包括第一处理器的内存中的M个存储块,以及位于计算设备的第二处理器的内存的N个存储块,每个存储块包括多个子存储块,相邻两个子存储块的地址及间隔相等,每个存储块用于按照推理模型所包括X层的顺序存储每个层产生的中间数据,这样,当计算设备需要将M个存储块的第一存储块的数据交换至N个存储块中的第二存储块时,第一处理器可以根据第一存储块的首地址、第二存储块的首地址,使用等间距搬运的接口或方法就可以一次性读取出一个存储块的数据,使得数据交换效率高,资源消耗低,进而提高模型推理的效率。
天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4104113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了51家企业,参与招投标项目5000次,财产线索方面有商标信息5000条,专利信息5000条,此外企业还拥有行政许可1709个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.