金融界2025年8月26日消息,国家知识产权局信息显示,太初(无锡)电子科技有限公司申请一项名为“一种模型推理的计算加速方法、设备、介质及程序产品”的专利,公开号CN120542558A,申请日期为2025年05月。
专利摘要显示,本发明实施例公开了一种模型推理的计算加速方法、设备、介质及程序产品,包括:在模型推理的多头注意力处理中,根据处理器中的处理器核组数量将多头注意力处理中的头数划分至各处理器核组中;在处理器核组进行多头注意力处理中的查询向量与键向量之间的运算时,根据运算任务总量以及处理器核组中的从核数量,将运算任务以均匀的数据量划分至各从核中;在一个运算任务是通过至少两个从核共同处理时,将运算任务中的查询向量与键向量进行矩阵切分,各从核根据矩阵切分结果读取对应的向量进行矩阵乘运算;将各从核计算得到的第一矩阵乘运算子结果缓存至指定的第一目标从核的高速缓存中生成第一矩阵乘运算结果。均衡各从核的数据量可提高计算效率。
天眼查资料显示,太初(无锡)电子科技有限公司,成立于2019年,位于无锡市,是一家以从事研究和试验发展为主的企业。企业注册资本1759.737828万人民币。通过天眼查大数据分析,太初(无锡)电子科技有限公司共对外投资了4家企业,参与招投标项目8次,财产线索方面有商标信息226条,专利信息181条,此外企业还拥有行政许可9个。
本文源自:金融界
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.