国家知识产权局信息显示,杭州登临瀚海科技有限公司申请一项名为“支持大语言模型的张量并行推理方法及人工智能加速设备”的专利,公开号CN122175014A,申请日期为2026年5月。
专利摘要显示,本申请提供了支持大语言模型的张量并行推理方法及人工智能加速设备,其包括:响应于接收到的并行度,将大语言模型的模型配置信息中各类型的注意力头的数目增加为能被并行度整除或整除并行度的数值并对于所增加的注意力头补充相应数量的权重参数,以及基于经更新后的模型配置信息和权重参数以张量并行的方式将大语言模型部署到多个计算设备上运行,所述多个计算设备的输出结果用于被聚合以得到大语言模型的推理结果,其中,与所增加的注意力头对应的输出结果被置为零。由此,可以使大语言模型灵活适配不同硬件环境,从而在大模型性能和硬件资源利用率之间进行了有效平衡。
天眼查资料显示,杭州登临瀚海科技有限公司,成立于2021年,位于杭州市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本200万人民币。通过天眼查大数据分析,杭州登临瀚海科技有限公司专利信息16条。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.