国家知识产权局信息显示,元启芯(山东)半导体技术有限公司申请一项名为“基于多头潜在注意力模块的多卡混合并行方法及系统”的专利,公开号CN121349612A,申请日期为2025年9月。
专利摘要显示,本发明实施例提供了基于多头潜在注意力模块的多卡混合并行方法及系统。该方法先获取多卡硬件连接关系以构建硬件互联拓扑图,并同步采集单卡的性能指标,为后续并行策略适配硬件特性奠定基础;再解析多头潜在注意力模块的计算图,枚举至少一种并行策略;随后结合负载均衡算法与大模型计算任务,实现注意力头在多卡间的均衡分配;接着计算每种并行策略的总通信开销以确定最优的目标并行策略,确保策略兼顾计算效率与通信成本;最后通过调用分配的注意力头执行并汇总局部注意力输出结果,得到完整计算结果。上述流程通过张量并行和数据并行协同计算,同时借助负载均衡与最优策略选择减少硬件闲置与通信浪费,从而显著提升了硬件资源的利用率。
天眼查资料显示,元启芯(山东)半导体技术有限公司,成立于2022年,位于威海市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本25000万人民币。通过天眼查大数据分析,元启芯(山东)半导体技术有限公司专利信息189条,此外企业还拥有行政许可7个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.