国家知识产权局信息显示,北京科杰科技有限公司申请一项名为“异构协同大语言模型训练加速方法、装置及存储介质”的专利,公开号CN123115794A,申请日期为2026年8月。
专利摘要显示,本申请实施例提供一种异构协同大语言模型训练加速方法、装置及存储介质,方法包括:获取待训练的大语言模型和多个异构计算设备的设备描述信息;沿线性层权重张量的输入维度列分组并对各列组张量分解,根据分解误差和设备描述信息确定分解秩;根据计算任务特征和设备描述信息映射各列组计算任务,构建以列组为张量并行粒度的异构并行训练拓扑;将分解因子和激活数据量化为通道尺度与带符号的2的整数次幂的乘积,乘法运算转换为移位和符号运算;对设备间传输的梯度数据幂次量化并在量化域聚合;根据设备运行指标和训练稳定性指标调整设备映射关系、量化参数和精度保护范围。本申请实施例可以提高异构计算设备利用率,降低计算及通信开销。
天眼查资料显示,北京科杰科技有限公司,成立于2019年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本1431.4838万人民币。通过天眼查大数据分析,北京科杰科技有限公司共对外投资了5家企业,参与招投标项目78次,财产线索方面有商标信息2条,专利信息249条,此外企业还拥有行政许可3个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.