北京
金融界2025年7月19日消息，国家知识产权局信息显示，深圳市百量智算科技有限公司申请一项名为“基于分布式数据并行的模型训练方法、模型训练方法以及相关设备”的专利，公开号CN120336856A，申请日期为2025年04月。
专利摘要显示，本申请实施例公开了基于分布式数据并行的模型训练方法、模型训练方法以及相关设备，用于提升模型训练效率。在分布式数据并行的场景中，参与训练的每个训练端仅需要同步每轮的加权训练损失，并基于同步获得的加权训练损失调整其上部署的本地模型。其中，每轮的加权训练损失为参与训练的多个训练端相应轮训练损失的加权平均值。此外，若多个训练端共享大模型的至少部分网络层，则各训练端只需要在两处同步：一、和前述场景类似，在多个训练端不共享最后一层网络的情况下，运行最后一层网络的每个实例都需要将前述加权训练损失进行独立的反向传播和参数更新；二、在反向传播进行参数更新时在多个训练端共享的单个实例进行反向回传梯度的聚合平均。
天眼查资料显示，深圳市百量智算科技有限公司，成立于2023年，位于深圳市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析，深圳市百量智算科技有限公司专利信息8条，此外企业还拥有行政许可5个。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
