国家知识产权局信息显示,北京默认值科技有限公司申请一项名为“一种大模型训练的默认值自适应管理方法”的专利,公开号CN122965603A,申请日期为2026年7月。
专利摘要显示,本发明公开一种大模型训练默认值自适应管理方法。S1在反向传播阶段提取Transformer指定网络层梯度张量;S2对梯度张量做主成分降维,堆叠多迭代步数据构建多维时序信号流;S3采用滑动窗口与离散小波变换求解梯度频域能量熵,作为训练稳定性量化指标;S4将熵值输入预标定状态‑参数映射函数,生成优化器超参数调整量;S5基于调整量动态更新学习率、权重衰减系数、梯度裁剪阈值等默认超参数。本方案增设稳定性阈值判定机制,梯度持续剧烈震荡时自动中止训练、回滚模型检查点并恢复原始超参,解决传统大模型训练超参数固定、无法适配训练波动实时调整的缺陷,实现全流程自动化超参管控。
天眼查资料显示,北京默认值科技有限公司,成立于2020年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本500万人民币。通过天眼查大数据分析,北京默认值科技有限公司拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.