北京
分享至
国家知识产权局信息显示，国家能源集团青海电力有限公司玛尔挡分公司申请一项名为“一种基于知识蒸馏的MOE训练架构优化方法”的专利，公开号CN122491525A，申请日期为2026年4月。
专利摘要显示，本发明公开了一种基于知识蒸馏的MOE训练架构优化方法，包括如下步骤：建立教师模型与学生MOE模型并将门控输出设为路由分布；得到教师与学生的路由分布、任务输出与专家表征并计算负载比；依据专家表征形成专家相似度矩阵；按教师路由分布与相似度进行多样性校正选择，生成目标教师专家集合、专家排名序列与二值指示向量；结合负载比构建容量自适应Lovász‑Hinge损失；基于相似度构建次模效用并对学生路由分布计算冗余感知Lovász扩展损失；计算排序一致性损失与蒸馏损失；加权各损失得到总损失更新学生MOE模型参数。本发明统一路由对齐、容量约束、多样性建模与排序一致性。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
