金融界2025年7月21日消息,国家知识产权局信息显示,中山大学;善思开悟科技(成都)有限公司申请一项名为“混合专家模型的微调方法、装置、设备、介质及程序产品”的专利,公开号CN120337983A,申请日期为2025年03月。
专利摘要显示,本申请公开了一种混合专家模型的微调方法、装置、设备、介质及程序产品,涉及模型微调技术领域,包括:在确定的映射关系下,将加载混合专家层与模型微调相关数据的数据加载过程,按照与下一计算过程的重叠关系,划分为阶段间加载、模型层间加载和专家间加载;结合专家流行度以及亲和性,确定阶段间加载、模型层间加载和专家间加载的加载决策,其中,专家流行度为混合专家模型中不同专家被激活的频率,亲和性为在离线阶段确定计算负载与硬件设备的亲和性;调度加载决策,在阶段间加载、模型层间加载和专家间加载,分别加载混合专家层与模型微调相关的数据。
本文源自:金融界
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.