北京
分享至
国家知识产权局信息显示，山东大学;思核人工智能科技（济南）有限公司申请一项名为“基于低秩Fisher信息矩阵的大模型参数高效微调方法、系统及应用”的专利，公开号CN121683883A，申请日期为2025年12月。
专利摘要显示，本发明涉及基于低秩Fisher信息矩阵的大模型参数高效微调方法、系统及应用，包括：选用基础模型；初始化阶段，包括：首先，通过少量样本估计基础模型线性层的输入激活协方差矩阵和输出梯度协方差矩阵，形成Fisher信息的经验近似；随后，进行特征分解，选取若干个主特征方向构建低秩子空间；最后，初始化可训练的核心矩阵；训练阶段，包括：将该低秩子空间嵌入至Transformer的线性层中，保持原有网络主体参数完全冻结；同时仅优化核心矩阵。本发明仅在子空间内优化一个极小的核心矩阵，从而在实现参数数量显著减少的同时，保持甚至提升模型在下游任务上的微调性能。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
