国家知识产权局信息显示,江西虔安电子科技有限公司申请一项名为“一种基于可学习幂律衰减的神经网络位置编码方法及系统”的专利,公开号CN121543673A,申请日期为2026年1月。
专利摘要显示,本发明提供了一种基于可学习幂律衰减的神经网络位置编码方法及系统,通过获取在自注意力模块中,对于输入序列中的每一个查询向量和键向量,通过位置编码方法对查询向量和键向量进行处理;根据处理后的查询向量和键向量,计算初始注意力分数,并由初始注意力分数组成注意力分数矩阵;为自注意力模块中的每一个注意力头配置可学习衰减参数,可学习衰减参数作为神经网络模型的一部分,在训练过程中通过优化算法进行更新;根据可学习衰减参数,为每一个注意力头计算对应的位置偏置矩阵;根据注意力分数矩阵和位置偏置矩阵,确定修正后的注意力分数矩阵;对修正后的注意力分数矩阵应用Softmax函数,计算得到最终的注意力权重。
天眼查资料显示,江西虔安电子科技有限公司,成立于2011年,位于南昌市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,江西虔安电子科技有限公司参与招投标项目517次,专利信息6条,此外企业还拥有行政许可8个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.