北京
分享至
金融界2025年5月30日消息，国家知识产权局信息显示，东南大学;江苏智运科技发展有限公司申请一项名为“一种基于非零最高位检测的Transformer网络注意力矩阵稀疏处理系统”的专利，公开号CN120068959A，申请日期为2025年01月。
专利摘要显示，本发明公开了一种基于非零最高位检测的Transformer网络注意力矩阵稀疏处理系统，包括非零最高位检测模块、最大值搜索模块和掩码生成模块；非零最高位检测模块用于对量化后的注意力矩阵中所有数据逐列进行非零最高位检测，将所有数据向下近似为2的指数；最大值搜索模块用于逐列对矩阵中每行数值进行最大值搜索；掩码生成模块用于根据由非零最高位表示的最大值信息及预先设置的阈值，逐列生成稀疏掩码，将掩码矩阵与原注意力矩阵逐元素相乘，完成矩阵稀疏。
本文源自金融界
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
