国家知识产权局信息显示,罗伯特·博世有限公司申请一项名为“用于稀疏向量量化深度神经网络的高效注意力层实现的系统和方法”的专利,公开号CN121920438A,申请日期为2025年10月。
专利摘要显示,一种用于生成向量量化深度神经网络的方法,包括针对查询向量和键向量创建二进制掩码,其中创建二进制掩码包括用值1替换每个非零元素,计算查询和键向量的二进制掩码的逻辑与运算符,利用来自查询和键向量的二进制掩码的逻辑与运算符的结果来识别非零位的位置,以获得一个或多个非零索引,并且仅对于逻辑与运算符的非零索引,输出点积值,创建值向量的二进制掩码,其中二进制掩码与非零值相关联,并且仅对于值向量的非零索引,将点积值与值向量相乘以生成注意力层的最终值,并且将最终值输出到下一层。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.