北京
国家知识产权局信息显示，华为技术有限公司申请一项名为“一种大语言模型的推理方法、系统及相关设备”的专利，公开号CN121456082A，申请日期为2024年7月。
专利摘要显示，本申请提供了一种大语言模型的推理方法、系统及相关设备，该方法通过在检索阶段下，处理器对输入文本进行检索获得检索结果，加速卡对输入文本进行第一次前向计算获得第一中间结果，然后在生成阶段下，加速卡基于第一中间结果以及检索结果完成第二次前向计算获得首个预测词，然后基于首个预测词进行多次前向计算获得多个预测词，进而获得输出文本，使得检索阶段下加速卡的资源得到充分利用，避免加速卡等待检索结果返回造成加速卡资源浪费这一问题的出现，进而减少输出文本的推理时延，从而解决大语言模型响应速度慢的问题，提高用户的使用体验。
天眼查资料显示，华为技术有限公司，成立于1987年，位于深圳市，是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4104113.182万人民币。通过天眼查大数据分析，华为技术有限公司共对外投资了51家企业，参与招投标项目5000次，财产线索方面有商标信息5000条，专利信息5000条，此外企业还拥有行政许可1709个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
