北京
分享至
金融界2024年12月9日消息，国家知识产权局信息显示，上海稀宇科技有限公司申请一项名为“一种语言模型的推理优化方法”的专利，公开号CN 119090006 A，申请日期为2024年8月。
专利摘要显示，本申请提供了一种语言模型的推理优化方法，所述推理优化方法包括：响应于获取到请求利用预设的语言模型对输入信息进行推理的至少一个请求信息，将第一请求信息按照预设长度划分为多段请求信息；利用所述语言模型对所述多段请求信息和第二请求信息进行全量推理和混合推理，得到多个第一推理结果，其中，所述第二请求信息为与所述第一请求信息同时获得或者对所述多段请求信息进行全量推理或混合推理过程中获取到的至少一个请求信息；利用所述语言模型对多个所述第一推理结果进行增量推理，得到所述语言模型对所述输入信息进行推理所输出的推理结果。通过上述方法，降低了语言模型推理时对显存的占用，并提高了语言模型的推理效率。
本文源自：金融界
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
