北京
分享至
国家知识产权局信息显示，中债金科信息技术有限公司申请一项名为“单GPU场景下的计算与内存协同调度的大模型推理加速系统”的专利，公开号CN121413756A，申请日期为2025年10月。
专利摘要显示，本发明涉及一种单GPU场景下的计算与内存协同调度的大模型推理加速系统，包括：运行在同一GPU上的预填充工作者和解码工作者；还包括资源控制器；所述预填充工作者，包括：第一队列处理单元，用于接收多个数据请求存在等待队列中，并产生第一批量数据；第一并行执行单元，用于基于GPU的部分硬件资源，根据所述第一批量数据进行计算，产生缓存数据和中间结果，将缓存数据写入到GPU缓存中，并将中间结果传递给解码工作者；所述解码工作者，包括：第二队列处理单元，用于接收中间结果存在等待队列中，并产生第二批量数据；第二并行执行单元，用于基于GPU的部分硬件资源，根据第二批量数据，并读取GPU缓存的缓存数据，进行计算，产生输出数据。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
