北京
分享至
国家知识产权局信息显示，国网江苏省电力有限公司信息通信分公司;南京邮电大学申请一项名为“面向分布式异构智算推理流水线的后验请求调度方法、装置、设备及存储介质”的专利，公开号CN121560471A，申请日期为2025年10月。
专利摘要显示，本发明公开了一种面向分布式异构智算推理流水线的后验请求调度方法、装置、设备及存储介质。接收多个推断请求，将已接收且未执行的推断请求纳入请求执行队列，基于各推断请求的剩余可接受完成时间对请求执行队列中的请求进行排序；基于预先构建的增广图确定与请求执行队列中对应的至少一个候选路径；基于多臂赌博机机制对所述至少一个候选路径进行在线学习以确定目标路径，将单次可处理请求数量的决策转化为混合整数线性规划问题，利用优化求解器求解，以得到满足吞吐量约束及时延约束的单次可处理请求数量；基于目标路径和单次可处理请求数量生成调度结果。达到了提升系统吞吐量、降低请求时延、优化推理准确率的技术效果。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
