北京
分享至
国家知识产权局信息显示，商线商业私人有限公司申请一项名为“模型调用控制方法及其装置、设备、介质”的专利，公开号CN122633254A，申请日期为2026年7月。
专利摘要显示，本申请涉及一种模型调用控制方法及其装置、设备、介质，所述方法包括：响应经由网关服务器转发送达的流式推理请求，创建对大语言模型发起流式推理调用的调用记录，所述调用记录包括初始化为未被请求中止的中止标志和初始化为未被完成执行的执行标志；启动流式推理调用；响应于控制句柄到达事件，向调用记录写入控制句柄，并检测中止标志是否表征已被请求中止，若是则直接执行控制句柄以中止本次调用；响应经由网关服务器中继的用户中止指令，将中止标志设置为表征已被请求中止，并在执行标志表征未被完成执行且已写入控制句柄时，执行控制句柄并将执行标志设置为表征已被完成执行。本申请实现了低延迟、高可靠、精确一次性的流式推理任务取消。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
