国家知识产权局信息显示,杭州吉合信科技有限公司申请一项名为“一种用于对大模型调用token数和QPS进行自适应限流的系统”的专利,公开号CN121479508A,申请日期为2025年11月。
专利摘要显示,本发明涉及大模型服务管理技术领域,公开了一种用于对大模型调用token数和QPS进行自适应限流的系统。该系统的动态监测模块负责采集包含token消耗序列、请求频率序列及响应延迟序列的请求流量数据集合;流量特征提取模块对该数据集合进行多维特征分析,生成包含token消耗速率、请求频率波动系数及延迟敏感度指标的流量特征矩阵;自适应限流决策模块基于该矩阵与负载均衡策略动态匹配,生成包含token配额阈值和QPS上限阈值的限流控制参数集合;实时调控模块据此对请求队列进行动态调整,生成新的请求调度序列;反馈优化模块监测执行效果并迭代更新负载均衡策略。本发明通过实时感知与动态调整,实现了对大模型服务资源的精细化和自适应管理。
天眼查资料显示,杭州吉合信科技有限公司,成立于2022年,位于杭州市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本360.6975万人民币。通过天眼查大数据分析,杭州吉合信科技有限公司财产线索方面有商标信息1条,专利信息1条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.