国家知识产权局信息显示,开元云(北京)科技有限公司申请一项名为“用于大模型推理的自适应路由与流量控制系统”的专利,公开号CN122601554A,申请日期为2026年7月。
专利摘要显示,本发明涉及大模型自适应路由与流量控制技术领域,具体涉及一种用于大模型推理的自适应路由与流量控制系统,该系统包括采集模块、筛分模块、显存处理模块、计算处理模块、节流校准模块和预测校准模块。本发明通过监测各待筛请求的长度,结合全部路由节点的动态分类阈值,将待筛请求划分为显存请求或计算请求,以控制显存与计算资源的争抢幅度,并针对显存请求,在查询周期内筛选出放行请求,并结合各放行请求的适配节点进行推理,实现显存过载保护与突发流量的平滑削峰,形成从实时感知、分类调度的路由与流量控制逻辑,有效缓解了高峰时段内由于负载下长请求与短请求竞争节点资源所导致的短请求尾部延迟急剧恶化的问题。
天眼查资料显示,开元云(北京)科技有限公司,成立于2020年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本2500万人民币。通过天眼查大数据分析,开元云(北京)科技有限公司共对外投资了10家企业,参与招投标项目8次,财产线索方面有商标信息4条,专利信息14条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.