国家知识产权局信息显示,北京知道创宇信息技术股份有限公司申请一项名为“面向大语言模型的负载均衡方法、装置、电子设备和介质”的专利,公开号CN121764667A,申请日期为2025年12月。
专利摘要显示,本发明提出一种面向大语言模型的负载均衡方法、装置、电子设备和介质,涉及计算机技术领域。该方法包括:根据多个大语言模型的当前权重将接收的待处理请求分发至目标大语言模型;获取目标大语言模型处理待处理请求所对应的性能参数;性能参数能够反映目标大语言模型的推理性能;根据性能参数调整目标大语言模型的当前权重;调整后的权重用于后续分发请求。通过持续监控能够反映大语言模型在实际运行过程中的真实推理性能的性能参数,并根据性能参数动态调整大语言模型的权重,使得大语言模型的权重能够随大语言模型的实时性能自适应变化,最终实现请求的合理分配,避免高性能模型闲置或者低性能模型过载,显著提升了资源利用率和服务质量。
天眼查资料显示,北京知道创宇信息技术股份有限公司,成立于2007年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本8076.8167万人民币。通过天眼查大数据分析,北京知道创宇信息技术股份有限公司共对外投资了23家企业,参与招投标项目437次,财产线索方面有商标信息300条,专利信息439条,此外企业还拥有行政许可8个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.