北京
金融界2025年6月28日消息，国家知识产权局信息显示，北京英博数科科技有限公司;北京百川智能科技有限公司申请一项名为“多模型分时复用与并行加载的推理服务方法及系统”的专利，公开号CN120218228A，申请日期为2025年02月。
专利摘要显示，本申请涉及一种多模型分时复用与并行加载的推理服务方法及系统，其中该方法包括：接收用户模型推理请求，根据所述用户模型推理请求查找对应模型；将推理所需模型部分参数层部署到GPU中；将用户模型推理请求文本输入GPU部署的参数层进行计算；在所述部分参数层进行计算的同时加载模型剩余参数层至对应指定GPU中；完成推理计算后卸载参数层回到CPU，并返回推理结果。利用GPU设备集群为模型进行推理服务，实现多模型的设备集群之间的协作，降低每个模型请求的推理时延。在预留和占用更少系统显存的情况下，能达到相同甚至更好的推理速度。自动化模型部署和调度过程，在满足每个模型请求的SLO要求下，尽可能地降低了模型的部署成本。
天眼查资料显示，北京英博数科科技有限公司，成立于2022年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本21000万人民币。通过天眼查大数据分析，北京英博数科科技有限公司共对外投资了6家企业，参与招投标项目3次，财产线索方面有商标信息3条，专利信息10条，此外企业还拥有行政许可3个。
北京百川智能科技有限公司，成立于2023年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本647.6684万人民币。通过天眼查大数据分析，北京百川智能科技有限公司共对外投资了12家企业，参与招投标项目4次，财产线索方面有商标信息57条，专利信息42条，此外企业还拥有行政许可4个。
本文源自金融界
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
