国家知识产权局信息显示,生成时代科技(上海)有限公司申请一项名为“一种大语言模型推理参数自动调优方法及系统”的专利,公开号CN122452738A,申请日期为2026年3月。
专利摘要显示,本发明公开了一种大语言模型推理参数自动调优方法及系统,包括:a,接收用户端调优任务构建任务队列;b,计算处理任务每次实验的需求GPU总数,根据GPU存储资源信息筛选每次实验的目标GPU集,若成功,执行步骤d,否则,执行步骤c;c,判断实验的已等待时间是否小于任务等待时间阈值,若是,等预设时间后返回步骤b,否则,标记当前实验FAILED,执行步骤e;d,利用LLM推理性能测试工具测试实验,根据测试结果计算实验的服务等级指标评分;e,释放GPU,判断是否达到最大实验次数,若是,根据当前任务的所有实验的服务等级指标评分选择最优实验,否则,返回步骤b执行任务下一实验。本发明可有效降低调优时间。
天眼查资料显示,生成时代科技(上海)有限公司,成立于2024年,位于上海市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,生成时代科技(上海)有限公司参与招投标项目1次,专利信息10条。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.