北京
国家知识产权局信息显示，上海天数智芯半导体股份有限公司申请一项名为“大模型推理系统及推理方法”的专利，公开号CN122905081A，申请日期为2026年7月。
专利摘要显示，本申请提供一种大模型推理系统及推理方法。包括前端层，用于接收客户端发送的推理请求；核心层，包括请求路由器、预填充计算节点和解码计算节点；请求路由器接收推理请求，生成并广播评分请求；解码计算节点基于评分请求计算对应的评分结果，并向请求路由器返回评分结果；请求路由器基于评分结果确定目标解码计算节点；推理层中的解码调度器从目标解码计算节点中获取推理请求，并基于预设策略确定目标预填充计算节点，向目标预填充计算节点发送推理请求的KV缓存计算任务；预填充调度器和预填充引擎用于KV缓存计算及传输；解码引擎基于KV缓存进行解码计算，生成token。本申请提高了GPU算力与显存带宽的整体利用率。
天眼查资料显示，上海天数智芯半导体股份有限公司，成立于2015年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本26917.4736万人民币。通过天眼查大数据分析，上海天数智芯半导体股份有限公司共对外投资了29家企业，参与招投标项目23次，财产线索方面有商标信息201条，专利信息184条，此外企业还拥有行政许可28个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
