北京
国家知识产权局信息显示，北京月之暗面科技股份有限公司申请一项名为“大模型低延迟推理解码优化方法、装置、设备和存储介质”的专利，公开号CN122816938A，申请日期为2026年7月。
专利摘要显示，本发明公开大模型低延迟推理解码优化方法、装置、设备和存储介质。方法包括：CPU主机端批量下发推理请求至GPU设备端，持续监听GPU设备端推送的批次完成信号；CPU主机端依据批次完成信号识别批次空位，调取新推理请求异步填充至GPU设备端对应空位显存，并生成新请求就绪信号；GPU设备端对存在新请求的空位完成请求初始化，运行预下发的超图算子完成前向计算，生成词元概率分布并采样得到本轮候选词元；在GPU设备端执行当前轮次迭代运算的同时，CPU主机端复用上一轮候选词元异步并行完成序列结构化约束计算，生成约束掩码，并将约束掩码同步至GPU设备端；GPU设备端融合词元概率分布与约束掩码完成合规词元采样与序列合法性校验，并迭代进入下一轮解码流程。
天眼查资料显示，北京月之暗面科技股份有限公司，成立于2023年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本1157.5321万人民币。通过天眼查大数据分析，北京月之暗面科技股份有限公司共对外投资了4家企业，参与招投标项目11次，财产线索方面有商标信息120条，专利信息5条，此外企业还拥有行政许可4个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
