北京
国家知识产权局信息显示，广州云蝶科技股份有限公司申请一项名为“一种大语言模型的轻量化端边部署及协同推理方法和系统”的专利，公开号CN122837857A，申请日期为2026年7月。
专利摘要显示，本申请实施例涉及一种大语言模型的轻量化端边部署及协同推理方法，包括：获取目标边缘设备的硬件信息，确定其支持的量化精度范围、算子指令集和内存访问模式；基于量化精度范围对大语言模型依次执行结构化剪枝、层自适应剪枝和混合精度量化，得到轻量化模型；根据算子指令集和内存访问模式对轻量化模型中的算子进行融合及内存优化，生成可执行推理图；推理阶段根据边缘设备的计算资源利用率和边缘推理结果的置信度，动态决定由边缘轻量化模型执行推理或将任务分流至云端大模型执行并融合输出。本发明实现了大语言模型在端边场景下的高效部署与自适应推理。
天眼查资料显示，广州云蝶科技股份有限公司，成立于2019年，位于广州市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本4898.5226万人民币。通过天眼查大数据分析，广州云蝶科技股份有限公司共对外投资了12家企业，参与招投标项目548次，财产线索方面有商标信息46条，专利信息80条，此外企业还拥有行政许可19个。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
