北京
分享至
国家知识产权局信息显示，北京万象智维科技有限公司申请一项名为“端侧跨平台大模型推理引擎的控制方法、设备和存储介质”的专利，公开号CN122886802A，申请日期为2026年7月。
专利摘要显示，本申请公开了一种端侧跨平台大模型推理引擎的控制方法、设备和存储介质，本申请涉及模型管理技术领域，方法包括：接收模型加载请求，获取目标模型的资源需求信息以及终端设备的硬件资源可用信息；基于资源需求信息与硬件资源可用信息，对目标模型进行预检；根据多个异构推理后端各自的能力描述信息，确定用于运行目标模型的目标推理后端以及目标运行设备；通过统一的调度层，基于目标推理后端的运行模式，在目标运行设备上加载目标模型，并生成一个与后端实现解耦的通用会话标识；通过通用会话标识接收推理请求，调度目标推理后端在目标运行设备上执行推理并返回推理结果。本申请提升了端侧推理引擎在不同平台上的执行效率。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
