北京
分享至
国家知识产权局信息显示，摩尔线程智能科技（上海）有限责任公司申请一项名为“张量缓存的传输方法、装置、设备及存储介质”的专利，公开号CN122884707A，申请日期为2026年9月。
专利摘要显示，本申请公开了一种张量缓存的传输方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：接收缓存传输请求，缓存传输请求用于请求传输张量缓存，张量缓存用于缓存LLM推理过程中产生的K张量和V张量中的至少一种；将张量缓存通过中转的方式从CPU的主机内存传输至加速设备的设备内存；或，将张量缓存通过中转的方式从加速设备的设备内存传输至CPU的主机内存；其中，加速设备用于加速LLM的推理过程。本申请可以规避直接解引用CPU主机指针引入的张量缓存传输风险。
声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：情报员
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
