网易首页 > 网易号 > 正文 申请入驻

记忆张量申请基于旋转前分页缓存的大语言模型推理方法、系统、设备及存储介质专利,显著降低显存占用和重复计算

0
分享至

国家知识产权局信息显示,记忆张量(上海)科技有限公司申请一项名为“一种基于旋转前分页缓存的大语言模型推理方法、系统、设备及存储介质”的专利,公开号CN123138150A,申请日期为2026年10月。

专利摘要显示,本发明公开了一种基于旋转前分页缓存的大语言模型推理方法、系统、设备及存储介质,涉及人工智能推理加速技术领域。该方法在预填充阶段和解码阶段将未经旋转位置编码处理的原始键值张量以分页方式写入并管理KV缓存,记录各逻辑块的序号及块内偏移;在注意力计算时,由注意力内核在线依据逻辑块序号和块内偏移对键向量施加旋转位置编码,实现位置编码与缓存解耦。该方案使不同批次的张量块可跨请求复用同一物理块,支持前缀共享与块级缓存复用,解决了现有在线施加位置编码方案中块复用受限、共享前缀管理复杂的问题,显著降低显存占用和重复计算,提升推理吞吐,可用于多轮对话、长文本生成等场景。

天眼查资料显示,记忆张量(上海)科技有限公司,成立于2024年,位于上海市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本641.666万人民币。通过天眼查大数据分析,记忆张量(上海)科技有限公司共对外投资了1家企业,参与招投标项目2次,财产线索方面有商标信息15条,专利信息13条。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
十二月份上旬开始,福运降临,喜事不断的三大生肖!

十二月份上旬开始,福运降临,喜事不断的三大生肖!

情感事聊
2026-11-21 14:35:58
离婚13年,李亚鹏直播夸王菲,海哈金喜一句回应,原来这就是爱

离婚13年,李亚鹏直播夸王菲,海哈金喜一句回应,原来这就是爱

松林侃世界
2026-11-21 08:19:34
输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

风过乡
2026-11-21 07:32:47
当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

唠叨说历史
2026-11-20 17:16:47
湖人险胜!东契奇25+4+8,赛后塞克斯顿抱住凯斯勒,东契奇先一步退场

湖人险胜!东契奇25+4+8,赛后塞克斯顿抱住凯斯勒,东契奇先一步退场

担酒
2026-11-21 13:29:46
小米269元新品开售:1.77英寸+2190mAh

小米269元新品开售:1.77英寸+2190mAh

全是技能
2026-11-20 12:08:45
一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

极目新闻
2026-11-20 15:34:45
顶薪内线范子铭两场只得7分,首钢教练李楠为何坦言只能用联防?

顶薪内线范子铭两场只得7分,首钢教练李楠为何坦言只能用联防?

各生欢喜者
2026-11-21 16:13:30
女子去男友朋友店工作,入职一周便发生关系2次,女子报警称遭骚扰,朋友被判强奸,后因证据不足改判无罪

女子去男友朋友店工作,入职一周便发生关系2次,女子报警称遭骚扰,朋友被判强奸,后因证据不足改判无罪

观威海
2025-08-07 21:14:11
看baby的身材,我反而不焦虑了

看baby的身材,我反而不焦虑了

阿废冷眼观察所
2026-11-21 00:17:01
全崩了!一夜之间集体暴跌;近30万人爆仓

全崩了!一夜之间集体暴跌;近30万人爆仓

叮当当科技
2026-11-21 15:00:22
夯爆了,没有985的江西拿下了科技中部第一

夯爆了,没有985的江西拿下了科技中部第一

王姐懒人家常菜
2026-11-21 08:33:33
高圆圆和当时的男友于小伟在北京一处老式居民楼下的留影

高圆圆和当时的男友于小伟在北京一处老式居民楼下的留影

娱你同欢
2026-11-13 22:28:44
以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

另子维爱读史
2026-11-12 22:35:51
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
金融危机不是要来了,而是已经到来了:最先露馅的是黄金

金融危机不是要来了,而是已经到来了:最先露馅的是黄金

小陆搞笑日常
2026-11-20 16:00:23
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
《GTA6》豪爽女邻居火出圈,熟悉的通水管桥段,无数玩家为之疯狂

《GTA6》豪爽女邻居火出圈,熟悉的通水管桥段,无数玩家为之疯狂

街机时代
2026-11-21 12:00:05
零跑A10拉啤酒,后备箱被压穿了?

零跑A10拉啤酒,后备箱被压穿了?

新浪财经
2026-11-20 16:18:02
2026-11-21 17:28:49
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
10258025文章数 547272关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
艺术
家居
时尚
本地

教育要闻

作业还要用钉钉微信交?郫都区叫停线上作业,明确纸质化加熔断

艺术要闻

2026第七届民族美术作品展 油画选二

家居要闻

2026建博会(广州) 公装联探展交流活动

今年冬天流行“大+小”穿法,时髦又显瘦!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版