网易首页 > 网易号 > 正文 申请入驻

突破AI记忆瓶颈,耶鲁博士新成果破解阅读失忆难题

0
分享至

当你阅读《红楼梦》《哈利·波特》《百年孤独》等长篇小说时,读着读着可能就忘记前面讲了什么,有时还会搞混人物关系。AI 在阅读长文章的时候也存在类似问题,当文章太长时它也会卡主,要么读得特别慢,要么记不住前面的内容。

为此,美国耶鲁大学博士生刘栋和合作者打造出一款名为 HSGM(Hierarchical Segment-Graph Memory)框架,它能快速、准确地理解超长文章。

在多个任务上的测试结果显示,HSGM 处理长文章的速度比传统方法快了 2 到 4 倍,原本需要 1 分钟的文章,现在只需 15-30 秒就能分析完。HSGM 需要的记忆空间更小,内存可以节省 60% 以上。

虽然 HSGM 使用了各种简化方法,但是它的准确率几乎没有下降,仍然能够达到最先进方法的 95% 以上。特别值得一提的是,当文章特别长比如有 2 万个词语时,HSGM 的优势反而更加明显,比传统方法快了 59 倍。

据了解,AI 在阅读的时候是把文字转换为它能够理解的数字代码,这个过程叫做编码。编码之后,AI 会尝试找出词语之间的关系,比如在 AI 阅读猫捉老鼠这个故事时,猫是捉的发起者,老鼠是被捉的对象。

这种理解方式叫做语义分析。计算机会把句子变成一张关系图,图中的点代表词语,线代表它们之间的关系。当文章很长时,这张图就会变得超级复杂,就像你把整本书的人物关系图画在一张纸上,密密麻麻的根本看不清楚。

HSGM 的聪明之处在于,不是像人类那样一口气读完整个长文,而是把整个文章切成几个段落块,每个块大约包含 256 个词语。这样,AI 就可以先集中精力理解一个小段落,而不用一下子面对整篇文章。

对于每个小段落,HSGM 都会画一张语义地图,记录这个词和那个词有什么关系,比如在“小明去公园散步”这个句子里,它会画出“小明-去-公园”和“去-散步”这样的关系。HSGM 不会记住每个段落的全部细节,而是为每个段落提取一个摘要节点,就像给每个章节写一段内容提要。

然后,它把这些摘要节点连接起来,形成一张全书概要图。这张图虽然简单,但是包含了整篇文章的精华。当有新内容加入的时候,HSGM 会为新内容画一张“小地图”,然后提取新内容的摘要,再将新摘要加入原来的全书概要图中。

这个过程叫做增量更新,让 HSGM 能够高效处理不断增长的内容,比如聊天记录和新闻推送等。

当你针对某一篇长文章向 HSGM 提问时,它不会在整篇文章中盲目地寻找答案,而是会首先进行快速定位,在全书概要图中寻找与问题最相关的几个摘要节点,就像人类通过图书目录找到相关章节一样。

找到相关段落之后,HSGM 会调出这些段落的详细小地图,在里面仔细寻找确切的答案。这种方法又快又准,就像有一个图书管理员,先帮你找到可能包含答案的书架,再从书中找出确切段落。

HSGM 的应用场景非常多:其一,可被用于智能问答系统。假如你想问 AI《红楼梦》中贾宝玉和林黛玉有多少次对话,它能快速找到答案;其二,可被用于长对话理解。

在客服系统中,HSGM 可以理解长时间的对话记录,根据历史问题准确把握客户的需求;其三,可被用于多跳推理。有些问题需要联系文章的不同部分才能回答。

比如“小明最初在哪里上学?后来转学到了哪里”,HSGM 的层次化记忆让其能够进行这种多跳推理;其四,可被用于生成自动摘要。

它可以在阅读长篇文章之后,自动生成简洁的摘要,帮助你快速了解文章大意;其五,可被用于法律文件分析。律师需要阅读大量的法律文书,HSGM 可以帮助他们快速找到相关案例和条款。

总之,HSGM 把记忆这件事明确拆解成短期上下文、中期工作记忆与长期语义摘要,并将它们对应地存放在 GPU 的高速显存、主机内存到 NVMe 这条层级链路上,按照重要性和时序动态迁移。这样一来,模型不只是“记得多”,而是“记得对、取得快、忘得巧”。

而在学术之外的产业实践方面,刘栋也是 FastLM.ai 的创始人。公司专注于大模型推理的高效基础设施,围绕缓存智能化、层次记忆管理与注意力加速构建产品线,其目前已经把这些思路做成了可交付的能力,正在推动“记忆感知”能力在规模化生产环境中的落地,来达成关于“更快、更省、更聪明”的 idea,把长序列推理从工程痛点变成可靠底座。

在未来,刘栋相信这些组件具备成为推理基础设施新的机器系统的潜力,其希望把长序列从“堆卡与碰运气”的问题,变成“可控、可解释、可扩展”的工程问题。

最后刘栋想补充两点。第一,长序列不是“更大的短序列”,长序列处理有几个主要的问题:注意力的距离衰减、语义的结构重复、信息的选择性保留与遗忘,这些规律决定了其需要做“记忆工程”,而不是简单通过短窗口把上下文无限放大(否则造成存储爆照)。

第二,Diffusion 的崛起让长视频与超高分辨率生成成为下一阶段的常态,没有记忆与注意力的重构,仅靠堆显存与堆带宽不可持续。其愿望是把计算“跑得快”变成“快且省、质量稳定且可解释”。

因此,他希望能够形成一套可落地、可复用、可演化的工程方法论,其目标是把 Memory‑Aware AI Infrastructure 继续打磨到可工业化的水准,提高机器学习系统的长序列处理效率和记忆能力。

参考资料:

https://arxiv.org/html/2509.18168v1

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国家药监局:北京同仁堂等17家药企27批次药品不符合规定

国家药监局:北京同仁堂等17家药企27批次药品不符合规定

科创板日报
2026-11-17 13:06:36
4场轰2球!曼联水货前锋状态复苏 冬窗有望重返意甲

4场轰2球!曼联水货前锋状态复苏 冬窗有望重返意甲

球事百科吖
2026-11-17 06:18:56
哈里找律师协商回归王室!威廉查尔斯统一战线,拒绝半进半出

哈里找律师协商回归王室!威廉查尔斯统一战线,拒绝半进半出

艺利森
2026-11-17 13:35:11
当年紫金矿业25亿拿下刚果铜矿,现在10年过去,赚到了多少?

当年紫金矿业25亿拿下刚果铜矿,现在10年过去,赚到了多少?

青史卷中人
2026-11-18 01:34:17
54岁袁立大病初愈游国外,剪短发瘦成皮包骨,老公全程宠溺跟拍

54岁袁立大病初愈游国外,剪短发瘦成皮包骨,老公全程宠溺跟拍

眼光决定境界
2026-11-16 13:06:15
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和贵妇圈沉默了

墨策讲历史
2026-11-16 02:20:06
成都一男子入职不到两月被辞,公司在微信群通报其“破坏团结”“职业道德缺失”;男子起诉公司侵犯名誉权并索赔5万余元,法院:驳回诉求

成都一男子入职不到两月被辞,公司在微信群通报其“破坏团结”“职业道德缺失”;男子起诉公司侵犯名誉权并索赔5万余元,法院:驳回诉求

极目新闻
2026-11-17 22:50:39
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

伦纳德之家
2026-11-12 22:47:24
虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

美女穿搭分享
2026-09-06 09:40:17
李耀茂,辞任佛山南海区人大常委会副主任

李耀茂,辞任佛山南海区人大常委会副主任

南方都市报
2026-11-17 18:28:23
1600万粉丝网红阿那亚探店后续:饭店里面开着灯,但一个人也没有

1600万粉丝网红阿那亚探店后续:饭店里面开着灯,但一个人也没有

白面书誏
2026-11-17 10:41:35
大明星赵薇的前夫,判了!

大明星赵薇的前夫,判了!

微微热评
2026-07-29 12:12:29
记者惊呼Amazing APEC媒体包都有啥?

记者惊呼Amazing APEC媒体包都有啥?

看看新闻Knews
2026-11-17 14:08:28
怕中美俄走得太近,高市早苗又急着找特朗普,劝他不要出卖日本

怕中美俄走得太近,高市早苗又急着找特朗普,劝他不要出卖日本

小陆搞笑日常
2026-11-18 04:02:20
看完国足2-2巴林后,全场产生3个意想不到和2个事实,王钰栋=MVP

看完国足2-2巴林后,全场产生3个意想不到和2个事实,王钰栋=MVP

侃球熊弟
2026-11-17 22:08:12
黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

秋风妃
2026-11-15 21:39:48
特殊时期邓小平到江西劳动,保护他的拖拉机厂长罗朋,在邓公重新出山后去了哪里

特殊时期邓小平到江西劳动,保护他的拖拉机厂长罗朋,在邓公重新出山后去了哪里

磊子讲史
2026-11-11 15:53:38
退休后,发现一个奇怪的现象:经济条件越好的人,越容易保持善良

退休后,发现一个奇怪的现象:经济条件越好的人,越容易保持善良

荷兰豆爱健康
2026-10-20 18:25:41
2026-11-18 06:11:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17499文章数 515369关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
健康
亲子
数码
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

情绪真能让健康人"伤心至死"?

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版