北京
分享至
为什么同样是给AI搭长期记忆，有的系统建一次记忆要花上千秒？德州大学的一篇论文给出的答案有点反直觉：慢，是因为让大模型干了不该它干的活。
很多记忆系统会把一些很小的决定交给大语言模型来做，比如两段记忆要不要连起来、什么时候停止检索。每做一次这样的选择，模型就得生成一段文本，这些调用在记忆构建和检索过程中不断累积，时间就这么被吃掉了。
Jev-Mem 的做法是把这些选择交给一个快速打分器 Jev。它不生成文本，而是批量返回概率。大语言模型只在最后被调用一次，用来读取选中的记忆并给出回答。
在 LoCoMo 长对话基准测试上，这套方法的回答得分为 0.777，最好的基线是 0.700。构建记忆耗时 158 秒，最快的对手是 1,044 秒；回答耗时 0.93 秒，对手为 1.47 秒。
论文给出的建议很直接：如果你的记忆流水线在路由、打分或停止判断这些环节调用大语言模型，可以换成一个快速分类器，把大模型留给最终的回答环节。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
