大模型并非每次对话都从零开始,它需要依靠“记忆”来保存之前的对话历史。例如用户先前问过“Python中的文件处理”,助手回答后,用户接着问“它有哪些模式?”模型必须结合上文才能给出准确回应。
可以存入记忆的信息包括:历史对话、我们在系统提示中指定的用户偏好(如JSON格式)、既往决策和之前的任务。根据存储需求,我们会选择长期记忆或短期记忆方案。
短期记忆适合保存最近几轮对话或摘要,常用Redis、Valkey、Memcached、Cosmos这类缓存数据库。我们可以设置统一失效规则,或采用LRU淘汰策略,把最久未使用的数据清除。
长期记忆适合保存较长的对话历史,常用Postgres、Pinecone、MongoDB等数据库。为降低延迟,系统通常会把整个对话历史的摘要放入短期记忆,需要时快速读取。
情景记忆记录过去发生的具体事件、时间与上下文。它是短期与长期记忆的组合,按使用场景选择数据库。比如用户说“我打算去巴黎旅行”,助手问“待几天”,用户答“5天”;之后用户说“能推荐行程吗”,模型利用这段情景记忆知道目的地是巴黎、时长为5天,从而做出更相关回答。
语义记忆则存放从之前对话中提取的事实知识,帮助模型积累关于用户和世界的长期常识。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.