微软预览 Foundry Agent Service 长期记忆功能，简化状态管理

来源：InfoQ

作者 | Steef-Jan Wiggers

译者 | 平川

在年度 Ignite 大会上，微软宣布公开预览 Foundry Agent Service 中的记忆功能。这是一个全托管的长期记忆存储，与其代理服务实现了原生集成。

有了记忆功能，开发者可以存储、检索和管理聊天摘要、用户偏好和跨会话、设备及工作流程的关键上下文。Foundry 的博文写道：

我们的记忆系统会从对话记录中系统性地提取用户档案信息和聊天摘要。

开发者只要在 Foundry 门户上启用记忆功能，系统将自动为其代理创建并配置好内存存储。此外，开发者可以通过 SDK 或 API 使用该功能。

在文档中，该公司解释说，记忆以项的形式存储在托管的记忆存储中，并涉及三个操作阶段：

• 提取阶段：系统从用户交互中提取关键信息，如偏好（例如“对乳制品过敏”）和最近的活动。

• 合并阶段：合并提取的记忆以避免冗余，解决冲突信息（如新的过敏反应）以确保准确性。

• 检索阶段：代理使用混合搜索技术快速找到相关记忆，并在开始时检索核心用户信息，确保对话过程自然而且充分知情。

图片来源：微软官方文档

对于记忆功能，有一个关键参数是范围，它控制了如何对其进行分区。记忆存储中的每个范围都保存了一个独立的记忆项集合。因此，开发者可以使用唯一标识符，如用户的 Entra ID 或自定义 UUID（用于存储和检索），对记忆存储进行分区。

作为公开预览，该服务有一些特定的 操作限制。目前，每个范围可以存储至多 1 万个单独的记忆项，系统每分钟的吞吐量限制为 1000 个请求。

通过将记忆管理从应用逻辑转移到服务运行时中，Foundry 自动处理记忆提取和检索的复杂“管道”。这标志着从传统检索增强生成（RAG）（通常像搜索引擎一样运作）到持久状态层的转变。

在 LinkedIn 的博文中，微软 AI 研究总监 Vivan Amim 指出：

记忆正迅速成为代理系统的“状态层”。Foundry 正在将这一演示功能转变为企业的基础功能。

这种转变表明，长期上下文正在从自定义实现转变为核心基础设施需求。在公开预览期间，记忆功能是免费的，用户只需为底层的聊天和嵌入模型付费。