谷歌公布 Titans 系列模型架构：融合长短期记忆与注意力机制

IT之家 1 月 20 日消息，谷歌研究院发文，公布了“Titans”系列模型架构，相应模型架构最大的特点是采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过 200 万个 Token 的上下文长度，目前相关论文已发布在 arXiv 上（点此访问），谷歌计划未来将Titans 相关技术开源。

目前业界流行的 Transformer模型架构虽然在大多数场景表现优秀，但其上下文窗口（Window）长度的限制，通常仅为几千到几万个 Token，这使得它们在处理长文本、多轮对话或需要大规模上下文记忆的任务中，往往无法保持语义连贯性和信息准确性。

而谷歌这一 Titans 系列模型架构通过引入深度神经长期记忆模块（Neural Long-Term Memory Module）有效解决了相应问题，其设计灵感号称来自人类的记忆系统，结合了短期记忆的快速反应与长期记忆的持久特性，并通过注意力机制来着重执行当前的上下文（着重于用户即时输入的提示词，并保留对于以往提示词的准确记忆）。

IT之家参考论文获悉，Titans 具有三种架构设计变体，分别是 Memory as a Context（MAC）、Memory as a Gate（MAG）和 Memory as a Layer（MAL），可以根据不同的任务需求整合短期与长期记忆。其中“MAC”架构变体将长期记忆作为上下文的一部分，允许注意力机制动态结合历史信息与当前数据，适合处理需要详细历史上下文的任务。“MAG”架构变体则根据任务需求，调整实时数据与历史信息的重要性比例，专注于当前最相关的信息。

谷歌重点强调了“MAL”架构变体，该架构主要将记忆模块设计为深度网络的一层，也就是从模型设计层面，直接将用户的历史记录和现在输入的上下文内容进行固定压缩，之后交由模型的注意力模块处理，因此效率相对较高，但输出内容效果不如“MAC”和“MAG”变体。

谷歌声称，Titans 系列模型架构在长序列处理任务中的表现明显优于现有模型，无论是语言建模还是时间序列预测，Titans 在准确性和效率上都展现了“压倒性优势”，甚至在某些场景中超越了如 GPT-4 等具有数十倍参数的模型。