北京
谷歌研究院近日发布了名为“Titans”的新型模型架构，该架构采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过200万个Token的上下文长度。这一突破性设计灵感来源于人类的记忆系统，旨在解决现有Transformer模型在处理长文本或多轮对话时语义连贯性和信息准确性不足的问题。
Titans系列模型通过引入深度神经长期记忆模块，显著提升了处理大规模上下文任务的能力。其三种架构变体——Memory as a Context（MAC）、Memory as a Gate（MAG）和Memory as a Layer（MAL），分别针对不同任务需求整合短期与长期记忆。其中，“MAC”架构将长期记忆作为上下文的一部分，适合需要详细历史信息的任务；“MAG”则根据任务调整实时数据与历史信息的重要性比例；而“MAL”架构直接将历史记录和当前上下文进行压缩处理，效率较高。
谷歌表示，Titans在长序列处理任务中表现优异，无论是语言建模还是时间序列预测，均展现出超越现有模型的准确性和效率，甚至在某些场景中超过了如GPT-4等参数量数十倍的模型。
免责声明：本文内容由开放的智能模型自动生成，仅供参考，不构成任何专业建议或决策依据。用户应自行核实信息的准确性和可靠性，本站对用户因使用或依赖本文内容而产生的任何风险或损失不承担任何责任。如有疑问或发现内容有误，请联系本站进行处理。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
