十多年来,深度学习一直把训练和推理隔成两件事。预训练阶段,大规模GPU集群花上几个月,用梯度下降更新数十亿个权重;一旦部署上线,这些权重就被冻住了。
推理时,模型想吸收新信息,只能往上下文窗口里塞token。会话一结束,或者上下文窗口一滚动,交互中学到的东西就全没了。更麻烦的是,标准循环模型和状态空间层会把过去的token压进一个固定大小的向量,在百万级token的长流里,细粒度信息必然丢失。
为了让部署后的模型能真正边用边学、又不触发灾难性遗忘,研究者把目光投向测试时训练(Test-Time Training,TTT)和嵌套学习(Nested Learning)架构。
隐藏状态本身就是一个神经网络
TTT重新定义了序列模型的隐藏状态。它不再把对话历史压成一个静态向量,也不依赖不断膨胀的键值缓存(KV cache),而是让隐藏状态本身成为一个紧凑、快速更新的神经网络。
推理过程中每来一个新token或一帧传感器数据,模型就在前向传播内部执行一次内循环自监督梯度步,直接更新内部记忆模块的快速权重。
换句话说,模型是在对自己当前读到的上下文做训练,把新规则、用户代码库、陌生的题目结构直接编码进临时的神经权重,然后再生成下一个token。
没有标签,靠什么更新权重
推理时没有标准答案,模型怎么知道该往哪个方向更新?TTT层用的是自监督重建任务:内部快速模型尝试预测输入token的掩码视图或投影视图,预测误差产生干净的梯度信号,在微秒级完成快速权重更新。
并非每个token都值得写进记忆。受认知神经科学启发,Titans这类架构会测量“惊讶度”,也就是预测表示与实际输入之间梯度的幅度。日常填充性的token只触发极小更新,意外的事实、新的API定义、环境的突然变化才会触发高优先级的记忆写入。
为了防止模型在适配单次会话时覆盖掉核心世界知识,嵌套学习按更新频率把参数拆开:
- 慢速外层权重:训练完成后冻结,保留基础推理能力、语言流畅度和广泛的世界知识。
- 快速内层权重:临时的、会话范围的神经记忆模块,快速适配本地上下文,切换任务时干净重置。
为什么这条路线值得关注
一是线性时间扩展与更强的召回。Transformer的KV缓存在计算上呈二次增长、在显存上线性增长,而TTT层维持一个恒定大小的权重矩阵,同时能存下比简单线性状态向量丰富得多的关系关联。
二是对陌生领域的真实适配。当模型被放进一套专有企业代码库或一门新发明的编程语言里,配备TTT的智能体会动态调整内部表示,而不是只靠脆弱的上下文示例硬撑。
三是持续学习的基础。把高惊讶度的会话更新在离线阶段固化下来,组织就有机会在静态预训练模型和不断演化的机构知识之间搭一座桥。
自然界的智能不会因为离开教室就停止更新。把前向传播变成一个连续的、嵌套的优化循环,测试时训练拆掉了训练与部署之间那道硬边界——模型每读一个token,都可能比之前更聪明一点。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.