网易首页 > 网易号 > 正文 申请入驻

给Transformer装上一条连续的记忆河流

0
分享至


你有没有想过,Transformer读句子的时候,到底是怎么"看"上下文的?

它的做法其实挺粗暴的。每个词都变成一个向量,然后模型拿着当前这个词去跟前面所有词挨个比对打分,算出一堆权重,再把这些权重乘到对应的值向量上加起来。这就是大名鼎鼎的注意力机制。它撑起了从BERT到GPT的整个大厦。

但这里面藏着一个问题,长期以来没人太在意。

这些词向量本来是连续空间里的点,模型用线性层把它们投影出来的时候,理论上这些向量之间的"中间地带"也是有意义的。可是标准注意力机制只会在词出现的那个具体位置上打分、取值,词和词之间的空间就这么被浪费掉了。打个比方,这就像你在书架上翻书,只会把手伸向摆着的那几本书,却从来没想过两本书之间的缝隙里会不会藏着什么有用的东西。

卢森堡大学的研究者Afshin Khadangi想到了一个问题:如果把相邻的词向量连起来,变成一条连续的曲线,然后让模型沿着这条曲线做积分检索,会发生什么?

这篇论文就是在回答这个问题,他管这个新机制叫连续注意力,英文是Continuum Attention,简称CA。

核心问题:注意力机制漏掉了什么

先说清楚标准注意力机制长什么样。

对于位置i的一个查询向量,它会跟所有能看到的位置j(因果注意力下只能看j≤i)的键向量做点积,算出一个相关性分数,再对这些分数做softmax归一化,最后用归一化后的权重去加权求和对应的值向量。公式不复杂,但本质上,它把记忆当成了一堆孤立的点。

这个设定用了快十年都没人大改,不是因为它完美,而是因为它足够好用,谁也没找到明显更好的替代方案。此前确实有人尝试过别的路子,比如把softmax换成更稀疏的分布,或者设计自适应的感受野,还有人专门研究过怎么把注意力做得计算更省。也有研究者从数学上把注意力建模成概率密度上的积分算子,这一支工作提出了连续softmax和稀疏分布的理论框架,并且给出了解析梯度,这其实是CA这篇论文站的那片地基。

但这些理论框架大多停留在"如何对一个抽象的连续域做注意力",没有直接给出"怎么用Transformer自己学出来的键值向量去构造这条连续轨迹"的具体方案。这就是Khadangi这篇论文要填的空。

连续记忆轨迹:把散点连成一条线

CA的第一个核心设计,是把相邻的键向量和值向量用线性插值连起来,变成两条连续的函数,一条叫k(t),一条叫v(t),t是沿着记忆轨迹的连续坐标。

具体来说,对于位置j-1到j之间的区间,设u是这段区间内的局部坐标,从0走到1,那么这段区间上任意一点的键向量,就是(1-u)乘以第j-1个键向量,加上u乘以第j个键向量。值向量的插值方式完全一样。这样一来,原来离散的N个词向量,就被缝成了一条连续的折线。

为了让首尾两端也有合理的定义,论文还给整条轨迹的两头各接上了半个单位长度的常数延伸段,用第一个和最后一个可见词的向量填充。

轨迹的定义域

:指连续函数k(t)和v(t)所覆盖的坐标范围,从-1/2一直延伸到当前查询位置再加1/2,这两头多出来的半个单位就是为了让边界token也能公平地参与积分。

这个设计如果不做会怎样?如果直接对离散点做分段常数插值而不是线性插值,那么相邻两个词之间就完全没有过渡,查询向量只能在跳变处二选一,根本没法表达"介于两个词之间"的那种模糊相关性。这就好比你开车导航,如果地图上只标出城市,中间的路全是空白,那导航软件只能告诉你"下一个目的地是哪个城市",却没法告诉你现在车开到了两座城市之间的哪个位置,更没法在路上找一个不是终点的加油站。线性插值相当于把路全补上了,车可以停在路上任何一点。

查询自适应的相关性密度

有了这条连续轨迹,接下来的问题是:查询向量怎么在这条曲线上"找"相关的信息?

CA的做法是让每个查询在整条轨迹上诱导出一个指数形式的相关性密度。具体来说,相关性分数s_i(t)就是查询向量和轨迹上t点的键向量做点积,再除以一个温度参数。因为轨迹本身是分段线性的,所以在每一段内部,这个分数也是关于坐标的仿射函数,说白了就是一条直线。

这一点非常关键。因为分数是仿射的,所以对它取指数再积分,会变成一类叫"指数矩"的数学对象,而这类积分是有解析解的,不需要用数值方法一步步逼近。

指数矩

:一种形如∫u^n·exp(Δu)du的积分表达式,n取0、1、2三种情况分别对应归一化常数、一阶矩和二阶矩,在CA里,零阶矩决定一段记忆对总权重的贡献有多大,一阶矩决定这段记忆里查询实际偏向哪个端点,二阶矩用于反向传播时的梯度计算。

这意味着,每一段记忆区间对最终输出的贡献,都可以用一个封闭形式的公式直接算出来,不用近似,不用采样,是精确值。

论文给出了一个很漂亮的量,叫μ(Δ),表示查询在某段记忆区间内的"有效检索位置"。当这段区间两端的分数完全相等时,μ等于0.5,也就是检索位置落在正中间。如果右端分数更高,μ就会偏向1,也就是检索位置滑向右边那个词;反之则滑向左边。

这里就出现了一个很有意思的现象:不同的查询,哪怕面对的是同一段记忆,也会被引导到区间内不同的位置去取值。这就像两个人路过同一条巷子,一个人对巷子左边的小店更感兴趣,他实际上会在心理上把自己的注意力焦点往左边挪;另一个人对右边感兴趣,焦点就往右挪。标准注意力机制只能让这两人分别选中巷子口或巷子尾的某一家店,没法表达"我的兴趣焦点落在巷子中间偏左三分之一处"这种连续的偏好。如果没有这个μ函数,CA就退化成了普通的离散注意力,所有的连续积分设计也就失去了意义。

精确积分与边界处理

CA的第三个核心设计是怎么把这套理论落地成可以在GPU上并行计算的算子。

论文给出了J0、J1、J2三个指数矩的闭式表达式,分别对应零阶、一阶、二阶。当Δ(也就是区间两端分数之差)不等于0时,这三个矩都有显式的分式表达式;当Δ趋近于0时,论文也给出了对应的极限值,分别是1、1/2、1/3,这保证了数值计算不会在Δ接近0时发生除零错误或精度灾难。

为了进一步避免数值问题,论文还采用了泰勒级数展开来处理Δ接近0的情形,并且像标准softmax实现里常用的技巧一样,先减去当前查询能看到的最大分数再做指数运算,防止数值溢出。

数值稳定性处理

:当计算机处理浮点数指数运算时,如果输入值过大或两个很接近的数相减,容易丢失精度甚至溢出,CA借鉴了softmax领域已有的归一化前先减最大值的技巧来规避这个问题。

边界的处理也值得单独说一下。CA给记忆轨迹的头尾各加上了半个单位的常数延伸,这不是随便加的,而是为了保证一个重要的性质:当所有词的相关性分数都相等时,CA退化回普通的均匀加权注意力,而不会因为端点处理不一致而产生偏差。这是一个很细致的工程考量,如果没有这个半单位延伸,端点处的词天然就会因为积分区间不对称而获得偏少或偏多的权重,整个系统的"公平性"就被破坏了。

最终,CA的输出可以写成一个所有历史词向量的凸组合,权重非负且加和为1,这跟标准注意力的数学形式完全兼容,也正因为如此,它才能被塞进现成的Transformer解码器里,不需要改动周围的残差连接、归一化层和前馈网络。

解析梯度:不用数值微分也能训练

一个新的注意力机制如果没法高效求梯度,那就只能停留在纸面上。CA的第四个核心贡献,是给出了整个前向计算过程的解析反向传播公式。

论文证明,因为键和值在每个记忆段内都是关于坐标的线性函数,所以反向传播所需要的全部信息,用二阶及以下的指数矩就足够表达了。论文详细推导了相关性分数对左端点、右端点的梯度贡献,以及边界项的梯度,还给出了可学习温度参数的梯度公式。

这套梯度公式被用Metal语言写成了自定义的GPU核函数,并且在训练开始前用双精度浮点的CPU参考实现做了交叉验证,记录到的最大绝对误差低于6乘以10的负7次方,说明工程实现和理论推导是吻合的。

实验设计:字节级语言建模的较量

光有理论不够,论文做了一套相当扎实的对照实验来验证CA到底值不值。

实验用的是TinyStories数据集,这是一份专门给小模型做语言建模训练用的简单英文故事语料。模型按字节编码,词表只有256个符号,预测任务是经典的下一字节预测。训练语料取了TinyStories训练集的前1600万字节,验证用了官方验证集的前200万字节,另外还留了400万字节的独立验证切片用于探索性评估。

TinyStories

:由研究者Eldan和Li在2023年提出的合成故事数据集,专门设计给参数量很小的语言模型训练,目的是验证小模型能不能学会说连贯的简单英语。

模型架构是六层Transformer解码器,模型宽度256,四个注意力头,每个头维度64,用了RMS归一化和SwiGLU前馈网络,参数量大约500万。这个规模刻意选得很小,为的是能在有限算力下跑五个随机种子的完整对比实验,提高结果的统计可信度。

实验一共设置了八种注意力配置,三种是固定温度的标准softmax(温度分别是0.20、0.30、0.50),两种是可学习增益的softmax,剩下三种是CA的变体,一种可学习增益初始化在温度1,一种可学习增益初始化在温度0.30,一种固定温度0.30。固定温度版本的CA和固定温度0.30的softmax在参数量上完全相等,这保证了比较是公平的。

训练用AdamW优化器,学习率固定4乘以10的负4次方,五个训练种子分别是1729、2718、3141、4567、6174,这几个数字眼熟的人应该能看出来,是圆周率、自然常数e、还有其他几个数学常数的变体,带点研究者的小趣味。两种上下文长度(192和512)都用了等量的训练token预算,384万个token。

数据说话:CA在相同条件下赢了多少

下面这张表是开发集验证结果,衡量指标是每字节的负对数似然,数值越低说明模型预测得越准。

| 模型 | 设置 | 上下文192 | 上下文512 |

| B0.30 | 标准softmax,固定温度0.30 | 1.029903 | 1.174585 |

| G | 标准softmax,可学习增益,初始0.30 | 1.026097 | 1.200387 |

| H | CA,可学习增益,初始0.30 | 1.013707 | 1.127689 |

| **P** | **CA,固定温度0.30** | **1.009888** | **1.126540** |

在严格匹配参数量和温度的条件下,固定温度的CA在两个上下文长度上都取得了最低的负对数似然。在192长度上,CA比标准softmax低了0.0200 nats每字节,在512长度上低了0.0480 nats每字节,换算成相对提升大约是1.94%和4.09%。更重要的是,五个随机种子的配对比较里,CA全部获胜,而且95%置信区间都不包含0,这在统计上是站得住脚的结果。

论文还专门跑了一个独立的探索性验证集,这个切片之前被用来挑选过最强的softmax对照组,所以结果带有一定的探索性质,不能算完全的确证证据。即便如此,在512长度上,CA相比被挑选出的最强softmax基线依然领先0.0457 nats每字节,置信区间是[0.0316, 0.0598],五个种子全部获胜。

有一个细节特别值得拎出来说:论文发现可学习温度的CA和固定温度的CA表现差不多,固定温度版本在两个长度上甚至略微更好。这说明CA带来的提升,主要来自连续积分这个机制本身,而不是靠多学了几个温度参数去凑出来的。这对研究者来说是个好消息,因为固定温度版本参数量和标准softmax完全相等,比较起来干净利落,不会有人质疑"是不是你多给了参数才赢的"。

计算代价:免费的午餐不存在

当然,天下没有免费的午餐。论文也老老实实地报告了CA的计算开销。

在苹果芯片上用Metal实现,上下文长度192时,CA的训练吞吐量跟标准softmax基本持平。但长度拉到512时,CA的训练吞吐量慢了大约7.3%,前向推理吞吐量慢了将近39.1%。

这个代价说大不大,说小也不小。打个比方,这就像你把普通公路换成了带精确限速摄像头的智能道路,车流的平均质量提高了,追尾事故少了,但每个路口多了一道计算和判断的手续,高峰期的通行效率确实会打些折扣。如果完全不管这个代价,一味追求精度,那在真正需要大规模部署、对延迟敏感的场景里,CA目前的实现还不够实用,这也是论文自己承认的一个待优化方向。

复杂度层面,CA依然保持了和标准密集注意力一样的平方级序列复杂度,没有引入更高阶的渐进开销,这点至少保证了它不会随着序列变长而指数级拖垮计算资源。

这篇论文站在了谁的肩膀上

这个工作并不是凭空冒出来的。它直接建立在Martins等人2020年发表的《稀疏和连续注意力机制》之上,那篇论文第一次系统地把注意力建模成概率密度上的积分,并给出了连续softmax和稀疏分布的解析梯度框架。CA可以看作是把这套抽象的数学工具,具体落地到了Transformer自己产生的键值向量上,用线性插值构造出一条可以精确积分的轨迹,这是一次从理论框架到工程实现的转化。

另外一个重要的参照系是Vuckovic等人2021年的《论注意力的正则性》,这篇论文从更纯粹的数学角度,把注意力描述成作用在概率测度上的积分算子,为理解"注意力到底在数学上是什么"提供了视角。CA的设计思路和这个视角是相通的,都承认了"记忆不该只是离散点"这件事。

至于CA之后会不会有后续工作把它推广到更大规模的模型、更长的上下文,或者换上旋转位置编码而不是论文里用的绝对位置编码,这些都还是开放问题,论文自己在局限性部分也诚实地列了出来。

写在后面

读这篇论文的时候,有一个地方让我反复想了好一会儿:为什么偏偏是"线性插值",而不是更复杂的曲线拟合?

答案其实藏在论文第二章那句"分段线性构造也提供了一个分析上的优势"里。正因为选择了最简单的线性插值,相关性分数才会变成仿射函数,积分才能有闭式解。如果换成样条曲线或者更高阶的插值,理论上信息表达能力可能更丰富,但积分很可能就没有解析解了,只能靠数值方法去逼近,梯度计算也会变得又慢又不稳定。这其实是一个很朴素的工程智慧:有时候不是因为简单的方法最好,而是因为简单的方法恰好能在数学上"算得出来",这个约束反过来决定了设计选择。

还有一个细节让我意外,论文里提到CA在"所有视觉分数相等"时会精确退化成均匀注意力,这个性质是专门通过半单位边界延伸设计出来的,不是自然涌现的。这说明论文作者在设计这套系统时,脑子里始终绷着一根弦:新机制必须能够平滑地兼容旧机制的特例,不能在边界情况上掉链子。这种"向后兼容"的设计哲学,其实在很多领域的创新里都能看到影子,从编程语言的版本迭代到硬件接口的升级,道理是相通的。

这篇论文目前只在五百万参数规模的小模型上验证过,能不能扩展到真正的大语言模型,吞吐量的差距能不能被更好的内核实现追平,这些都还悬而未决。但至少它提出了一个值得认真对待的问题:我们一直以来默认的"注意力只发生在离散的词位置上"这个假设,真的是必须的吗?

Q&A

Q1:Continuum Attention是什么?

A:Continuum Attention(CA)是一种新型的因果Transformer注意力机制,它把相邻的键值向量用线性插值连成一条连续的记忆轨迹,让查询通过积分而不是离散打分来检索信息,整个过程有精确的解析解。

Q2:CA相比标准softmax注意力效果提升了多少?

A:在固定相同温度和参数量的条件下,CA在TinyStories数据集上,上下文长度192时每字节负对数似然降低0.0200,上下文长度512时降低0.0480,五个随机种子的配对比较全部获胜。

Q3:使用CA会不会让模型变慢?

A:会有一定代价。上下文长度192时训练速度和标准softmax基本持平,但长度512时训练吞吐量慢了约7.3%,推理吞吐量慢了约39.1%,这是目前实现尚待优化的地方。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
曝57岁窦唯四婚得子 本人及工作室均未回应

曝57岁窦唯四婚得子 本人及工作室均未回应

动物奇奇怪怪
2026-11-22 17:05:35
又爆单了!山姆突然卖断货?这个冬日你拥有一件加拿大鹅了吗?

又爆单了!山姆突然卖断货?这个冬日你拥有一件加拿大鹅了吗?

栋察楼市
2026-11-21 08:05:54
中国未来最大敌人,不是特朗普,而是即将手握万亿美元的马斯克

中国未来最大敌人,不是特朗普,而是即将手握万亿美元的马斯克

麓谷隐士
2026-11-22 00:05:04
峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

军情观察家
2026-11-21 13:10:14
真相扎心:同样是内裤,差距怎么这么大?

真相扎心:同样是内裤,差距怎么这么大?

果壳
2026-11-22 12:17:04
H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

互联网.乱侃秀
2026-11-21 11:23:44
重磅!丰田正式公布第六代混动系统、新一代TNG平台架构,首发2027款赛那

重磅!丰田正式公布第六代混动系统、新一代TNG平台架构,首发2027款赛那

TMC动力
2026-11-22 10:32:48
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
诺里:杨瀚森最重要的是多打比赛,当他健康时可以去打G联赛

诺里:杨瀚森最重要的是多打比赛,当他健康时可以去打G联赛

懂球帝
2026-11-22 15:59:05
四川医疗反腐风暴中,当年抱着被子坐在医院走廊、硬熬800多天的"走廊医生"兰越峰,单枪匹马与院长叫板——如今,她又过得怎么样了?

四川医疗反腐风暴中,当年抱着被子坐在医院走廊、硬熬800多天的"走廊医生"兰越峰,单枪匹马与院长叫板——如今,她又过得怎么样了?

扶苏聊历史
2026-11-22 12:40:08
6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手2选1

6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手2选1

球场没跑道
2026-11-22 09:03:41
“穿上一热臭得要命!”女子500元买的羽绒服剪开一看气坏了,“真是花钱遭罪”;提醒:认准这几个字

“穿上一热臭得要命!”女子500元买的羽绒服剪开一看气坏了,“真是花钱遭罪”;提醒:认准这几个字

新民周刊
2026-11-22 13:04:22
突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

裕丰娱间说
2026-11-22 10:27:55
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
张家齐妈妈向张家齐道歉:这么优秀的闺女在身边我却没发现,让你受了很多委屈,也让我们亲子关系越来越远

张家齐妈妈向张家齐道歉:这么优秀的闺女在身边我却没发现,让你受了很多委屈,也让我们亲子关系越来越远

极目新闻
2026-11-22 19:44:38
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
秘鲁总统藤森庆子结束中国行程后,为何没有直接回秘鲁,而是去了日本?

秘鲁总统藤森庆子结束中国行程后,为何没有直接回秘鲁,而是去了日本?

世界纵横说
2026-11-21 11:02:55
奉劝所有人,一定要少吃,少吃,少吃,千万别不吃!

奉劝所有人,一定要少吃,少吃,少吃,千万别不吃!

荷兰豆爱健康
2026-11-22 00:06:23
2026-11-22 21:43:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

教育要闻

90% 同学混淆!霜降是凝华还是液化?

头条要闻

百万粉丝主播被指私闯他人果园直播糟蹋苹果 警方回应

头条要闻

百万粉丝主播被指私闯他人果园直播糟蹋苹果 警方回应

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

时尚
亲子
艺术
游戏
军事航空

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

亲子要闻

宝宝的举动让妈妈心凉凉的

艺术要闻

15幅 100多年前的风景油画

女流化身佛州逼兜侠!GTA6 NPC素质吊差 必须教训

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版