LongStraw在8块H20 GPU上实现210万token RL后训练，计算量削减8-16倍

一条发布在X平台上的推文，在三小时内被转发了超过1200次。推文来自@HuggingPapers，内容简短却让不少做长上下文训练的研究者停下了手头的工作：一个名为LongStraw的架构感知执行栈，声称仅用8块H20 GPU，就把强化学习后训练的位置数推到了210万token——而按现有方案，达到100万token往往需要64到128块高端训练卡。

这个数字如果属实，意味着长序列RL后训练的硬件门槛被一脚踩低了至少一个数量级。更关键的是，LongStraw并没有发明新的模型架构，也没有引入什么神秘的稀疏化技巧，它只是换了一种“回放”方式：只重播短的响应分支，而不是每次迭代都把一整条百万token的序列从头算到底。

具体来说，在RL后训练的每一次rollout中，模型会基于同一个提示词生成多个候选回答。LongStraw发现，无论是给同一段法律合同做摘要，还是向同一个代码库提出重构需求，提示词以及生成序列中前面绝大部分内容在每个回答分支之间是完全相同的——真正发生分岔的，只是末端那几百到几千个token。于是这套系统把提示词与共享前缀的正向传播结果缓存下来，反向传播时只针对每个回答分支独有的后缀进行计算。这样一来，每轮迭代的计算量就不再与全序列长度挂钩，而是只跟“分岔出去的那一小段”有关。

这个思路一抛出，很多做基础设施的研究者立刻联想到了梯度检查点。只不过梯度检查点是在层级别上用存储换计算，LongStraw则是把rollout级别当成了调度单位，通过重用共享前缀的激活值来绕开重复的正向传播。这种层级上移的复用，恰好掐住了长上下文RL后训练中最吃硬件的那个瓶颈：当你要把一条100万token的序列完整存进显存、再反复做前向反向时，即便把张量并行、流水线并行打满，普通实验室也根本凑不出那么多GPU。

LongStraw直接挑明了这一步的代价：如果提示词本身发生了改变，那么共享前缀就失效了，整条序列仍然需要重新计算。不过在实际的RL后训练流程里，通常是固定一组高质量长提示，然后让模型生成多种回答并根据奖励模型打分，所以共享前缀几乎总是存在的。这种“以不变应万变”的假设，让它能够在当前主流的后训练范式中把硬件收益拉满。

H20这块卡在这里面扮演了一个很微妙的角色。业界对H20的定位一直很清楚：这是一块面向推理场景的中端卡，算力密度和显存带宽跟H100、B200这样的训练猛兽没法比。但LongStraw恰恰是在这样一组不被训练场景看好的硬件上，做到了很多全尺寸训练集群才敢想的事。这倒不是说H20突然变强了，而是LongStraw把计算开销的重心从“暴力吞吐”移向了“缓存复用”，让推理卡以它的特性反而更适配这种稀疏重放的模式。当然，这也不可避免地带来一个问题：真实训练吞吐量到底是多少token每秒，以及在大规模采样下缓存命中率会不会断崖式下滑，目前还完全看不到数据。

如果翻看最初那条推文下的讨论，会发现点赞最高的一条评论就是：“收敛性呢？” 这也是LongStraw公开信息里最大的一块空白。只回放响应分支，意味着模型在反向传播时经历的梯度信号路径与完整序列训练并不完全一致。会不会因此而引入某种分布偏差，让长距离依赖的建模能力在RL阶段悄悄退化？在缺失消融实验和基准测试的情况下，没有人能给出确切答案。有研究者指出，类似的分支级训练在短文本场景里已经被验证过可以近似完整梯度，但当上下文拉长到百万级时，误差累积行为可能会完全不同，这需要专门的收敛性分析。

另一个被频繁提及的疑虑，是LongStraw与非自回归采样方法之间的兼容性。当前回放机制严重依赖自回归模型“前缀确定、后续发散”的生成特性，而如果未来后训练流程中大量采用非自回归解码或者投机式解码，那些前缀不再严格共享的情况下，布兰奇重放可能就失去了它赖以省算力的基础。尽管非自回归方案距离大规模落地还有距离，但研究者们显然已经在警惕这种架构锁定的风险。

如果把视野再拉高一点，LongStraw面临的本质上是一个“通用性换效率”的经典取舍。现有的长上下文RL系统追求对任意变长提示的全覆盖能力，因此宁可堆GPU也要保证方案的普适性。LongStraw则反过来，用“提示词固定”这一强假设换来了极致的硬件节约。对于很多已经验证好长提示模板、只需要做大规模RL微调的团队来说，这个假设完全成立；但对于那些需要动态调整提示、频繁变换上下文类型的任务，切回传统方案可能仍然是唯一选择。

不过，即便带着这些未解答的问题和明确的使用边界，LongStraw依然戳到了一个非常实际的痛点：不是每家做长上下文RL的实验室都拿得出128块H100。在很多大学实验室和中型公司里，一个8卡节点可能就是全部家当。过去他们只能退而求其次，用分段训练、滑动窗口这种有明显天花板的手段来模拟长序列效果，而LongStraw至少在纸面上给出了一条截然不同的路径——不必换卡，不必等下一代硬件，换个调度方式就行。

这让人想起几年前DeepSpeed Zero把大模型训练门槛从数千块卡压到几百块卡的那个时刻。当时同样面临收敛性疑虑和兼容性质疑，但随着后续的工程打磨和理论补充，那些裂口慢慢被填平，最终成为了行业底座的一部分。LongStraw能不能复制那条轨迹，现在说还太早。但可以肯定的是，当“8块卡跑200万token”不再只是HuggingPapers上的一句短消息，而是变成一篇带着完整训练日志和基准分数的正式论文时，长上下文模型后训练的底座，可能就要重写一次。