北京
【CNMO科技消息】大模型在长上下文任务中偶尔出现的“抽风”现象，或许终于有了一份技术层面的解释。字节Seed团队今年9月底在预印本平台arXiv上提交了一篇论文，讨论分块KV缓存压缩所带来的相位敏感性，并把矛头直接指向了DeepSeek这一现象的成因。
DeepSeek
团队评估了基础版和后训练版的DeepSeek-V4-Flash、DeepSeek-V4-Pro，以及后训练后的DeepSeek-V4.1-Flash。这几款模型在架构上有一个共同做法——通过分块KV缓存压缩，以固定步幅把连续标记（token）的窗口压缩为更少的缓存条目。这样做的好处很直观：长上下文推理时，内存占用和注意力计算成本都能明显下降，这也是当前不少模型愿意采用这类压缩方案的原因。
但压缩并非没有代价。论文指出，这种处理方式在原有位置体系之外，引入了一个新的位置坐标——标记的相位，也就是这个标记相对于压缩窗口边界所处的位置。换句话说，同一段信息在压缩缓存中的“站位”不同，就会带来截然不同的检索表现。
相关消息
团队由此发现了一个系统性的不对称：相同的信息，落在某个相位时很容易被模型检索到，换到另一个相位却变得相当困难。他们把这种检索性能随相位周期性起伏的现象命名为“相位敏感性”（phase sensitivity）。
相关消息
更值得注意的是这种波动的幅度。在采用此类压缩的大型开放权重模型中，长上下文检索的准确度在不同相位之间可能相差高达40个百分点。这个数字揭示了平均基准分数可能掩盖的周期性弱点——一份漂亮的平均成绩单，实际是在高点与低点之间反复横跳后得出的结果，而用户真正遇到的是哪个相位，往往取决于信息在上下文中的落点。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
