北京
分享至
大模型在长上下文任务中偶发“抽风”的成因，或许终于迎来一项技术解释。字节Seed团队于今年9月底在arXiv预印本平台提交一篇论文，将矛头指向分块KV缓存压缩带来的相位敏感性，认为这正是DeepSeek出现上述现象的根源。
研究覆盖了基础版与后训练版的DeepSeek-V4-Flash、DeepSeek-V4-Pro，以及经过后训练的DeepSeek-V4.1-Flash。这些模型的架构均采用分块KV缓存压缩，以固定步幅将连续标记窗口压缩成更少的缓存条目。
由此带来的收益十分直观：进行长上下文推理时，内存占用和注意力计算开销均显著回落，这也解释了为何当前不少模型愿意选用这类压缩机制。
但压缩并非无偿。论文指出，该方法在原位置体系之外新增了一个位置坐标，即标记的相位，也就是标记相对于压缩窗口边界所处的位置。换言之，同一信息在压缩缓存中的“站位”不同，其检索表现便可能产生明显差异。
市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。
本文源自：市场资讯
作者：闻野
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
