北京
分享至
观点网讯：字节跳动Seed团队今年9月底在预印本平台arXiv提交一篇论文，指出DeepSeek长上下文性能漂移（“抽风”）的原因，与分块KV缓存压缩带来的相位敏感性有关。
该研究评估了基础版和后训练版的DeepSeek-V4-Flash和DeepSeek-V4-Pro，以及后训练后的DeepSeek-V4.1-Flash。
模型通过分块KV缓存压缩，以固定步幅将连续标记的窗口压缩为更少的缓存条目，能够减少长上下文推理的内存和注意力成本。
这种压缩同时引入了一个新的位置坐标：Token的相位，或其相对于压缩窗口边界的位置。
免责声明：本文内容与数据由观点根据公开信息整理，不构成投资建议，使用前请核实。
本文源自：观点网
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
