网易首页 > 网易号 > 正文 申请入驻

字节团队发现DeepSeek抽风真相:一个藏在压缩算法里的周期性Bug

0
分享至

你用AI时有没有遇到过这种情况——同样一个问题,用DeepSeek处理一段长文档时,有时候它能精准找到你要的答案,有时候却像换了个人似的,怎么都找不到关键信息?这种“时好时坏”的“抽风”现象,困扰了不少用户。

最近,字节跳动的Seed团队在论文预印本平台arXiv上提交了一篇研究,揭开了这个谜团,原来答案藏在一个叫“相位敏感性”的技术问题里。


为什么AI处理长文本会“抽风”?

要理解这个问题,先得知道大模型处理长文本时的一个核心难题:内存开销。

当AI阅读一篇长文章时,它需要把每个字词的信息都临时“记”在一个叫KV缓存的地方。文章越长,这个缓存就越大,占用的计算资源也越多,就像你的手机同时打开几十个App会变卡一样。

为了省内存,研究者发明了一种“压缩”办法:不再逐字记录,而是每隔固定距离,把连续的一小段内容“打包”成一条记录。打个比方,原来是一页纸记一个字,现在是一页纸记一句话,省了不少空间。

但问题就出在这个“打包”上。


“相位敏感性”:同样的信息,换个位置就找不到了

字节团队发现,这种压缩方式引入了一个新的坐标——每个字词相对于“打包边界”的位置,研究人员把它叫做“相位”。

这个“相位”的影响有多大呢?团队在DeepSeek-V4-Flash、DeepSeek-V4-Pro等多款模型上做了测试,结果发现了一个系统性的不对称现象:同样一条信息,放在某个位置时AI能轻松找到,但仅仅挪动几个字,AI就像瞎了一样完全找不到。


更惊人的是,在采用这种压缩方式的大模型中,不同“相位”下的长文本检索准确率差距可以高达40个百分点。也就是说,如果运气不好,AI找到答案的概率可能从90%暴跌到50%。

团队把这种随位置周期性变化的检索能力缺陷称为“相位敏感性”。

为什么这个发现很重要?

这个研究揭示了一个容易被忽视的问题:我们平时看AI的评测分数,往往看的是一个“平均分”。但“平均分”可能会掩盖这种周期性的弱点——就像一个人考试平均分80,但实际上有的章节考100,有的章节考20。

这意味着,当你问AI一个问题时,它能不能找到答案,可能不完全取决于问题本身,还取决于你问的方式、文档的格式、信息出现的位置。这些看似无关的细节,可能恰好让关键信息落在了AI的“盲区相位”上。

字节Seed团队的这项研究,相当于给大模型的“抽风”现象找到了一个明确的病因。对于普通用户来说,这也提供了一个实用启示:如果你发现AI在长文档里找不到某个信息,不妨试着换个问法,或者调整一下信息的呈现位置,也许就能绕开那个“相位盲区”了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
山西一男子与堂嫂系情人关系,分手后泼汽油欲纵火同归于尽,起火后因害怕与堂嫂一起灭了火,法院以故意杀人罪判其一年半

山西一男子与堂嫂系情人关系,分手后泼汽油欲纵火同归于尽,起火后因害怕与堂嫂一起灭了火,法院以故意杀人罪判其一年半

大风新闻
2026-10-09 15:59:02
追平生涯纪录!郑钦文2-0横扫斯维托丽娜 时隔两年重返中网四强

追平生涯纪录!郑钦文2-0横扫斯维托丽娜 时隔两年重返中网四强

醉卧浮生
2026-10-09 16:56:21
没想到!岚图汽车董事长第一家出来晒刹车踏板,评论区炸锅:趁着这波热度,把友商按在地上摩擦

没想到!岚图汽车董事长第一家出来晒刹车踏板,评论区炸锅:趁着这波热度,把友商按在地上摩擦

火山詩话
2026-10-09 09:18:37
湖南永州女商务局长被举报婚内出轨至少8人,本人回应:没有出轨,准备报警

湖南永州女商务局长被举报婚内出轨至少8人,本人回应:没有出轨,准备报警

塔子山评说
2026-10-08 09:15:10
俄罗斯的“鼠疫”,开始蔓延

俄罗斯的“鼠疫”,开始蔓延

城事堂
2026-10-09 09:02:04
李玮锋被停职下课!记者:单方面通知解约,没有客套分手,事出反常

李玮锋被停职下课!记者:单方面通知解约,没有客套分手,事出反常

足球大腕
2026-10-09 12:45:44
湖南永州市商务局局长被举报婚内出轨多人,其前夫离婚获330万元赔偿,讨要口头约定的170万元余款时被以涉嫌敲诈勒索罪提起公诉

湖南永州市商务局局长被举报婚内出轨多人,其前夫离婚获330万元赔偿,讨要口头约定的170万元余款时被以涉嫌敲诈勒索罪提起公诉

大风新闻
2026-10-08 20:31:15
27岁清华女学霸,一只手搅动世界

27岁清华女学霸,一只手搅动世界

南风窗
2026-10-08 19:10:16
居民医保个人缴费连续三年不涨,2027年仍为400元

居民医保个人缴费连续三年不涨,2027年仍为400元

第一财经资讯
2026-10-09 16:22:08
突发!周星驰套现走人了!

突发!周星驰套现走人了!

财经要参
2026-10-09 07:05:48
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
把百年电影工业握在手中  荣耀 Magic9 Pro Max 苔青配色图赏

把百年电影工业握在手中 荣耀 Magic9 Pro Max 苔青配色图赏

iMobile爱科技
2026-09-21 16:09:15
C罗发声明已48小时,0队友为其点赞,葡媒:足协要求他们不得介入

C罗发声明已48小时,0队友为其点赞,葡媒:足协要求他们不得介入

风过乡
2026-10-09 06:13:56
防护、屏幕、充电一次到位:倍思iPhone 18 Pro全家桶体验

防护、屏幕、充电一次到位:倍思iPhone 18 Pro全家桶体验

iMobile爱科技
2026-09-24 17:50:46
“父亲开大奔,才能养出这种女儿”,浙大女孩开学一幕火了,长相普通但气质一流

“父亲开大奔,才能养出这种女儿”,浙大女孩开学一幕火了,长相普通但气质一流

知晓科普
2026-10-09 09:34:31
美国最重要的两个盟国,翻脸了!

美国最重要的两个盟国,翻脸了!

斐君观点
2026-10-09 08:52:09
WTT大满贯4强诞生!陈幸同强势逆转,王艺迪出局,美和约战王曼昱

WTT大满贯4强诞生!陈幸同强势逆转,王艺迪出局,美和约战王曼昱

南海浪花
2026-10-09 14:51:43
郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

郑钦文太强了,三次破发压制乌克兰老将,斯维托丽娜被嘘

南海浪花
2026-10-09 16:14:57
医院接诊多例“汞超标”患儿,涉事银鳕鱼产品已不再标注“儿童装”

医院接诊多例“汞超标”患儿,涉事银鳕鱼产品已不再标注“儿童装”

澎湃新闻
2026-10-09 15:48:29
江淮跌停,尊界翻车,华为回应为何如此傲慢?

江淮跌停,尊界翻车,华为回应为何如此傲慢?

凤眼论
2026-10-08 19:17:27
2026-10-09 17:44:49
极客网 incentive-icons
极客网
科技使能新商业
3135文章数 2645关注度
往期回顾 全部

科技要闻

字节"干扰模型训练"实习生融资近2亿元

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

头条要闻

最淡泊的福建首富静静地走了 其家族现坐拥105亿财富

体育要闻

30天30队·鹈鹕:胖虎又一年“如果”

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

央行为何发布关于人民币汇率的政策立场

汽车要闻

比亚迪第三代唐内饰发布 两种风格/巨幕屏最抢眼

态度原创

艺术
旅游
手机
亲子
公开课

艺术要闻

当代油画家区础坚 女性人物油画选

旅游要闻

七天客流超31.4万人次,第二届捕风生活节聚起横琴烟火气

手机要闻

一加16官宣:首发9000mAh冰川电池,支持100W有线、50W无线

亲子要闻

【科普】你能分清「生育率」和「出生率」吗?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版