网易首页 > 网易号 > 正文 申请入驻

神剧预言成真?Google把AI"脑容量"压缩6倍

0
分享至


看过HBO《硅谷》的朋友,大概都记得那家叫Pied Piper的虚构公司。男主角发明的"中间压缩算法"能把文件压得极小,还因此改写了互联网规则。

当时我们都当编剧在放飞想象力。直到Google Research正式发布TurboQuant。

这条技术新闻原本枯燥得像财报脚注,却在24小时内收割1280万次浏览。原因很简单:它的设定和Pied Piper几乎一模一样——在不损失性能的前提下,把AI的"工作记忆"压缩至少6倍。

市场反应更诚实。美股存储芯片板块当天遭遇抛售,美光、闪迪齐齐收跌。一个纯软件层面的算法创新,凭什么让卖硬件的先慌了?

先说清楚TurboQuant到底在解决什么。

现在的AI模型越喂越大,显存胃口像个填不满的黑洞。尤其是你跟AI聊天的时候,它得记住你们聊过的所有内容,这叫KV Cache(键值缓存)。每蹦出一个词,模型就把它转成高维向量塞进GPU。对话越长,这份"数字备忘录"膨胀越快,很快就把显存撑爆。这就是为什么你的AI助手聊久了会"变笨"或者直接报错——字面意义上的脑容量不够。

更麻烦的是传统压缩方法的死结:解压需要"量化常数"这种元数据。听起来鸡毛蒜皮,加起来却能吃掉压缩带来的全部收益,白忙活一场。

Google的解法分两步走。


第一阶段PolarQuant做几何变换,把数据向量从直角坐标系搬到极坐标系,拆成"半径"和"角度"。转换后角度的分布变得高度可预测,模型不再需要为每个数据块单独存储昂贵的归一化常数,直接映射到固定网格就行,开销归零。

第二阶段QJL(量化Johnson-Lindenstrauss变换)充当数学纠错器。它把压缩残留的误差投影到低维空间,再压缩成符号位(+1或-1)。这保证了AI计算"注意力分数"时,压缩版和高精度原版在统计意义上完全一致。

打个比方:以前AI记笔记是"逐字逐句抄写",TurboQuant则发明了一套"极简速记符号"——该记的一个不漏,占的地方少了六倍。

对企业最友好的点是:不用重新训练模型。你手头现成的开源模型或微调版本,套上就能跑,无需额外数据集,也不用再走一遍训练流程。

实测数据方面,"大海捞针"测试里让AI从10万个词中找一句话,TurboQuant在Llama-3.1-8B和Mistral-7B上跑出满分召回率,KV Cache显存占用压缩6倍以上。LongBench综合评测(问答、代码、长文摘要)全面追平或超过此前最强基线KIVI。

英伟达H100上的数字更直观:4位精度TurboQuant计算注意力逻辑的速度,比未压缩32位方案快8倍。

论文发布24小时内,社区已经开始动手。Apple Silicon MLX框架的开发者Prince Canuma完成移植,测试Qwen3.5-35B模型,上下文从8500到64000 token全覆盖,各量化等级均实现100%精确匹配。他还发现2.5位TurboQuant能把KV Cache压缩近5倍,准确率零损失。

Cloudflare CEO Matthew Prince甚至称其为Google的"DeepSeek时刻"。


一年前DeepSeek用极低成本训练出高性能模型,打破了"高投入才有高产出"的行业迷信。那次冲击让所有人意识到:光有大模型不够,还得跑得起、跑得快。

TurboQuant正是这一脉络的产物。若从实验室走向大规模应用,商业价值肉眼可见:同一张H100,推理成本理论上直接砍半;端侧部署门槛大幅降低,以前需要32位精度的大模型,Mac Mini或本地服务器就能流畅运行。

存储芯片的抛售反应,说明过去两年支撑其估值的核心逻辑——AI对显存的需求只会越来越大——第一次在技术层面被动摇。

但冷水还是要泼。

历史上每次效率提升往往带动总需求增长,经济学叫"杰文斯悖论"。AI跑得更便宜,可能意味着用的人更多、频率更高,最终算力消耗反而增加。这场"显存危机"会不会因此化解,还真不好说。

此外,TurboQuant目前仍在实验室阶段。Google计划在下月ICLR 2026大会正式展示,同步亮相AISTATS 2026。但从论文到大规模生产,中间隔着工程适配、架构兼容性测试、真实场景验证,每一关都不轻松。

有社区用户指出,论文底层研究去年四月就已公开,眼下舆论多少有点追着旧闻起哄。若存储股因此大跌,恰恰暴露市场里有多少人没搞清楚边界——"丰田出了新混动引擎,石油就该崩盘"式的误判。

更重要的是,TurboQuant只解决推理阶段的显存瓶颈,训练阶段的消耗仍是另一座大山。从头训练主流量级大模型,所需算力依然是天文数字。

《硅谷》里,Pied Piper的压缩算法最终改变了整个互联网。现实中TurboQuant的野心没那么大,目标只是让AI在有限物理空间里记得更多、算得更快、跑得更便宜。

现实终究不是好莱坞剧本。不必彻底改变互联网,能和AI聊得更长、不再半途报错,已经是很多人想要的了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
卡塔尔公主来深圳提车,比亚迪王传福要白送?国产车靠硬技术逆袭

卡塔尔公主来深圳提车,比亚迪王传福要白送?国产车靠硬技术逆袭

生活魔术专家
2026-03-31 11:55:54
上海28岁天才股神直言:炒股多年来只做两种股票,挣得怀疑人生!

上海28岁天才股神直言:炒股多年来只做两种股票,挣得怀疑人生!

股经纵横谈
2026-03-29 22:00:50
美官员:特朗普决定逐步停战

美官员:特朗普决定逐步停战

极目新闻
2026-03-31 10:51:24
中老年人群,有性生活和没性生活,差别很大?男女都该了解下

中老年人群,有性生活和没性生活,差别很大?男女都该了解下

普览
2026-03-27 12:36:08
砍34+17!阿特金森:哈登是战术大师 他对莫布里的统治力功不可没

砍34+17!阿特金森:哈登是战术大师 他对莫布里的统治力功不可没

云隐南山
2026-03-31 12:50:05
新加坡总统公开喊话中国:要想世界和平,中国得放弃一样东西

新加坡总统公开喊话中国:要想世界和平,中国得放弃一样东西

壹知眠羊
2026-03-30 07:09:01
恒大集团许家印坑的最惨的9位大佬

恒大集团许家印坑的最惨的9位大佬

地产微资讯
2026-03-29 19:08:15
单依纯演唱会48小时限时退票:无任何手续费,无任何扣款,无责无损

单依纯演唱会48小时限时退票:无任何手续费,无任何扣款,无责无损

扬子晚报
2026-03-31 07:10:49
太阳末节狂轰40-16打崩灰熊 布克36+5格林21+6

太阳末节狂轰40-16打崩灰熊 布克36+5格林21+6

醉卧浮生
2026-03-31 10:19:10
小孩子能口无遮拦到什么程度!网友:恨不得当场找个地缝钻进去

小孩子能口无遮拦到什么程度!网友:恨不得当场找个地缝钻进去

夜深爱杂谈
2026-03-28 19:52:52
突传死讯!香港知名演员因肺炎离世,家中意外摔倒接受开颅手术

突传死讯!香港知名演员因肺炎离世,家中意外摔倒接受开颅手术

TVB的四小花
2026-03-31 03:25:02
日本人常说的“八嘎呀路”,翻成中文到底啥意思?原来是这两个词

日本人常说的“八嘎呀路”,翻成中文到底啥意思?原来是这两个词

长风文史
2026-03-30 16:19:47
落日挽歌?——勇士王朝的最后一舞正在落幕

落日挽歌?——勇士王朝的最后一舞正在落幕

茅塞盾开本尊
2026-03-31 13:02:10
油价4月7日要下调!加满一箱能省多少钱,车主提前看

油价4月7日要下调!加满一箱能省多少钱,车主提前看

沙雕小琳琳
2026-03-31 09:20:49
TA:厄德高的伤愈回归,将成为阿森纳赛季冲刺的关键

TA:厄德高的伤愈回归,将成为阿森纳赛季冲刺的关键

懂球帝
2026-03-31 13:54:13
毛新宇参观祖宅时突然发现家谱记载:原来毛主席是毛太华第20代孙

毛新宇参观祖宅时突然发现家谱记载:原来毛主席是毛太华第20代孙

老杉说历史
2026-03-14 20:54:20
伊朗外长喊话沙特“是时候驱逐美军了”

伊朗外长喊话沙特“是时候驱逐美军了”

环球网资讯
2026-03-31 08:47:11
总投47亿!成都“第三水源”定标!即将启动建设

总投47亿!成都“第三水源”定标!即将启动建设

坠入二次元的海洋
2026-03-31 11:34:37
意媒丨米兰拒绝参与竞价,决定放弃引进他

意媒丨米兰拒绝参与竞价,决定放弃引进他

米兰圈
2026-03-31 08:56:53
美国:抓紧从中东抽身,不能给中国时间了!

美国:抓紧从中东抽身,不能给中国时间了!

利刃号
2026-03-30 20:03:39
2026-03-31 14:36:49
固件更新中
固件更新中
有态度网友ytd
910文章数 5关注度
往期回顾 全部

科技要闻

尚未正式宣发,国行苹果AI半夜"意外闪现"

头条要闻

从俄乌冲突到伊朗战争:4年间AI从"打辅助"到"做决策"

头条要闻

从俄乌冲突到伊朗战争:4年间AI从"打辅助"到"做决策"

体育要闻

县城修车工,用20年成为世界冠军

娱乐要闻

丝芭传媒举报鞠婧祎:瞒报收入竟达85%

财经要闻

高薪内推藏陷阱!"招转培"骗局盯上求职者

汽车要闻

16万级最强2.0T 全新一代瑞虎9来了

态度原创

本地
数码
教育
时尚
军事航空

本地新闻

用Color Walk的方式解锁城市春日

数码要闻

Omdia:2025美国PC出货7150万台 2026或同比下降13%

教育要闻

深度解读|天府新区2026年入学新政:学区拆细了,流程简化了

妈妈们的人生,不该只有一个选项

军事要闻

第三艘航母出动数千名士兵抵达 美军大举增兵中东战场

无障碍浏览 进入关怀版