小米MiMo降价99%并非营销！罗福莉发X打脸唱衰者

文 | 象先志

罗福莉发了一条X，要给小米MiMo的降价风波划上一个句号。

5 月 26 日，小米 MiMo 官方账号在 X 上甩出一条公告：MiMo-V2.5 系列 API 永久降价，最高降幅 99%。所有 context 长度统一定价，Token 套餐升级 5-8 倍。

这条公告在国内 AI 圈刷了一整周。业界第一反应分成几派。最大那派说这是"又一轮价格战"——这两年从智谱、DeepSeek、字节豆包到阿里通义，国产大模型轮着降价，谁不在卷。

另一派往悲观处看：小米刚公告今年利润腰斩，这时候还往 AI 烧 600 亿、API 直接砍九成——典型的"亏本抢市场"。还有人觉得这是 DeepSeek 效应继续——后者把整个行业的定价基准拽到了地板上，谁不跟谁出局。

所以作为MiMo的负责人，罗福莉在昨晚直接拿出了一份 5000 字的技术博客，把降价的工程账目公开给了所有人。

“看，这是真实的工程能力，不是营销手段”。

要听懂罗福莉在说什么，先得明白这个 99% 到底降了什么。

它不是全模型降价。99% 的折扣专门针对一档叫 Input (Cache Hit) 的定价——也就是"用户在长对话里重复读历史上下文"那部分。普通的新输入（No Cache Hit）降幅小很多，模型输出（Output）降幅最小。

如果你把模型当成一家咖啡店，这件事就好理解了。

你点一杯半糖拿铁，咖啡店有两种做法：每次从头磨豆子量糖浆倒奶，原料人工都付一次；但是模型知道这周你每天都要喝同样的半糖拿铁，干脆做一大壶存进冰柜，下次按一杯舀一份。MiMo 这次做的是后者——把用户重复读的部分从"现算"改成了"现取"，所以这部分的真实成本接近 0，自然能给 99% 折扣。

要做到"现取"，技术博客里讲了六个工程，每一个都不能缺。下面一个一个拆开看。

工程一：把模型"记忆"压到 1/7

模型在和你对话时，每个 token 都要算一份"中间状态"，存起来供下一步用。这个东西叫 KVCache——可以理解成模型的"短期记忆笔记本"。每说一句话，模型在笔记本上记下这句话的摘要，下次直接翻笔记，不用从头听一遍你说过的所有内容。

传统模型每一层都做"Full Attention"——也就是每个 token 都要看完整段对话所有 token，笔记本越翻越厚。MiMo-V2.5-Pro 改了架构：70 层里 60 层只看最近 128 个 token（SWA，Sliding Window Attention），只有 10 层"档案管理员"看全部。

结果是 KVCache 体积直接压到 Full Attention 的 1/7，计算量同样是 1/7。

这是降本的第一块地基。打个比方，原本公司每个员工都被要求记住所有的会议记录，结果每个人的脑子都不够用、效率也低。新规定把 60 个员工的脑负担降到 1/7，只留 10 个档案管理员管全部历史——公司整体记忆能力没下降，但效率提升 7 倍。

工程二：让 SWA 省下的空间真的能用

架构上把笔记本压到 1/7 是第一步，但要把"理论上的 1/7"真的兑现成"实际的 1/7"，还有一道坎。

传统的 KVCache 系统是按"最大可能用量"给所有层统一分配显存的。意思是：哪怕 60 层 SWA 只需要小本子，系统也按"档案管理员的大本子"给所有层都分配——SWA 省下来的空间被白白预留了，等于没省。

罗福莉团队的做法是把 KVCache 拆成两个独立的池子。Full Attention 那 10 层走"大池子"，按全长分配；SWA 那 60 层走"小池子"，只按 128 个 token 的窗口分配。

打个比方，原本公司给每个员工都发了"能装 100 年文件的档案柜"——但 60 个员工其实只需要"装一周文件的小柜子"，那些大柜子里 99% 的空间是空的。新做法是按实际需要分柜子。结果整个办公室能多装 5 倍以上的同事进来工作——同样一台 GPU 能服务的并发用户数翻了 5 倍。

这一步看上去简单，但没有它，前面 SWA 架构的优势等于白设计。

工程三：让"老用户重复读"真能命中缓存

笔记本压到 1/7 + 空间真用得起，下一步要解决一个老问题：前缀缓存的命中率。

很多用户的对话有相同开头——同一段 system prompt、同一段代码库、同一份长文档。系统会把这些算过的结果存起来，下一次匹配上就直接复用。这个机制叫前缀缓存。

但 SWA 模式下出现一个坑：两条请求 token 一样，不等于 KV 还在。可能前缀算过，但 SWA 窗口外的部分早就被淘汰了。如果系统还按"token 一样就命中"的旧规则给你复用，会读到无效或被覆盖的数据，模型效果会直接崩。

罗福莉团队升级了规则到"窗口安全长度"——只承诺"你能完整借到的那部分"。

打个比方，图书馆有 100 万本书，你想借全套共计三本的《三体》。原来的架构会告诉你"这本书在"，你跑过去发现书架上只剩封面和第一部，后面两部都被借走了。这种"伪命中"让你白跑一趟还要重借。新系统的规则改成只承诺你能完整借到的那部分——先给你第一本，然后把后面两本再给你调过来。

听起来好像更严格、命中率会下降。但实际相反：因为 SWA 让 KVCache 体积压到 1/7，同样存储空间能装的内容多了好几倍，真实命中率反而大幅度提升。

罗福莉博客里给了线上实测数字：主流 harness 框架下服务端 cache 命中率平均 93%，高频长周期用户可达 95% 以上。

翻译一下这个数字的含义：95% 的"重复读"请求根本不用 GPU 算，直接从缓存里取。这就是 99% 折扣的物理基础。

工程四：把“缓存”装进GPU自带的SSD

命中率上去了，下一个问题是：这些缓存装在哪里。

显存（GPU 上的 HBM 内存）很贵也很有限——一台 H100 八卡机才 640GB 显存，但 MiMo 要存的 KVCache 可能是几十 TB 量级。所以必须分层：最近用的放显存（L1），稍微旧的放 CPU 内存（L2），冷数据存到分布式缓存（L3）。

跟你管钱一个道理。钱包里的现金是显存——随用随取但放不了多少。银行卡余额是 CPU 内存——取一次要 30 秒但能放很多。定期存款是 L3 分布式缓存——取一次要 2 分钟但便宜很多。

行业的常规做法是为 L3 单独建一套存储集群，专用机型、专用机房，月月付租金。

小米存储团队的做法不一样。他们自研了一套叫 GCache 的分布式缓存，直接部署在 GPU 机器自带的 SSD 上——跟训练任务、推理任务混布在同一台机器里。

普通话翻译：别人为了存大量数据，专门租了一个仓库；小米发现 GPU 机器的车库其实空着，直接把数据存进去了。月租金省了。

技术博客的原话是："额外的存储成本为 0。"

这件事的杀伤力比看上去大。常规的"AI 公司算力账"里，存储成本是一个固定支出项——你的模型越大、用户越多，存储账单越长。GCache 这套做法把这一项直接打掉。结合 SWA 的小体积 + 命中率 93-95%，KVCache 在 L3 的存活时间（TTL）从几分钟延长到几小时甚至几天——TTL 越长，历史 context 的可命中窗口越宽，缓存命中率越高，99% 那个折扣就越站得住。

工程五：让命中缓存的请求走最短的路

缓存能装、能查、还便宜，最后一步是：怎么让正确的请求被路由到正确的机器上。

小米开发了一套自己的调度系统叫 LLM-Router，干了三件事：

一是亲和调度。前缀相同的请求路由到同一台机器，让缓存复用最大化。

二是长度分桶。把短请求（0-64K）、中请求（64K-256K）、长请求（256K-1M）分到不同的处理通道，避免短请求被长请求拖累。

三是TTFT 优化。在排队等推理的队列里，优先调度真实计算量小的请求（也就是大量命中缓存的请求）——避免它们被"全新输入"那种重计算请求阻塞。

比如，在常规的机场调度中，所有飞同一个目的地的乘客集中到同一个候机厅，共享行李提取流程——这是亲和调度。带登机箱的和带 3 大箱托运的分两条安检通道走，快的不被慢的拖——这是长度分桶。登机时优先放只带登机箱的人，他们登机快，让飞机能早起飞——这是 TTFT 优化。

这套调度策略实测把 L2 缓存命中率提升了 25%，单机输入吞吐提升 30%，长请求 P90 延迟降低 30%。

翻译过来就是：同一台 GPU 能服务更多用户。降价的另一半逻辑就在这里——单位算力的有效产出更高，单位用户成本更低。

工程六：让模型"打字"也变快

前面五件事都在优化"读"那一侧——让用户重复读历史 context 的成本压到接近 0。第六件事是优化"写"那一侧——也就是模型生成下一个 token 的过程。

传统模型一次只能生成 1 个 token。MiMo 原生支持 3 层 MTP（Multi-Token Prediction）——一次预测接下来的 3 个 token，如果中间预测对了，直接跳过中间的计算。

打个比方，传统打字是一个字一个字打——你想打"今天天气"，要按 4 次键。MTP 像有个自动补全在猜你下一个 1-2 个字是什么——如果它猜对了，你就不用再按那两次。

MiMo 的 MTP 在 agentic 场景下实测：decode 前 128 个 token 加速 2.3 倍，128-256 个 token 加速 1.5 倍。

这件事的意义在于，99% 折扣专门指向 Input (Cache Hit)，但模型实际服务用户时，input 和 output 是同一次请求里发生的——如果 output 没省，整体请求成本就只省了一半。MTP 让 output 那一半也降下来，整套降价的盈利模型才闭环。

把六件事串成一条降本链：

SWA 架构 → KVCache 1/7 → 双池真正释放容量 → 同一台 GPU 能装 5+ 倍并发 → 前缀缓存命中率 93-95% → 95% 请求几乎不用算 → GCache 让存储成本归零 → 调度把命中请求优先调走 → MTP 让生成也省 → 单位请求 GPU 时间下降一个数量级 → 单位成本下降 95%+ → 定价降 99%，毛利率仍为正。

任何一个环节缺失，这条链都断在某一节。99% 降价不是营销数字，是六个工程支柱叠加 + 真实线上验证后的累积效应。

回头看业界一开始的几种解读，每种都有部分道理。这两年中国大模型公司之间的价格战是真的；小米利润腰斩还要砸 AI 是真的；DeepSeek 把行业定价拽到地板上也是真的。

但罗福莉这次公开技术博客并且详细的技术细节公开拆解，无疑是希望回击对于价格战的说法，让“技术的问题归技术、营销的问题归营销。”

她在博客中写道，MiMo-V2.5 系列模型的推理效率并非来自某一环节的单点突破，而是多维度协同优化的结果。Hybrid SWA 让 prefill 与 decode 同时受益，但未经充分优化的 KVCache 实现反而会在各环节抬高成本。围绕这一目标，MiMo团队系统性重构了 KVCache 管理、分级缓存、前缀缓存树，攻克 SWA KVCache 核心问题，优化了调度策略及 Prefill / Decode 链路，并经线上真实场景检验，最终将其理论效率优势真正兑现到生产环境。至此，Hybrid SWA 才发挥出在长文推理上兼具强度与效率的架构优势。再组合 MoE 配置和多模态推理的各种优化，极大程度提高了线上推理服务的性能。

这是一套AI工程的系统性打法，也是值得行业共同参考借鉴的降本手段。

价格战不需要写博客，工程兑现才需要。