详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？丨晚点播客

开源了权重，没开源产生权重的 “流水线”。

访谈丨程曼祺

整理丨实习生付自文

7 月 27 日，Kimi 公开了 K3 的完整权重和技术报告。这是首个接近 3T 规模的开放权重（开源）模型：总参数量 2.8T，激活参数 104B，支持原生多模态和百万上下文。

本期《晚点聊 LateTalk》邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3：它真的比肩 Fable 5 吗？3T 模型规模、“线性-全局混合注意力” 等改进意味着什么？开源厂商们无法开源的竞争力是什么？

我们也延展讨论了 K3 在美国 AI 界和更广泛的投资市场引起的巨大关注，以及与 K3 直接相关的开源大辩论。

赵晨阳此前曾在《晚点聊》163 期节目中，从 Infra 角度解读了 DeepSeek-V4。在 UCLA 读博期间，他成为开源推理框架社区 SGLang 的核心开发者。SGLang 第一时间适配了 DeepSeek-V4、GLM-5.2、K3 等中国开源模型。

曾致远目前在华盛顿大学读博士二年级，研究大语言模型，师从 Hannaneh Hajishirzi 教授和 Pang Wei Koh 助理教授。

*欢迎对 Kimi K3，DeepSeek V4，GLM 5.2 等领先模型有推理需求的从业者联系赵晨阳（微信号：LoveDeathAndLLM），对 SGLang 项目提出反馈。

使用体感、开源之辨、Transformer 的 “忒修斯之船”

晚点：在讨论具体技术前，我们照例聊一些相对宏观的问题，方便大家进入。两位可以先讲讲自己使用 K3 的感受？

曾致远：K3 在多数场景下的体验与 Claude Opus 4.8 相当，部分任务更好，在 Agent 框架中持续执行复杂的长程任务，不易跑偏，最终交付质量较高。不过响应偏慢，期待及时反馈的用户的体验不够好；此外，面对复杂任务中的模糊信息，它有时会直接替用户做决定，但我偏向是先与用户探讨再行动。

赵晨阳：K3 发布后，我的朋友圈里流传起一个用 K3 复刻的叫 “K399” 的小游戏合集，非常有小的时候的味道。我们团队也用 K3 做了一款仿 Chrome 离线恐龙跳仙人掌的游戏，主角换成 SGLang Girl，终点设置成我们当时达到的推理优化成果：单请求解码速度 423 token 每秒，当然，现在这个数又大幅提升了。

晚点：大家普遍反馈 K3 的前端能力很好。K3 一度登顶 Frontend Code Arena（一个前端开发模型评测榜单，通过匿名的两两对比投票评价模型生成的网页和应用），超过 Claude Fable 5。一个模型在某项能力上表现突出，主要是什么原因？

曾致远：直接的原因是评测和数据。模型团队通常会为特定领域建立评测，在预训练、SFT（监督微调）和强化学习等阶段针对性补充训练数据与任务。K3 在预训练中扩大了代码与渲染图像配对的多模态数据，后训练又加入网页开发任务。它还是一个原生多模态模型，在他们技术报告里描述的 “Vision-in-the-Loop 流程”，能训练写代码、查看页面截图，再根据视觉反馈反复修改的链路，这些设计共同强化了它的前端能力。

晚点：你们身边的人对 K3 还有哪些评价？

曾致远：最近开源技术报告的架构和预训练写得越来越清楚，后训练细节反而越来越少，K3 的报告也是如此。这一方面说明，架构设计与规模化预训练的重要性没有下降。另一方面，不少人应该还是希望后训练也可以有更多信息。

晚点：K3 发布后，美国科技界围绕开源展开了激烈辩论。7 月 24 日，英伟达、微软等五十多家公司，也包括晨阳所在的公司 RadixArk，联合发布了一封公开信《开放权重模型与美国领导力》，呼吁避免过早限制开源模型。黄仁勋在 X 上发的第一条推文就是转发这封信。OpenAI 也表态支持，但没有签名；Amazon 和 Anthropic 则完全缺席。不过 Anthropic 随后表示不反对开源模型，但主张限制大规模蒸馏，并对高能力模型实施强制安全测试。为什么 K3 会引发如此强烈、甚至近乎恐慌的反应？（注：截至本稿发布日期，OpenAI 和 Amazon 已在签署名单中，Anthropic 仍未签署。）

赵晨阳：表面上争论的是开源与闭源，核心其实是争论哪一种模式更安全。几天前 OpenAI 的新模型评测时就曾突破隔离环境，入侵了 Hugging Face 的服务器，尝试直接获得答案。这说明高能力模型会主动寻找规则和环境中的漏洞；一旦被恶意利用，可能带来严重的网络安全风险。

前沿智能应该掌握在少数机构手中，还是在有限管理下向更多人开放？这个问题没有简单答案，可能需要类似核不扩散机制的国际治理框架。

晚点：你们公司的立场是支持开源模型的？

赵晨阳：大多数人倾向于在有限管理下持续分享前沿模型，但我个人不赞成把所有事情都开放出去。

晚点：很多人认为，K3 为代表的开源模型进一步逼近闭源前沿，这会冲击 OpenAI、Anthropic 等前沿实验室的估值。美国业界有这种讨论吗？

曾致远：确实有一种情形是，未来企业使用 Coding Agent 时，可能不愿把内部数据交给第三方闭源模型。如果开放权重模型本身，或它经过针对性微调后能满足需求，企业又有私有化部署的条件，就可能转向开源模型。

晚点：其实这已经发生了。Fireworks AI 等公司会帮助企业部署开源模型，一些大型客户也在考虑自建算力，因为部分场景下比使用云服务更划算。另一种观点是，K3 仍然属于 Transformer 路线，可能冲击那些试图在主流架构之外寻找新 AGI 路径的实验室。这是否说明老老实实做 Transformer 的模型，其实上升空间还挺大？

赵晨阳：我觉得这个世界上不存在 “老老实实做 Transformer” 这回事。这次 K3 混合使用 KDA 线性注意力和 MLA 全局注意力，用 Attention Residuals 改造残差连接，FFN（前馈神经网络）采用稀疏专家，甚至基本取消了显式位置编码。这些部件早已不是 2017 年的原装 Transformer。

所以与其说 Transformer 还有空间，不如说 Attention 已经成为一种接口：信息如何混合、残差如何连接、FFN 采用什么结构，都可以重新组合。它像 “忒修斯之船”，甲板和龙骨不断被替换，船名却保留下来。

这可能让试图用全新架构推翻 Transformer 的研究者失望，但好处是新组件可以迅速进入主流模型。KDA 从 Kimi Linear 论文提出到被用于 K3，不到一年。技术只要有效，就不必等待整个新范式出现。

晚点：最近的一个讨论是，Fable 5、Opus 5 和 K3 的进展，让一些人认为模型已经可以参与生产高质量数据，再让下一代模型变得更强。这条 “自我改进” 的线真被跨过了吗？

曾致远：这个过程是逐渐发生的，而不是从 0 到 1 的跳变。随着模型能力提升，Agent 可以承担越来越多的数据生产工作，包括检索资料、合成和筛选样本、搭建强化学习环境、运行评测以及分析失败案例。

人的角色也会从规定每一步怎么做，转向定义上层目标、约束和验收标准。尤其是 OpenAI、Anthropic 等前沿实验室内部的研究员，可以接触到最前沿的模型，他们的闭环程度会不断提高。

赵晨阳：K3 技术报告里有一个直接的例子，K3 的早期 checkpoint（模型训练到某个阶段时保存下来的参数状态，这里可以简单理解为早期版本的模型）已经可以参与 kernel（直接在 GPU 上执行的底层计算程序）开发，这也能帮助后面的训练。

在推理领域，我们把这类系统也叫 KDA，Kernel Development Agent（K3 用的注意力机制 Kimi Delta Attention 的缩写也是 KDA）。相关任务从单算子优化到巨型算子的融合，涉及 CUDA、Triton、ThunderKittens 等流派，以及 BF16、FP8、FP4 等数值格式。（注：CUDA、Triton、ThunderKittens 均为开发高性能 GPU 算子的工具或编程方式；BF16、FP8、FP4 为位宽依次降低的数值格式，位宽越低，通常越节省计算和显存资源）

它的奖励设计有两层。首先每个 kernel 有一个 PyTorch（由 Meta 开源的深度学习框架）基准版本作为性能底线，也用于检查正确性。如果模型写出的 kernel 数值误差超过阈值，直接记零分。再和专家写的高性能 kernel 比较，模型实现越接近硬件性能上限，奖励就越高。

他们也会惩罚作弊行为，比如恶意重放 CUDA Graph（将一组 GPU 操作提前记录下来并重复执行，以减少调度开销），或者通过缓存输入输出来 “打表”。最后的效果很好。我们团队也有顶尖的 kernel 工程师在尝试做这样的事。

Kernel 开发很适合形成 RSI（递归自我改进），因为它有三个特点：

奖励准确且便宜；

性能和正确性容易验证；

作弊方式也有限。

因此，在有明确验证的领域，模型已经可以在清晰边界内不断提升。但这还不能说整个模型训练开始了广义的 “自我进化”。

更广泛的 RSI 仍然很难。现在缺少的不完全是模型能力，也包括 evaluation 和 harness。2025 年数学和编程进步很快，一个重要原因就是这两个领域相对容易评估。但编程任务也在变难，过去可能只是写一个小函数，现在可能要在大型代码仓库里开发新功能，这类任务很难评估，所以编程的进步速度也可能放缓。

晚点：K3 没有延续此前中国模型追求极致性价比的路线，大家主要吐槽它贵、响应慢，我接触的不少应用公司没有迅速接入 K3。它慢主要是因为算力紧张吗？

赵晨阳：新模型刚发布时，serving stack（模型在线推理和对外提供服务所需的一整套软件系统）还需要持续优化，会暂时 “又贵又慢”。但我认为 K3 目前的价格和速度仍在合理范围，尤其是价格并不差。

在 Agent 场景中，成本有两个计算口径：每百万 token 的单价，以及完成单个任务的总成本。对于复杂的长程任务，后者更有意义。不同模型完成同一个任务消耗的 token 可能相差数倍，便宜的模型如果不断绕路，最终反而更贵。

K3 技术报告显示，在 Kimi Code Bench 2.0（Kimi 内部用于评测 Coding Agent 完成端到端软件工程任务能力的 benchmark）上，K3 的得分比 Claude Fable 5 低 4 分，但成本只有后者的 38%；K3 在 high effort 档位已经追平 Claude Opus 4.8 的 maximum effort，成本约为其三分之一。在 BrowseComp（用于评测模型通过浏览、检索和推理寻找复杂信息能力的 benchmark）上，它的单任务成本也相对较低。因此仅从官方 API 来看，我认为 K3 的性价比很好；如果自行部署，那要把存储、电力和水冷等成本算进去，就很难简单比较了。（注：K3 官方 API 的价格是：缓存命中的输入每百万 token 0.3 美元，未命中为 3 美元，输出为 15 美元。相比之下，DeepSeek-V4-Pro 分别约为 0.004 美元、0.44 美元和 0.87 美元）

关于慢的问题，一方面，现在还没有足够多的应用真正需要 K3 这种规模的智能。另一方面，模型刚发布时的速度，更多反映架构有多新、serving stack 有多难适配，而不一定代表架构本身就慢。Kimi 这样的顶尖模型团队在设计时已经考虑了训练和推理效率，后续通常可以通过工程优化把成本和延迟降下来。

推理体验通常有三个指标：一是首 token 延迟，也就是发出请求后多久开始返回内容；二是 decode 速度，也就是开始回复后生成 token 的快慢；三是队列等待时间，因为后台同时可能有大量请求。

首 token 延迟很大程度上取决于前缀复用，而不只是算力。K3 报告举例说，一个典型 Coding 请求可能包含 40 万 token 的已有前缀，而本轮新增内容只有 4000 token。缓存命中后就不必重新计算前面的 40 万 token，因此成本和首 token 延迟都可能相差几个数量级。

但 K3 的 KDA–MLA 混合架构也让前缀复用变得更复杂。传统 KV Cache（键值缓存，保存 Attention 处理历史 token 时产生的中间结果，避免生成新 token 时重复计算）像只往后写的笔记本，已经计算好的前缀不会改变；KDA 则维护固定大小的 recurrent state（循环状态），每处理一个 token 都会反复更新，像不断擦写的白板，多个请求要共享它就更困难。

这里 K3 的方案是把前缀的哈希粒度和物理块的分配粒度解耦，把前缀切成较小的片段进行管理。SGLang 也借鉴设计了三种操作：需要修改时先复制一份，关键位置保存状态，用完后再把更新后的状态交给缓存继续复用。具体实现比较深入，感兴趣的朋友可以参考 SGLang 团队的技术博客。

晚点：就美国一些限制开源的讨论，从技术上看，已经开放的模型还有可能被限制吗？

赵晨阳：模型权重一旦发布，会被大量复制、建立镜像，还会被量化、微调，产生越来越多的衍生版本。因此，政策可以限制未来的发布和传播，但没有办法 “下架” 已经流出的模型。

晚点：随着开源模型逐渐逼近闭源模型，会不会有团队在模型足够强之后转向闭源？

赵晨阳：“开放模型逼近闭源模型” 本身很难衡量，因为模型只是 AI 产业链的一部分，上游还有数据和硬件，下游还有推理和分发渠道。而且权重本身在产业链中的比重正在下降。

K3 开放了权重，也开放了 MoonEP（Kimi 为超大规模 MoE 模型训练开发的专家并行系统）、FlashKDA（KDA 注意力机制的高性能算子实现）、AgentENV（面向 AI Agent 的隔离运行环境） 等基础设施。但没有开放强化学习环境、用于生成任务的知识图谱系统，以及合并前的专家 checkpoint。这没有问题，行业里很少有公司会开放强化学习环境，其中也可能涉及安全风险。

这些没有开放的部分是公司的深层护城河。全世界可以获得 K3 这一代的智能，但没有得到如何造出下一代模型的完整流水线。

开放权重缩小了这代开放模型和闭源模型的能力差距，但不一定能缩小双方的迭代速度差距。模型迭代还需要环境、验证和算力，这些都超出了权重本身。

晚点：开放权重还有一个弊端，用户自行部署后不再使用官方 API，数据无法回传。OpenAI、Anthropic 等闭源公司则可以通过 API 和自有应用，获得大量真实用户的高质量 prompt。

曾致远：美国一些前沿实验室能把 Coding Agent 做好，一个关键就是建立了用户数据飞轮。对于算力有限的国内公司来说，不开放权重，也很难仅靠自己的算力承接海量推理请求。不过，即使权重开放了，目前有条件部署 3T 模型的机构仍然很少。

晚点：总结而言，K3 是一个怎样的成果？

曾致远：K3 是首个接近 3T 级别的开放权重模型。开源模型从数百 B，发展到 1T，再到今天的 3T 级别，是令人振奋的进展。

注意力机制改进：线性注意力首次被用到这么大的模型上

晚点：K3 在架构上的整体思路和亮点是什么？

曾致远：K3 的整体思路，是让信息在序列和深度方向上更高效地流动。序列方向采用 KDA（Kimi Delta Attention，一种 Kimi 去年秋天提出的线性注意力机制） 和 Gated MLA（带门控的多头潜在注意力，多头潜在注意力通过压缩键值表示降低缓存和推理成本）组成的混合注意力：大部分层用低成本的 KDA 处理上下文，周期性加入全局注意力。深度方向采用 Attention Residuals（注意力残差，Kimi 今年春天提出的一种残差连接改进），让后层可以选择性读取前面层的表示。

我比较关注的亮点是 NoPE，就是不使用显式位置编码。同期的 DeepSeek-V4、GLM-5.2、MiniMax M3 都还保留了部分的 RoPE（旋转位置编码）。当然模型仍然知道 token 的顺序，因为 KDA 在更新 recurrent state 时，gating（门控）和 decay（衰减）本身就对顺序敏感，能够隐式编码位置信息和信息新旧程度。

训练百万上下文模型时，通常会逐步扩展上下文长度。K3 先从 8K 扩到 64K，再在后期扩到 256K 和 1M。NoPE 的好处是，扩展上下文时不需要重新调整 RoPE 的参数或进行插值。这个设计在 Kimi Linear（Kimi 于 2025 年 10 月发布的混合线性注意力架构及实验模型，总参数 48B、激活参数 3B，以 3∶1 的比例混合 KDA 与全局 MLA，并采用 NoPE，支持 100 万 token 上下文）已经采用过，K3 的突破在于把它扩展到接近 3T 的模型，并支持 100 万 token 上下文。

晚点：K3 仍然是一个 MoE 模型，其中很重要的问题是路由专家的分配。kimi 自己说他们提出的 Quantile Balancing 解决了 MoE 大规模训练不稳定的问题。它是不是 K3 能够接近 3T 的关键之一？

曾致远：本质上它解决的是专家负载均衡问题。MoE 模型中，每个 token 只会选择一部分路由专家激活，但整体上，最好各个专家被选中的频率大致均衡。否则，一些专家得不到足够的 token 和梯度，训练不充分，无法发挥这部分参数的容量；另一些专家接收的 token 太多，也会给基础设施带来压力。

早期普遍的做法是在 MoE 的损失函数中加入额外的负载均衡指标，鼓励不同专家被更均匀地选中。这个方法整体有效，但需要在模型质量和负载均衡之间做权衡，也容易成为训练不稳定的原因。

DeepSeek-V3 的一个重要改进，是把主要的负载均衡换成偏置更新的方法。Router 会先给各个专家打分，并在分数上额外加一个偏置，再根据分数选择专家，专家过热就降低偏置，过冷就提高偏置。这个偏置只影响专家选择，不改变原来的训练目标。但 DeepSeek-V3 对偏置采用固定步长更新。每一步只判断专家是过热还是过冷，再按照固定幅度向上或向下调整，因此仍然需要设置步长这个超参数（训练开始前由研究人员设定、而不是由模型自动学习的参数）。

K3 的 Quantile Balancing 则直接根据分数的分布，估算偏置应该调整多少。K3 每个 token 要从 896 个路由专家中选择 16 个，因此可以把加上当前偏置后排名第 17 的分数，看作进入前 16 名的门槛。

对于某一个专家，可以观察它在整批中距离每个 token 的门槛还差多少。偏置越大，它能够跨过的门槛就越多。系统据此直接计算新的偏置，使这个专家大约能被 16/896 的 token 选中，并从下一个训练步长开始使用。这样就不再需要设置固定的更新步长。

K3 接近 1000 个路由专家，每个 token 只选择 16 个，稀疏程度非常高，要稳定、快速地维持负载均衡也更加困难。所以我猜测，Quantile Balancing 应该是 K3 能够稳定扩展到接近 3T 的重要因素之一。

晚点：也就是说，DeepSeek-V3 的方法主要判断一个专家是过热还是过冷，但没有精细到量；K3 则会进一步判断过热或过冷的程度。

曾致远：DeepSeek 的思路更像是逐步调整；K3 是根据历史信息估计下一步的偏置量。两种方法各有优劣，最终还是要看实验效果。

晚点：前面提到了 K3 采用线性注意力和全局注意力混合的方式，而 DeepSeek-V4 是总体稀疏注意力优化路线。我觉得 K3 这次在接近 3T 规模上使用线性注意力，是比较激进的改进。他们如何平衡线性注意力的弊端？给业界带来了什么启发？

曾致远：这套混合架构此前他们已经在 Kimi Linear 上验证过了。当时的总参数量是 48B，而 K3 将其放大到接近 3T，总参数规模扩大了近 60 倍。结构上就是三层 KDA 搭配一层全局 MLA 的 3∶1 结构，以全局注意力弥补纯线性注意力在长距离检索上的局限。

此前约 400B 大小的 Qwen3.5，也采用了三层 Gated DeltaNet（添加门控衰减的线性注意力架构）搭配一层 Gated Attention 的 3∶1 设计。相比之下 DeepSeek-V4 没有使用线性注意力，而是在 Softmax Attention（Transformer 中常用的标准注意力机制）框架内，通过 KV 压缩和稀疏注意力（不再读取全部历史 token，而是只选择其中一部分参与注意力计算）的组合提高长上下文效率。

所以 K3 带来的启发是，不同注意力可以承担不同功能，不必把全局注意力和线性注意力理解为二选一。K3 证明了这种混合架构可以扩展到接近 3T 的前沿模型规模。

晚点：这个 3∶1 的比例是怎么决定的？去年我和 DeltaNet 的核心作者之一杨松琳聊过线性注意力，她当时说这个混合主要靠经验和实验，现在业界有了更多方法上的指导吗？

曾致远： 从公开资料看，比例仍然主要靠实验决定。Kimi Linear 是先在一个 16 层的小模型上比较不同配比。实验结果显示，3∶1 的 Perplexity（困惑度，用于衡量语言模型预测下一个 token 的能力）效果最好；1∶1 的验证效果几乎相同，但全局注意力更多，资源占用和推理成本也更高。因此 3∶1 在效果和效率之间取得了更好的平衡。

K3 基本沿用了这个比例，并在最后额外加入一层 Gated MLA，确保模型最后一层注意力是全局注意力。

不过技术报告里没有提到，Kimi 是否在更大规模上重新测试所有比例，因为这种实验成本非常高。模型团队通常会先在小模型上完成消融实验（逐一移除或替换某个模块，比较模型效果，从而判断该设计是否有效）和架构搜索，再通过 Scaling Law 验证整套架构和训练方案能否稳定放大。因此，3∶1 不一定是 3T 规模下绝对最优的比例，但它已经被验证可行。

晚点：K3 支持百万 token 上下文。线性注意力通常容易遗忘较早的信息，K3 怎么解决这个问题？

曾致远：这是线性注意力的一种取舍。它把任意长度的信息压缩进固定大小的 recurrent state，缓存和每一步的计算量不会随上下文长度持续增长；代价是不同信息会在有限的状态中互相干扰，较早、较细节的信息可能被覆盖，根源还是固定状态存在容量瓶颈。

KDA 用了一些方法来更好地管理这部分有限记忆。比如 Delta Rule：先看当前记忆已经能预测出什么，只把预测的偏差写进去；Channel-wise Forget Gate，让不同通道学习不同的信息保留时间。K3 还给 retention factor（保留系数）设置了下限，避免模型一次遗忘得过于激进。但这些设计只是更有效地管理有限记忆，不能从根本上消除容量瓶颈。经过很多步之后，信息仍然会衰减。

K3 真正缓解百万上下文遗忘问题的关键，还是混合注意力架构：每三层 KDA 加入一层 Gated MLA，模型最后一层也使用 MLA。MLA 可以直接关注所有历史 token，提供全局信息交互，因此不需要 KDA 把百万 token 的每个细节都保存在固定状态里。

晚点：MiniMax-M1 此前也采用过类似的混合注意力，后来 M2 又换回了全局注意力。技术思路相似，最终效果却不一样。

曾致远：一个技术路线本身合理，不代表具体模型一定能做好。数据、基础设施和大量执行细节不同，最终效果可能就会有很大差异。

晚点：注意力结构的变化也会带来基础设施的变化。上次讨论 DeepSeek-V4 的注意力机制时，晨阳提到线性注意力的理论优势可能还需要几代大模型验证。现在 K3 是否已经给出了验证？这种新结构会给基础设施带来哪些影响？

赵晨阳：正好可以更新一下我的判断。

第一，K3 毫无疑问是对线性注意力路线的一次有效验证。它是一个 2.8T 参数、支持百万 token 上下文的主线模型，而且采用 NoPE。K3 的 MLA 层也不使用显式位置编码，位置信息由 KDA 的递推状态更新、门控和衰减机制提供。因此，模型扩展到百万上下文时，不太需要重新调整 RoPE 的频率和基数，也不需要通过 YaRN（一种扩展 RoPE 上下文长度的方法）进行插值和外推。这套设计扩展得很自然，最终效果也很好。

第二，我此前认为稀疏注意力在工程上更容易实现，这个判断也没有错。SGLang 团队花了很大精力，才把线性注意力需要的 recurrent state 纳入现有的前缀缓存系统，让 K3 这种 KDA 和 MLA 混合模型也能复用前缀。长期来看，这些兼容问题可以通过工程解决，但代价是推理框架会变得更加复杂。

刚才也提到了，线性和稀疏也不是简单的二分。K3 证明了这种混合架构的模型也很强大。我相信，在百万上下文下，真正能够把 KV Cache 搬运、Prefill（预填充）和路由等成本压下来的架构，大概率都会是异构的。对于 SGLang 来说，这意味着推理框架需要同时管理多种形态、不同生命周期的 Attention，对工程抽象是一个很大的挑战。

晚点：架构越复杂，需要解决的工程问题也越多，你们所做工作的价值也会更大。

赵晨阳：希望如此。

晚点：KDA 混合了线性注意力和全局注意力，理论上能够提升效率。Kimi 官方表达是，在百万 token 上下文下可以实现 6.3 倍的解码加速。这个数字应该怎么理解？

赵晨阳：简单说，在模型规模相同、上下文达到 100 万 token 时，以线性注意力为主的混合架构，生成 token 的速度可以达到全注意力架构的 6.3 倍。这是一个令人惊讶的数字。

在 Decode 阶段，模型每生成一个 token，都要读取历史信息。全注意力模型需要读取整个 KV Cache，而 KV Cache 会随着上下文长度线性增长。100 万 token 的 KV Cache，规模大约是 1 万 token 时的 100 倍。

线性注意力把历史信息压缩到固定大小的 recurrent state 中。无论上下文是 1 万 token 还是 100 万 token，大小基本不变。

以 SGLang 对 K3 的适配为例，K3 包含 69 层 KDA 和 24 层 MLA。69 层 KDA 为每个请求保存的历史状态固定在约 54 MB；24 层 MLA 则为每个 token 额外分配约 27 KB，百万 token 上下文大约需要 27 GB。

也就是说，K3 的缓存开销是固定的 54 MB，再加上随上下文增长的 27 GB。如果前面的 69 层也全部使用全注意力，还会再增加数十 GB。存储占用降低后，KV Cache 的搬运成本也会下降，最终带来解码加速。

这种优势在长程 Coding Agent 场景中最明显。如果每个请求都占用上百 GB 的 KV Cache，即使是容量很大的 HBM（高带宽显存），也很难同时容纳几十个请求。

晚点：除 KDA 外，K3 的另一项新设计是 Attention Residuals（AttnRes，注意力残差）。这项成果今年春天发布后还获得了马斯克点赞。当时 K3 已接近定版，团队内部讨论过是直接采用，还是留到下一代模型。最终由杨植麟拍板，将它直接放进 K3。这项技术从发布到进入主线模型，速度非常快。它和 DeepSeek-V4 使用的 mHC（流形约束超连接）有些异曲同工，都是在改进残差连接。

曾致远：Attention Residuals 主要解决信息在模型深度方向上的流动问题。

标准残差连接展开后，当前层看到的是初始 embedding 和此前所有层输出的直接相加，每一项的权重都固定为 1。随着模型越来越深，Residual Stream（残差信息流）会不断增大，新一层写入的信息容易被稀释；后层也无法主动选择需要的前层表示。

Attention Residuals 的思路相当于把普通 Attention 旋转 90 度。普通 Attention 在 token 之间选择信息，Attention Residuals 则在不同层之间选择信息。每层有一个可学习的 pseudo-query（伪查询向量），和当前 token 在不同深度的表示进行匹配，再通过 Softmax（归一化概率权重）决定从哪些层读取信息。

Pseudo-query 本身由所有 token 共享，但不同 token 在各层的表示不同，因此最终的注意力权重仍会根据 token 内容变化。也就是说，每一层都可以按照当前内容，选择性地读取此前不同层的信息。

晚点：DeepSeek-V4 的 mHC 也是想提高信息在不同方向上的流动效率。两种方法哪种潜力更高？

曾致远：mHC 会维护多条并行的 Residual Stream。每一层先动态混合这些信息流，形成这一层的输入，再把这一层的输出分发回不同的信息流。它还会约束混合过程，避免模型变深后，信息和梯度被无限放大。

Attention Residuals 则更像为每一层提供一份历史目录，让它可以直接找到前面某个阶段产生的信息，并选择性地读取。

只看理论表达能力，Attention Residuals 的上限可能更高。mHC 仍然要把历史信息递归压缩进固定数量的 Residual Stream；Full Attention Residuals 则可以让每个 token 直接关注所有较浅层的输出。打个比方，mHC 更像 RNN（循环神经网络）或线性注意力，信息通过有限状态逐层传递；Full Attention Residuals 更像 Transformer，可以直接跨层读取信息。

但实际效果仍然取决于具体实现。K3 使用的并不是所有层之间直连的 Full Attention Residuals，而是 Block Attention Residuals：先把模型层划分成多个 block，在每个 block 内汇总信息，再在不同 block 之间做 Attention。

晚点：这就有点像层与层之间的稀疏注意力。

曾致远：是的，它可以降低保存所有历史表示带来的显存和通信成本。目前可以确定的是，K3 和 DeepSeek-V4 已经分别证明，这两条路线都可以扩展到前沿模型规模。

从 MuonClip 到 Per-Head Muon，Kimi 又改进了优化器

晚点：和 DeepSeek-V4 一样，K3 也使用了 Muon 优化器。Kimi 此前在 K2 中提出 MuonClip，推动 Muon 在大规模模型训练中稳定使用；这次 K3 又提出 Per-Head Muon。优化器为什么重要？Per-Head Muon 相比 K2 使用的 MuonClip，有什么具体改进？

曾致远：模型根据一个 batch 计算出梯度后，优化器要把这些梯度转换成稳定、有效的参数更新。具体的过程是，损失函数决定要优化什么，梯度告诉我们局部上大致应该往哪个方向走，优化器则进一步决定最终采用什么方向、迈多大一步，以及如何利用历史梯度降低噪声，处理不同方向的尺度差异和冲突。好的优化器可以让模型在相同计算量下收敛得更快、最终损失更低，同时减少训练中的不稳定和 loss spike。

Muon 的核心是：先根据当前梯度和历史梯度计算 momentum（动量），再对它进行近似正交化，然后用来更新参数。这样可以避免更新过度集中在少数几个占主导地位的方向上。

在多头注意力中，注意力信息虽然以大型投影矩阵的形式存储，但各个头在计算逻辑上相对独立。普通 Muon 把所有头放在一起进行正交化，不同头的梯度和 momentum 可能互相干扰：大尺度头容易主导整个矩阵的更新，小尺度头则得不到充分优化。

所以 Per-Head Muon 的核心，就是对每个注意力头做单独的正交化。这样不同 head 的更新尺度会更加均衡。K3 技术报告认为，这可以平衡不同注意力头的训练动态，改善大规模训练的稳定性。

晚点：Kimi 提出 MuonClip 后，在业界得到很多应用，相比之下 Per-Head Muon 的实现难度如何，未来有被更多团队使用的潜力吗？

曾致远：算法上 Per-Head Muon 很直接，就是把矩阵按照注意力头重新切分，再并行处理这些小矩阵。

难点主要在大规模训练中，Q、K、V（注意力机制中的查询、键和值。模型通过 Q 与 K 计算信息相关性，再按照结果读取 V 中的信息）。通常会被融合和切分，优化器状态（优化器在训练过程中额外保存的数据）也分散在不同 GPU Rank（分布式训练中一张 GPU 或一个计算进程的编号）上。系统既要保证每个注意力头的逻辑边界不被打散，又要高效重建完整的 head block，把大量小矩阵合并计算，避免过高的通信成本和频繁的 kernel launch（CPU 或 GPU 运行时向 GPU 提交一次 kernel 执行任务）。

K3 为此做了专门的工程处理，例如把数据通信和正交化计算做成流水线。

晚点：Muon 最早是在个人开发者 Keller Jordan 提出的开源项目 nanoGPT Speedrun 上诞生的。就是大家在统一的小模型标准任务上竞争，看谁能以最短时间完成训练。最近，RSI（Recursive Superintelligence，一家研究 AI 自动化科研和递归自我改进的公司）也用自动化研究系统挑战了 nanoGPT Speedrun，拿到了最快速度，超过过去两年多社区里的研究者的努力，那未来优化器能不能由 AI 自己改进甚至创造？

曾致远：社区已经有了一些早期尝试。优化器的研究大概是：提出方案、编写代码、运行实验、观察损失和稳定性曲线，再根据结果继续改进。这些目标和评价指标都很清晰，因此越来越多的工作可以交给 AI Agent。

但一个优化器在小规模实验中表现好，不代表在大模型、长训练周期，或不同参数形状上仍然有效。因此另一个有价值的问题，是让 Agent 研究如何设计小规模实验和规模化阶梯，使得到的结论能可靠地推广到大规模训练。这样能够用更少资源快速验证，加速整个迭代流程。

晚点：你说的这个方向如果能实现，也可以用在优化器改进以外的很多模块上。

曾致远：当然，就是让 AI 设计一个较小的实验场景，使实验结果具有较强的可迁移性。以及模型架构改进、强化学习算法调整等，关键问题都是如何让小规模实验更准确地预测大规模训练结果。

晚点：现在业界有哪些团队初步掌握了这种能力？

曾致远：大家都在做，有的团队整体做得更好，有的团队在特定领域更强。美国的前沿实验室，比如 OpenAI 和 Anthropic。他们一方面资源更多，另一方面小规模验证的流程和基础设施也更成熟。

晚点：很多人认为，美国前沿实验室的算力可能比中国公司多一到两个数量级，因此未必很需要细致地提高算力利用率；中国团队因为算力有限，反而会更谨慎地设计前期实验，寻找各种工程优化。这种观察成立吗？

曾致远：有一定道理。比如 DeepSeek 的很多工程优化非常极致。但也不要低估美国前沿实验室的优化能力，他们也有很深的积累。

晚点：有一种说法是，Anthropic 在模型架构上没有做特别多复杂改动，而是把更多精力放在数据和基础设施上。

曾致远：确实有这种印象。他们比较相信把基础的方法做到扎实，再持续扩大规模。

后训练：九个专家蒸馏合并

晚点：Kimi 这次在技术报告里有一个后训练的设计是，先训练九个专家模型，再通过 MOPD（多教师在线蒸馏）合并成统一模型。为什么是这种先分后合的思路？

曾致远： MOPD，也就是 Multi-Teacher On-Policy Distillation，最近已经成为一种常见的后训练方案。公开采用类似路线的模型包括 MiMo-V2-Flash、DeepSeek-V4、NVIDIA Nemotron 3 Ultra（英伟达推出的 Nemotron 3 系列旗舰开源 MoE 架构模型，总参数量约 550B，每次推理激活约 55B 参数）和 K3。它的主要优势是把不同领域的研发过程解耦，方便大模型团队内部的多个小团队并行工作。

通用推理、Coding Agent 和通用 Agent 不只是数据不同，训练环境、奖励策略、Rollout 长度（强化学习训练中，模型一次生成并与环境交互的轨迹长度）、评测 Harness、强化学习算法和基础设施都可能不同。如果把所有内容放进一次联合强化学习，不同领域、奖励和训练设置就会耦合在一起。各个方案即使在自己的团队里有效，合并时也要解决如何共同训练的问题，技术和协调压力都很大。

MOPD 让每个团队只需要在自己的领域内训出效果最好的专家模型，最后再统一进行蒸馏，这样各个团队可以独立迭代，最后的合并也更简单。

晚点：像 Attention Residuals 这样的架构创新，通常会单独写成论文，但 MOPD 这类方法好像不会专门出一篇文章。为什么有这种区别？

曾致远：一项工作能否形成独立论文，一个重要条件是能否被定义成干净的研究问题。

Attention Residuals 各种指标都比较明确。MOPD 更像是避开了一条复杂的联合训练路径，它的价值很大程度上在于减少不同领域之间的耦合，而不是把另一套方法完整实现出来，再进行清晰的对照。

晚点：如果一种方法不公开发表，最初提出它的人是否就少了职业上的 credit？

曾致远：美国的前沿实验室之间相关信息传播很快，一个好想法是谁提出的，小圈子内部通常都知道。即使没有公开论文，也不一定影响提出者的业内认可，只是外界未必知道。

晚点：预训练通常是在一个过程中混合大量不同类型的数据；后训练随着任务变复杂，现在出现了先拆分、再合并的趋势。长远来看，MOPD 和联合强化学习相比，哪一种潜力更高？

曾致远：目前确实有研究显示，MOPD 可能比直接进行联合强化学习效果更好，但这类结论非常依赖具体的实验设置，未必能推广到所有模型和规模。现阶段采用 MOPD，主要还是因为更方便。

晚点：MOPD 中的 D 代表 Distillation，也就是蒸馏，业界现在有很多相关讨论。模型蒸馏最初是什么意思？

曾致远：最基本的定义，蒸馏就是把教师模型的能力传递给学生模型。最经典的用途是模型压缩：先训练一个能力较强、规模较大的教师模型，再把它的能力传递给更小、更便宜的学生模型。

MOPD 的目的不是压缩模型，而是合并能力。K3 从同一个基础模型出发，分别训练不同领域、不同推理强度的教师模型，再把这些专家的能力传回给统一的学生模型。

具体算法上，蒸馏是学生模型先自己生成一条轨迹，相关领域的教师模型再对学生生成的轨迹打分，提供稠密的奖励信号，用这个奖励信号去提升学生模型。

更传统的蒸馏通常是教师模型预先生成一批固定答案，学生模型在这批离线数据上模仿教师的输出。

晚点：MOPD 是 On-Policy Distillation，我们平时语境里的蒸馏更接近 Off-Policy Distillation。这两者的区别是什么？

曾致远：Policy 指正在训练的学生模型。On-policy 是学生模型按照当前策略亲自生成轨迹。Off-policy 使用的轨迹则不是当前学生生成的，例如教师模型提前生成并固定下来的答案。

晚点：哪一种学习效率更高？

曾致远：不同场景下有不同的结果。在合并多个专家能力时，On-Policy Distillation 通常更合适。但这种方法通常需要获得教师模型对各个 token 的概率判断。如果只能拿到教师模型输出的答案，就只能进行 Off-Policy Distillation。

晚点：假如 Anthropic 自己蒸馏自己的模型，能不能把模型进一步变强，实现所谓的 “左脚踩右脚，原地飞升”？

曾致远：这目前更多是一种愿景。蒸馏主要是在模型之间转移或整合能力，很难在没有可靠外部监督的情况下，持续创造新的能力。要稳定提升模型，可能采用的算法包含蒸馏，但关键还是能否获得可扩展的外部监督信号。

Infra 挑战与变化：另一个 KDA 也很伟大

晚点：从推理层面看，K3 的基础设施改进有哪些整体思路？你们也第一时间做了 K3 的适配，过程中有什么有意思的发现？

赵晨阳：可以从投机采样讲一下 KDA 架构带来的挑战。投机采样会先用一个小的模型快速猜测一批 token，再让真正采样的目标模型一次性验证这些 token。验证完成后，可能只有前几个 token 会被接受。因此，目标模型必须保留验证前的状态，以便猜测错误时回退。

对普通全注意力模型来说，这很容易。但 KDA 是对每个 token 的递进状态进行原地重写。验证一批 token 后，状态已经向前推进，不能简单删除末尾内容来恢复。如果为每一步的完整状态都制作快照，69 层 KDA 带来的存储和搬运开销又会很大。

我们的做法是不保存完整状态，只保存每一步状态的极小投影，大约只有 1 KB。需要回退时，再从验证前的状态出发，利用这些输入重放被接受的 token，重新构建正确状态。

这就像记录棋谱，不需要每一步都拍下整个棋盘，只要记录每一步怎么走，就能回退复盘。后来 K3 技术报告也独立采用了类似设计。双方此前没有就此讨论，但顶尖工程团队面对同一个问题，往往会得出相似的解法。

晚点：这次 K3 还开源了 AgentENV（面向大规模 Agent 强化学习的开源环境平台）。前面提到，模型权重只是一次训练的产物，而环境可以反复用于产生下一代权重，因此是更重要的护城河。你看到了哪些有意思的思路？

赵晨阳：AgentENV 的一个特点是，它没有为了安全而尽量限制模型的能力，而是通过更好的隔离方式，来放宽模型的能力边界。可能他们相信未来模型会拿到更高的系统权限。

Agent 越强，探索行为往往越激进。早期使用容器运行沙盒（Sandbox，与宿主系统隔离的运行环境），但很容易出现内核崩溃或内存死锁。K3 团队没有继续依靠普通容器，而是使用 Firecracker（亚马逊云科技开发的轻量级虚拟化技术）运行隔离程度更高的微型虚拟机。

总结就是，他们赋予模型更高的系统权限，同时提供更可靠的技术隔离。即使一个 Agent 把自己的沙盒弄崩，也不影响其他沙盒。

晚点：除了隔离，AgentENV 还解决了哪些问题？

赵晨阳：第二个重点是持久化的 Rollout 和沙盒状态，解决 Agent 的长尾问题。

一条 Agent 轨迹可能包含上千次工具调用，累计上百万 token。假设一次采样 16 个请求，其中可能有一两个请求特别慢。例如某个外卖接口一分钟后才返回，整个 batch 就会被这些长尾请求阻塞。

Kimi 在 K 1.5 的论文里就提出过 Partial Rollout，不必等待所有轨迹都结束。当一定比例的轨迹完成后，就先用已经完成的部分进行训练；未完成的轨迹暂停并保存下来，下一轮再继续执行。这样可以加速整个采样过程。

从系统层面看，模型和环境的历史状态都要尽可能保留。例如保存模型上次采样的 KV Cache，避免下次采样时重新执行一次很长的 Prefill。

但这会带来强化学习侧的数据过时问题。一条轨迹的前半部分可能由上一版本的 checkpoint 生成，后半部分则由当前版本生成，因此它不再是严格的 On-policy 数据。

K3 通过逐 token 正则把每次策略更新约束在一个局部范围内，从而容忍一定程度的数据过时。可以理解为是用算法上的宽容换取基础设施的自由。

晚点：K3 还强调，让强化学习环境与模型推理时实际运行的环境尽可能一致。这是怎样实现的？

赵晨阳：他们把 Agent Harness 拆成了一组可以配置和组合的模块，包括工具接口、System Prompt、上下文管理策略、Skills、Memory 和其他组件，再通过不同组合模拟多种主流 Agent 运行框架。

这样可以避免模型在训练时过度适应某一种 Harness。比如模型只在美团上训练点外卖，换成饿了么后就不会用。让模型在多种 Harness 组合中训练，可以提高它对不同工具、接口和工作流的泛化能力。

晚点：也就是说，模型训练完成后，无论上层使用哪一种 Harness，它都能比较好地适配？

赵晨阳：理论上是这样，但实际效果肯定不完美。随着 Agent 使用越来越广泛，我们对 Harness 泛化能力的要求也会越来越高。

晚点：闭源模型也有这种需求吗？例如 Anthropic 或 OpenAI 的模型，主要运行在自己的 Harness 中。

赵晨阳：同样需要。即使是 Claude Code 这样的闭源平台，也可能接入 Slack、Gmail、日历等不同组件。它们本质上也是不同的模块和运行环境。

对 Anthropic 来说，问题可能不是从美团换到饿了么，而是从 Gmail 换到 Outlook。对人来说操作逻辑相近，但如果没有专门设计，模型仍然可能对特定接口过拟合。

晚点：除了 AgentENV，K3 还有 FlashKDA 和 QAT（量化感知训练）等基础设施改进。这些设计分别带来了什么变化？

赵晨阳：先看 FlashKDA。Softmax Attention 的 kernel 主要是在和显存带宽做斗争，而线性注意力的 kernel 更多和串行依赖做斗争。

KDA 在一个 chunk（分块）内做并行计算，但在 chunk 之间是串行传递 recurrent state。最朴素的实现是，计算一个 chunk，就传递一次状态，但会让大量计算资源在等待过程中空转。

FlashKDA 是 Kimi 团队基于 CUTLASS（英伟达提供的高性能 CUDA 模板库）开发的 Chunkwise Kernel。它尝试把 chunk 内计算和 chunk 间状态传递重叠起来，让一部分计算资源处理当前 chunk 时，另一部分工作能够同时推进，从而减少等待。

Softmax Attention 在读取历史 KV Cache 时，已有缓存基本是只读的；KDA 的 recurrent state 则会被原地覆盖。因此，kernel 还要考虑状态什么时候持久化、写入哪个缓存位置，以及如何避免覆盖其他请求正在读取的状态。它也使 kernel 与缓存管理之间的边界变得更模糊。

QAT 是 Kimi 的拿手技能了。K3 从 SFT 阶段就开始进行 QAT，让模型有更多的时间适应量化噪声。K3 还强调，强化学习的采样阶段和训练阶段采用一致的量化方案。

从强化学习的角度看，策略梯度成立的前提是：用来训练的数据，最好由当前正在优化的模型产生，而不是来自更早版本的 checkpoint。即使使用同一个 checkpoint，如果训练时采用 BF16，采样时采用 NVFP4，也会导致产生数据的策略和正在优化的策略已不完全相同，这也是一种 Off-policy Mismatch（离线策略偏差）。

这种偏差会使梯度计算不够准确，对 MoE 模型尤其可能造成严重的训练不稳定。因此，K3 的思路是让强化学习采样和训练尽量采用一致的精度与配置，确保训练中优化的模型，尽可能接近实际产生数据的模型。

晚点：这件事实现起来困难吗？这是主流公司普遍能做到的，还是能够体现一家公司的基础设施水平？

赵晨阳：非常难。很多公司需要维护一整套庞大基础设施，甚至组建专门的 kernel 团队，才能做到。所以 Kimi 的技术能力非常领先。

晚点：你此前称 DeepSeek 是基础设施领域的 “巨鲸”。类比来看，Kimi 处于什么水平？

赵晨阳：我不想简单给公司分高下。坦率说，国内模型公司的基础设施能力普遍很强。

晚点：K3 技术报告提到，它在 kernel 优化测试中，曾为一家 “alternative vendor” 的 GPU 编写 kernel。虽然报告没有披露具体厂商，但有没有可能利用 K3，加速它自身在国产芯片上的适配？

赵晨阳：这是比较明确的。虽然我们不能确定最终交付到生产环境的 kernel 是否由 K3 编写，但至少从性能和正确性测试来看，K3 的能力已经很强了。

另外，现在整个模型和开源推理生态发展得非常快。过去，国产芯片厂商想在模型发布当天支持新的 AI 模型，难度很大。最近，摩尔线程已经能够借助 MUSA（元计算统一系统架构）和 SGLang 的生态，在 K3 发布后很短时间内完成适配，并达到不错的运行效果。

可以想象，Kernel Development Agent 会对整个芯片产业产生很大的推动。

晚点：这会影响英伟达的统治地位吗？

赵晨阳：这个问题我无法判断。

晚点：CUDA 的生态优势，很大程度上来自丰富的 kernel 和较强的通用性。假如 AI 能自动为其他芯片编写 kernel，理论上会不会削弱这种优势？

赵晨阳：我有朋友在 AMD 做 AMD 版本的 CUTLASS，也有朋友在英伟达开发下一代 DSL（领域专用语言），他们都在大量使用这类 Agent。也就是说，这项技术不是只会帮助挑战者，英伟达也能用它加快自己的迭代。

另外，KDA 即使已经很擅长优化当前的 CUTLASS，未来出现新一代 Tensor Core（英伟达 GPU 中专门执行矩阵乘法等 AI 计算的硬件单元）后，仍然需要一段时间适应。它并不是一次学会就能自动泛化到所有新硬件。很难说 Kimi Delta Attention 和 Kernel Development Agent 哪个更重要。（笑）

26 年还剩 5 个月，能看到开源超过闭源吗？

晚点：你们认为，下一个最强开源模型多久会出现？

赵晨阳：最近看到 Qwen3.8 Preview 发布时提到，他们的模型能力正在以天为单位迭代。智能前沿的加速度并没有降低，反而可能是人类的想象力跟不上了。但除了 Coding，我目前还没有看到下一个明确的爆发点。

晚点：今年还剩五个月左右。我们可能看到开源模型超过闭源模型吗？

曾致远：一般认为，OpenAI、Anthropic 等前沿实验室内部的最强模型，会比已经公开发布的模型领先半代到一代。现在最强的开源模型，主要目标还是追平目前已经发布的最强闭源模型。

因此，开源模型追赶的并不是静止的目标，实际最强闭源模型和开源模型之间仍然存在代差。至少在今年剩余几个月里，我不认为这个趋势会发生明显变化。

晚点：梁文锋最近提到，下一代模型的标志是具备持续学习能力。你们觉得下一代模型还需要实现什么能力？

赵晨阳：我理解的持续学习，不只是不断提高模型智力，还有它面对新的系统时，也能迅速适应并持续优化。

以 Kernel Development Agent 为例，它现在可能已经很擅长优化 CUTLASS，但等下一代 GPU 编程 DSL 出现后，可能还需要额外训练才能做好。即使在 kernel 这样目标清晰、结果容易验证的领域，当前模型的泛化能力仍然有限。所以我们距离真正的 RSI 还有一段距离。

曾致远：假设持续学习确实是下一代模型的核心能力，目前一个很大的问题是，我们缺少衡量这种能力的方法。持续学习是一个从弱到强的连续过程。我们首先要建立更完善的评测，判断当前模型的发展程度，才能进一步讨论它距离目标还有多远。

晚点：接下来模型能力会沿着当前路线持续上升，还是会出现平台期？

曾致远：我猜测仍然会有平台期。即使有突破也不一定意味着出现巨大的范式变化。可能只是在工程执行、数据、训练方法或基础设施上解决了一些关键问题。其实最近半年没有出现特别本质的范式突破，更多是在现有技术平台上继续提高。但即使只提高了一点，普通用户感受到的产品体验也可能已经很不同了。

题图来源：Lincoln - “Full Moon”