刚刚，Kimi K3开源！3万亿模型权重全球开放

新智元报道

就在刚刚，全球首个3万亿参数级开源模型Kimi K3正式开源！

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI宣布，发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

K3不仅是一个参数量高达2.8T的原生多模态MoE巨兽，更是全球首个在长逻辑链编程、超长上下文智能体协作、复杂推理上，能够与目前最强闭源模型（Fable 5和GPT-5.6 Sol）掰手腕的开源模型！

这一里程碑式的工作，不仅展示了中国AI团队在研发上的雄厚实力，更为开源社区带来了真正意义上的前沿级智能。

K3开放权重，开启3万亿参数级开源AI时代

2026年7月27日，Moonshot AI兑现承诺，Kimi K3的完整模型权重正式面向全球开源社区发布。

这标志着，开源大模型正式进入2.8万亿参数的新纪元，Kimi K3也成为全球首个真正落地的3万亿参数级别开源模型。

此次发布的不仅是模型权重，还包括相关技术细节和报告。

Moonshot表示，他们已与多家推理合作伙伴及开源维护者紧密协作，确保K3能在主流硬件和框架中可靠运行。

这意味着——开发者可以下载完整权重进行本地部署或二次开发；研究机构能基于K3探索超大规模MoE、新型注意力机制等前沿课题；企业可构建专属的超长上下文知识系统和智能Agent集群。

开源社区将迎来新一轮的应用浪潮！

参数规模：把天花板又抬高一截

过去一年，Kimi系列几乎每个季度都在刷新开源模型的参数与能力的天花板。

K3的2.8T参数，不仅是目前已知最大的开源模型之一，更是第一个真正跨入「3T 俱乐部」的存在。

相比前代K2，K3在架构上实现了显著突破：

KDA混合线性注意力机制，专为超长序列设计；

Attention Residuals，提升深层模型的训练稳定性；

MoE大幅优化：896个专家，仅激活16个，结合Stable LatentMoE框架，在保持巨量参数的同时极大提高了计算效率。

官方数据显示，这些创新让K3的整体扩展效率较K2提升约2.5倍，真正做到了「规模」与「可用性」的平衡。

与Kimi K2.5的主要区别在于，Kimi K3的视觉编码器MoonViT-V2完全从零开始训练，仅依赖后续token预测，可直接依据语言建模目标调整编码器的表征。

在整个训练过程中，MoonViT-V2保持稳定。

值得指出的是，MoonViT-V2 在视觉评估中的表现与 SigLIP 初始化的基线模型相当。

它支持100万token超长上下文，并原生具备多模态能力。

总之，K3是架构创新与场景适配的综合进化。

官方技术博客强调：「前沿智能属于所有人」。Kimi K3的开源，正是这一理念的最新实践。

根据Moonshot官方及第三方评测，Kimi K3在编程、代码Agent、前端开发、长上下文推理等场景中表现突出。

它的整体智能水平进入全球第一梯队，仅次于少数闭源顶尖模型，在开源阵营中处于领先地位。

Kimi K3技术报告解读

这次和开源消息一起放出的，是一份47页的技术报告。

以下是技术报告的核心内容。

2.8万亿参数的开源「六边形战士」

Kimi K3告诉我们：开源模型同样可以做到极致的 Scaling与Reasoning。

Kimi K3的核心底座数据堪称豪华：

惊人的体量：总参数量高达2.88万亿，每个Token激活参数量为1040亿。

百万级上下文：原生支持高达100万 Token的超长上下文窗口。

原生多模态：视觉与文本从预训练第一天起就交织在一起，没有任何后期的「缝合」对齐阶段。

推理期思考缩放（Test-Time Scaling）：支持从 Low、High 到 Max 多种Thinking Effort级别，在复杂任务上会像人类一样「三思而后行」。

架构三大革新：扩展效率提升2.5倍

训练一个3万亿参数级别的模型，绝非简单地堆叠GPU。

Kimi K3相比上一代 Kimi K2，在整体扩展效率上实现了约2.5倍的飞跃。

这归功于其极其优雅且暴力的架构设计。

1.混合注意力机制：KDA + Gated MLA

传统的Softmax注意力机制在处理百万级上下文时，KV Cache的内存占用会瞬间撑爆显存。Kimi K3独创性地采用了 混合架构——

每一个Block包含3层Kimi Delta Attention (KDA) 和1层 Gated MLA。

KDA（线性注意力）：负责高效的长序列混合，将冗长的上下文压缩成固定大小的循环状态，彻底打破了上下文长度的内存诅咒。

Gated MLA（全局注意力）：周期性地保留极致的全局信息检索能力。

这种「3:1」的搭配，既保住了长文本的命，又留住了找细节的魂。

2.注意力残差（Attention Residuals）

在极深的网络中，信息往往会在层层传递中损耗。Kimi K3引入了Attention Residuals，允许当前层「跨级」直接读取之前所有层的特征表示。这就像是给模型装上了直达电梯，信息流转不再拥堵。

3.稳如泰山的超稀疏 MoE (Stable LatentMoE)

Kimi K3 的路由专家数量暴增至896个，每个Token激活16个专家。为了在极度稀疏（极少部分参数被激活）的情况下保持训练稳定，Kimi 团队祭出了两大杀器。

SiTU-GLU激活函数完美解决了传统SwiGLU在极端规模下容易导致激活值爆炸的问题。

Quantile Balancing（分位数负载均衡）摒弃了传统的辅助损失函数，采用动态调整偏差的方式，让896个专家「不闲着也不累坏」，实现了近乎完美的负载均衡。

百万Token的Agent进化论：K3 是如何炼成的？

大模型的强大不仅在于预训练，更在于「后训练/RL」。Kimi K3的强化学习完全是为「100万Token 超长视距的智能体」量身定制的。

1.极度复杂的白盒沙盒训练 (AgentENV)

Kimi K3 的训练环境不再是简单的问答，而是真实的模拟器。月之暗面开发了基于微型虚拟机（microVM）的沙盒AgentENV。

在这个环境里，Kimi K3会历经成百上千个步骤：写代码、截图、查Bug、自我修正。它甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工，处理跨越「虚拟数天」的超长待机任务。

2.知识图谱引导的任务合成

为了让模型见多识广，研发团队构建了一个自我进化的知识图谱，让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务，以此来「折磨」K3。

3.多层思考的蒸馏 (MOPD)

Kimi K3交叉训练了通用、智能体、代码三大领域的专家模型，并在低、高、极限三个「思考努力」级别上进行强化学习。

最后，通过多教师在策略蒸馏（Multi-Teacher On-Policy Distillation），将这些强大的能力浓缩到了一个统一的模型中。

算力与基础设施的极限压榨

2.8T 参数、1M上下文，这不仅是对算法的考验，更是对系统工程的史诗级挑战。

Kimi Infra团队交出了一份惊艳的答卷。

MoonEP（零浪费的专家并行）：在MoE训练中，算力不均是常态。MoonEP 通过极其精妙的在线整数线性规划和「零拷贝」通信，实现了完全动态且绝对平衡的算力分配。

KDA融合Prefix Cache：针对混合架构，团队重写了底层推理引擎，让KDA的循环状态与MLA的KV Cache能够在一个内存池中完美共享与复用。这意味着，处理包含数十万字相同前缀的请求时，K3的响应速度将有指数级的提升。

实测表现：逼近甚至超越人类极客

在报告展示的全面评测中，Kimi K3在各项公开与内部基准测试中，全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5，并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。

Kimi K3在真实极客任务中的表现，非常惊人。

找出Linux内核的Zero-Day漏洞（网络安全测试）

在极度硬核的网络安全评估中，Kimi K3不仅能通过已知漏洞编写Exploit（漏洞利用程序），竟然还在最新的Linux内核代码中，独立发现了多个未知的零日漏洞（Zero-Day）！

包括一个远程触发的堆越界写入和一个本地提权漏洞，这些发现已得到人类安全专家的验证。

爆改GPU编译器

Kimi K3独立开发了一个名为MiniTriton的GPU编译器，包含完整的代码生成管线，并在极高难度的大核算子（如KDA、DSA）优化中，将运行时间缩短了70%以上，逼近硬件的理论极限。

48小时内设计出一颗芯片（Nano-KPU）

作为一个早期概念验证，K3被关在沙盒里48小时，完全自主地使用开源EDA工具，从零开始设计、优化并验证了一颗基于45nm工艺的AI推理芯片，最终成功通过了时序闭合！

替代科研人员打工

为了复现天体物理学中的某个普遍关系，K3自主阅读了20多篇论文，编写了超过3000行Python代码搭建完整数值管道，找出了已发表论文公式中的矛盾点，并生成了可交互的数据面板。人类需要一到两周的工作，K3在两个小时内完成了。

极致的性价比

性能比肩最强闭源模型，那推理成本呢？

得益于量化感知训练（MXFP4权重/MXFP8激活）、投机解码（Draft Model）以及系统底层的疯狂优化，Kimi K3的性价比极其恐怖。

在第三方平台Artificial Analysis的统计中，Kimi K3在保持第一梯队性能的同时，在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半，甚至比Claude Fable5便宜了近乎一个数量级！

硅谷集体发声：支持开源！

最近，近200家硅谷创始人联合表态，反对美国政府切断美国企业获取开源大模型的渠道。

就在本周末，老黄在X上发出了人生第一推，25家企业联合署名表示：开源为什么重要。

这25家名单里，有英伟达、微软、Meta、IBM、a16z、YC等等，几乎囊括了硅谷的半壁江山。

毫无疑问，就在这个风口浪尖，K3的全面开源，更是意义重大。

在今日的Arena.ai榜单上，Kimi K3仍是全球第一

开源之光，点亮前沿智能

国产开源路线，也是面对闭源巨头的一次弯道超车的机会。

可以预计，随着K3权重的全面开放，大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。

曾经Llama的开源，让Meta一举打破了闭源巨头垄断，彻底点燃了全球开源AI社区的热情，催生了无数衍生模型和应用。

如今，以K3为代表的中国开源AI的崛起，或许将彻底改变全球大模型的游戏规则。

据传，Kimi团队周五一家酒吧举行庆功活动。现场大屏写着「K3，扩容升级」「K4，给我狠狠干到极致」「冲上月球」。爆料还称，团队包下多个卡座，月之暗面联合创始人、总裁疑似现身

而就在Kimi K3开放权重几小时前，Kimi K 3.1传出将于下月发布。

「虽然在整体表现上，Kimi K3仍略微落后于最强大的闭源模型，但它已经稳稳确立了开源领域的全新边界。」

Kimi K3的横空出世，打破了「只有闭源巨头才能玩转百万级Agent和慢思考」的偏见。

当代码、权重和技术细节毫无保留地开放，属于开源AI的星辰大海，才刚刚开始。

参考资料：

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

编辑：Aeneas 大卫