网易首页 > 网易号 > 正文 申请入驻

刚刚,Kimi K3开源!3万亿模型权重全球开放

0
分享至


新智元报道


就在刚刚,全球首个3万亿参数级开源模型Kimi K3正式开源!


https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI宣布,发布Kimi K3的模型权重、技术报告,并开源支撑Kimi K3模型训练的关键Infra技术:MoonEP、FlashKDA和AgentEnv。

K3不仅是一个参数量高达2.8T的原生多模态MoE巨兽,更是全球首个在长逻辑链编程、超长上下文智能体协作、复杂推理上,能够与目前最强闭源模型(Fable 5和GPT-5.6 Sol)掰手腕的开源模型!


这一里程碑式的工作,不仅展示了中国AI团队在研发上的雄厚实力,更为开源社区带来了真正意义上的前沿级智能。

K3开放权重,开启3万亿参数级开源AI时代

2026年7月27日,Moonshot AI兑现承诺,Kimi K3的完整模型权重正式面向全球开源社区发布。


这标志着,开源大模型正式进入2.8万亿参数的新纪元,Kimi K3也成为全球首个真正落地的3万亿参数级别开源模型。


此次发布的不仅是模型权重,还包括相关技术细节和报告。

Moonshot表示,他们已与多家推理合作伙伴及开源维护者紧密协作,确保K3能在主流硬件和框架中可靠运行。

这意味着——开发者可以下载完整权重进行本地部署或二次开发;研究机构能基于K3探索超大规模MoE、新型注意力机制等前沿课题;企业可构建专属的超长上下文知识系统和智能Agent集群。

开源社区将迎来新一轮的应用浪潮!

参数规模:把天花板又抬高一截

过去一年,Kimi系列几乎每个季度都在刷新开源模型的参数与能力的天花板。

K3的2.8T参数,不仅是目前已知最大的开源模型之一,更是第一个真正跨入「3T 俱乐部」的存在。

相比前代K2,K3在架构上实现了显著突破:

KDA混合线性注意力机制,专为超长序列设计;

Attention Residuals,提升深层模型的训练稳定性;

MoE大幅优化:896个专家,仅激活16个,结合Stable LatentMoE框架,在保持巨量参数的同时极大提高了计算效率。

官方数据显示,这些创新让K3的整体扩展效率较K2提升约2.5倍,真正做到了「规模」与「可用性」的平衡。

与Kimi K2.5的主要区别在于,Kimi K3的视觉编码器MoonViT-V2完全从零开始训练,仅依赖后续token预测,可直接依据语言建模目标调整编码器的表征。

在整个训练过程中,MoonViT-V2保持稳定。


值得指出的是,MoonViT-V2 在视觉评估中的表现与 SigLIP 初始化的基线模型相当。

它支持100万token超长上下文,并原生具备多模态能力。

总之,K3是架构创新与场景适配的综合进化。

官方技术博客强调:「前沿智能属于所有人」。Kimi K3的开源,正是这一理念的最新实践。

根据Moonshot官方及第三方评测,Kimi K3在编程、代码Agent、前端开发、长上下文推理等场景中表现突出。


它的整体智能水平进入全球第一梯队,仅次于少数闭源顶尖模型,在开源阵营中处于领先地位。

Kimi K3技术报告解读

这次和开源消息一起放出的,是一份47页的技术报告。


以下是技术报告的核心内容。

2.8万亿参数的开源「六边形战士」

Kimi K3告诉我们:开源模型同样可以做到极致的 Scaling与Reasoning。

Kimi K3的核心底座数据堪称豪华:

惊人的体量:总参数量高达2.88万亿,每个Token激活参数量为1040亿。

百万级上下文:原生支持高达100万 Token的超长上下文窗口。

原生多模态:视觉与文本从预训练第一天起就交织在一起,没有任何后期的「缝合」对齐阶段。

推理期思考缩放(Test-Time Scaling):支持从 Low、High 到 Max 多种Thinking Effort级别,在复杂任务上会像人类一样「三思而后行」。

架构三大革新:扩展效率提升2.5倍

训练一个3万亿参数级别的模型,绝非简单地堆叠GPU。

Kimi K3相比上一代 Kimi K2,在整体扩展效率上实现了约2.5倍的飞跃。


这归功于其极其优雅且暴力的架构设计。


1.混合注意力机制:KDA + Gated MLA

传统的Softmax注意力机制在处理百万级上下文时,KV Cache的内存占用会瞬间撑爆显存。Kimi K3独创性地采用了 混合架构——


每一个Block包含3层Kimi Delta Attention (KDA) 和1层 Gated MLA。


KDA(线性注意力):负责高效的长序列混合,将冗长的上下文压缩成固定大小的循环状态,彻底打破了上下文长度的内存诅咒。

Gated MLA(全局注意力):周期性地保留极致的全局信息检索能力。

这种「3:1」的搭配,既保住了长文本的命,又留住了找细节的魂。

2.注意力残差(Attention Residuals)

在极深的网络中,信息往往会在层层传递中损耗。Kimi K3引入了Attention Residuals,允许当前层「跨级」直接读取之前所有层的特征表示。这就像是给模型装上了直达电梯,信息流转不再拥堵。

3.稳如泰山的超稀疏 MoE (Stable LatentMoE)

Kimi K3 的路由专家数量暴增至896个,每个Token激活16个专家。为了在极度稀疏(极少部分参数被激活)的情况下保持训练稳定,Kimi 团队祭出了两大杀器。

SiTU-GLU激活函数完美解决了传统SwiGLU在极端规模下容易导致激活值爆炸的问题。


Quantile Balancing(分位数负载均衡)摒弃了传统的辅助损失函数,采用动态调整偏差的方式,让896个专家「不闲着也不累坏」,实现了近乎完美的负载均衡。


百万Token的Agent进化论:K3 是如何炼成的?

大模型的强大不仅在于预训练,更在于「后训练/RL」。Kimi K3的强化学习完全是为「100万Token 超长视距的智能体」量身定制的。

1.极度复杂的白盒沙盒训练 (AgentENV)

Kimi K3 的训练环境不再是简单的问答,而是真实的模拟器。月之暗面开发了基于微型虚拟机(microVM)的沙盒AgentENV。

在这个环境里,Kimi K3会历经成百上千个步骤:写代码、截图、查Bug、自我修正。它甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工,处理跨越「虚拟数天」的超长待机任务。

2.知识图谱引导的任务合成

为了让模型见多识广,研发团队构建了一个自我进化的知识图谱,让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务,以此来「折磨」K3。


3.多层思考的蒸馏 (MOPD)

Kimi K3交叉训练了通用、智能体、代码三大领域的专家模型,并在低、高、极限三个「思考努力」级别上进行强化学习。

最后,通过多教师在策略蒸馏(Multi-Teacher On-Policy Distillation),将这些强大的能力浓缩到了一个统一的模型中。


算力与基础设施的极限压榨

2.8T 参数、1M上下文,这不仅是对算法的考验,更是对系统工程的史诗级挑战。

Kimi Infra团队交出了一份惊艳的答卷。

MoonEP(零浪费的专家并行):在MoE训练中,算力不均是常态。MoonEP 通过极其精妙的在线整数线性规划和「零拷贝」通信,实现了完全动态且绝对平衡的算力分配。

KDA融合Prefix Cache:针对混合架构,团队重写了底层推理引擎,让KDA的循环状态与MLA的KV Cache能够在一个内存池中完美共享与复用。这意味着,处理包含数十万字相同前缀的请求时,K3的响应速度将有指数级的提升。

实测表现:逼近甚至超越人类极客

在报告展示的全面评测中,Kimi K3在各项公开与内部基准测试中,全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5,并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。


Kimi K3在真实极客任务中的表现,非常惊人。

找出Linux内核的Zero-Day漏洞(网络安全测试)


在极度硬核的网络安全评估中,Kimi K3不仅能通过已知漏洞编写Exploit(漏洞利用程序),竟然还在最新的Linux内核代码中,独立发现了多个未知的零日漏洞(Zero-Day)!

包括一个远程触发的堆越界写入和一个本地提权漏洞,这些发现已得到人类安全专家的验证。


爆改GPU编译器


Kimi K3独立开发了一个名为MiniTriton的GPU编译器,包含完整的代码生成管线,并在极高难度的大核算子(如KDA、DSA)优化中,将运行时间缩短了70%以上,逼近硬件的理论极限。


48小时内设计出一颗芯片(Nano-KPU)


作为一个早期概念验证,K3被关在沙盒里48小时,完全自主地使用开源EDA工具,从零开始设计、优化并验证了一颗基于45nm工艺的AI推理芯片,最终成功通过了时序闭合!


替代科研人员打工


为了复现天体物理学中的某个普遍关系,K3自主阅读了20多篇论文,编写了超过3000行Python代码搭建完整数值管道,找出了已发表论文公式中的矛盾点,并生成了可交互的数据面板。人类需要一到两周的工作,K3在两个小时内完成了。


极致的性价比

性能比肩最强闭源模型,那推理成本呢?


得益于量化感知训练(MXFP4权重/MXFP8激活)、投机解码(Draft Model)以及系统底层的疯狂优化,Kimi K3的性价比极其恐怖。


在第三方平台Artificial Analysis的统计中,Kimi K3在保持第一梯队性能的同时,在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半,甚至比Claude Fable5便宜了近乎一个数量级!


硅谷集体发声:支持开源!

最近,近200家硅谷创始人联合表态,反对美国政府切断美国企业获取开源大模型的渠道。

就在本周末,老黄在X上发出了人生第一推,25家企业联合署名表示:开源为什么重要。

这25家名单里,有英伟达、微软、Meta、IBM、a16z、YC等等,几乎囊括了硅谷的半壁江山。


毫无疑问,就在这个风口浪尖,K3的全面开源,更是意义重大。


在今日的Arena.ai榜单上,Kimi K3仍是全球第一

开源之光,点亮前沿智能

国产开源路线,也是面对闭源巨头的一次弯道超车的机会。

可以预计,随着K3权重的全面开放,大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。


曾经Llama的开源,让Meta一举打破了闭源巨头垄断,彻底点燃了全球开源AI社区的热情,催生了无数衍生模型和应用。

如今,以K3为代表的中国开源AI的崛起,或许将彻底改变全球大模型的游戏规则。


据传,Kimi团队周五一家酒吧举行庆功活动。现场大屏写着「K3,扩容升级」「K4,给我狠狠干到极致」「冲上月球」。爆料还称,团队包下多个卡座,月之暗面联合创始人、总裁疑似现身

而就在Kimi K3开放权重几小时前,Kimi K 3.1传出将于下月发布。


「虽然在整体表现上,Kimi K3仍略微落后于最强大的闭源模型,但它已经稳稳确立了开源领域的全新边界。」

Kimi K3的横空出世,打破了「只有闭源巨头才能玩转百万级Agent和慢思考」的偏见。

当代码、权重和技术细节毫无保留地开放,属于开源AI的星辰大海,才刚刚开始。

参考资料:

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

编辑:Aeneas 大卫

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
离谱争议!C罗轰986球获葡萄牙官推祝贺,大批球迷怒批蹭流量

离谱争议!C罗轰986球获葡萄牙官推祝贺,大批球迷怒批蹭流量

萧壛记录风土人情
2026-11-21 15:14:21
我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

财经要参
2026-11-03 12:00:06
江浙沪,被托举的一代开始崩溃了

江浙沪,被托举的一代开始崩溃了

二胡的岁月如歌
2026-11-20 22:12:12
随着U17国足0-5惨败西班牙!球迷也确定了3个事实:邝兆镭泯人众人,国足出线告急

随着U17国足0-5惨败西班牙!球迷也确定了3个事实:邝兆镭泯人众人,国足出线告急

体育就你秀
2026-11-21 00:19:33
7000万太贵,AC米兰转向德米罗维奇

7000万太贵,AC米兰转向德米罗维奇

赛场速报局
2026-11-21 02:01:13
回声报:阿诺德在皇马必须开俱乐部提供的宝马,选低调纯电iX60

回声报:阿诺德在皇马必须开俱乐部提供的宝马,选低调纯电iX60

懂球帝
2026-11-21 05:19:09
罗竞告别斯坦丘:愿你一切都好,Nico我的兄弟

罗竞告别斯坦丘:愿你一切都好,Nico我的兄弟

懂球帝
2026-11-21 12:36:03
伊能静发长文谈《后会友期》:“我总相信,一个人的来时路,会影响他的去处”

伊能静发长文谈《后会友期》:“我总相信,一个人的来时路,会影响他的去处”

韩小娱
2026-11-21 09:30:32
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
大量“洋垃圾”旋屏本流入闲鱼!十代i5才卖699元,轻至940克

大量“洋垃圾”旋屏本流入闲鱼!十代i5才卖699元,轻至940克

科技拌饭
2026-11-18 17:35:09
女子有2男友还找人包养,情人和男友同晚来睡她,2015年将她杀死了

女子有2男友还找人包养,情人和男友同晚来睡她,2015年将她杀死了

汉史趣闻
2026-11-21 09:02:34
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
2007年军方给予林彪公正评价,林彪长女泪谢:功过分明!

2007年军方给予林彪公正评价,林彪长女泪谢:功过分明!

楚风说历史
2026-11-11 19:55:04
徐欣莹抗议司法介选绝食静坐逾12小时 郑丽文今天上午将到场声援

徐欣莹抗议司法介选绝食静坐逾12小时 郑丽文今天上午将到场声援

海峡导报社
2026-11-21 10:24:03
晕了晕了!近1900亿元资金进场抄底宽基ETF,行业主题ETF却遭遇资金抛售

晕了晕了!近1900亿元资金进场抄底宽基ETF,行业主题ETF却遭遇资金抛售

每经牛眼
2026-11-21 12:57:16
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
哈佛追踪11万人30年:抗衰第一名不是跑步,是被你嫌土的走路

哈佛追踪11万人30年:抗衰第一名不是跑步,是被你嫌土的走路

宝哥精彩赛事
2026-11-21 15:09:56
别人送你这 2 样东西,千万别要,会要了你的命,更会毁了你的家

别人送你这 2 样东西,千万别要,会要了你的命,更会毁了你的家

荷兰豆爱健康
2026-11-03 18:58:45
内塔尼亚胡还想坐庄?前参谋长开口一句:总理这位子你别惦记了

内塔尼亚胡还想坐庄?前参谋长开口一句:总理这位子你别惦记了

一曲一场談
2026-11-21 15:48:06
2026-11-21 16:31:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67241关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
艺术
游戏
房产
军事航空

今年冬天流行“大+小”穿法,时髦又显瘦!

艺术要闻

2026第七届民族美术作品展 油画选二

野兽先生全新挑战:在GTA6抢到多少钱就给多少钱!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版