网易首页 > 网易号 > 正文 申请入驻

刚刚,Kimi K3开源!3万亿模型权重全球开放

0
分享至


新智元报道


就在刚刚,全球首个3万亿参数级开源模型Kimi K3正式开源!


https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI宣布,发布Kimi K3的模型权重、技术报告,并开源支撑Kimi K3模型训练的关键Infra技术:MoonEP、FlashKDA和AgentEnv。

K3不仅是一个参数量高达2.8T的原生多模态MoE巨兽,更是全球首个在长逻辑链编程、超长上下文智能体协作、复杂推理上,能够与目前最强闭源模型(Fable 5和GPT-5.6 Sol)掰手腕的开源模型!


这一里程碑式的工作,不仅展示了中国AI团队在研发上的雄厚实力,更为开源社区带来了真正意义上的前沿级智能。

K3开放权重,开启3万亿参数级开源AI时代

2026年7月27日,Moonshot AI兑现承诺,Kimi K3的完整模型权重正式面向全球开源社区发布。


这标志着,开源大模型正式进入2.8万亿参数的新纪元,Kimi K3也成为全球首个真正落地的3万亿参数级别开源模型。


此次发布的不仅是模型权重,还包括相关技术细节和报告。

Moonshot表示,他们已与多家推理合作伙伴及开源维护者紧密协作,确保K3能在主流硬件和框架中可靠运行。

这意味着——开发者可以下载完整权重进行本地部署或二次开发;研究机构能基于K3探索超大规模MoE、新型注意力机制等前沿课题;企业可构建专属的超长上下文知识系统和智能Agent集群。

开源社区将迎来新一轮的应用浪潮!

参数规模:把天花板又抬高一截

过去一年,Kimi系列几乎每个季度都在刷新开源模型的参数与能力的天花板。

K3的2.8T参数,不仅是目前已知最大的开源模型之一,更是第一个真正跨入「3T 俱乐部」的存在。

相比前代K2,K3在架构上实现了显著突破:

KDA混合线性注意力机制,专为超长序列设计;

Attention Residuals,提升深层模型的训练稳定性;

MoE大幅优化:896个专家,仅激活16个,结合Stable LatentMoE框架,在保持巨量参数的同时极大提高了计算效率。

官方数据显示,这些创新让K3的整体扩展效率较K2提升约2.5倍,真正做到了「规模」与「可用性」的平衡。

与Kimi K2.5的主要区别在于,Kimi K3的视觉编码器MoonViT-V2完全从零开始训练,仅依赖后续token预测,可直接依据语言建模目标调整编码器的表征。

在整个训练过程中,MoonViT-V2保持稳定。


值得指出的是,MoonViT-V2 在视觉评估中的表现与 SigLIP 初始化的基线模型相当。

它支持100万token超长上下文,并原生具备多模态能力。

总之,K3是架构创新与场景适配的综合进化。

官方技术博客强调:「前沿智能属于所有人」。Kimi K3的开源,正是这一理念的最新实践。

根据Moonshot官方及第三方评测,Kimi K3在编程、代码Agent、前端开发、长上下文推理等场景中表现突出。


它的整体智能水平进入全球第一梯队,仅次于少数闭源顶尖模型,在开源阵营中处于领先地位。

Kimi K3技术报告解读

这次和开源消息一起放出的,是一份47页的技术报告。


以下是技术报告的核心内容。

2.8万亿参数的开源「六边形战士」

Kimi K3告诉我们:开源模型同样可以做到极致的 Scaling与Reasoning。

Kimi K3的核心底座数据堪称豪华:

惊人的体量:总参数量高达2.88万亿,每个Token激活参数量为1040亿。

百万级上下文:原生支持高达100万 Token的超长上下文窗口。

原生多模态:视觉与文本从预训练第一天起就交织在一起,没有任何后期的「缝合」对齐阶段。

推理期思考缩放(Test-Time Scaling):支持从 Low、High 到 Max 多种Thinking Effort级别,在复杂任务上会像人类一样「三思而后行」。

架构三大革新:扩展效率提升2.5倍

训练一个3万亿参数级别的模型,绝非简单地堆叠GPU。

Kimi K3相比上一代 Kimi K2,在整体扩展效率上实现了约2.5倍的飞跃。


这归功于其极其优雅且暴力的架构设计。


1.混合注意力机制:KDA + Gated MLA

传统的Softmax注意力机制在处理百万级上下文时,KV Cache的内存占用会瞬间撑爆显存。Kimi K3独创性地采用了 混合架构——


每一个Block包含3层Kimi Delta Attention (KDA) 和1层 Gated MLA。


KDA(线性注意力):负责高效的长序列混合,将冗长的上下文压缩成固定大小的循环状态,彻底打破了上下文长度的内存诅咒。

Gated MLA(全局注意力):周期性地保留极致的全局信息检索能力。

这种「3:1」的搭配,既保住了长文本的命,又留住了找细节的魂。

2.注意力残差(Attention Residuals)

在极深的网络中,信息往往会在层层传递中损耗。Kimi K3引入了Attention Residuals,允许当前层「跨级」直接读取之前所有层的特征表示。这就像是给模型装上了直达电梯,信息流转不再拥堵。

3.稳如泰山的超稀疏 MoE (Stable LatentMoE)

Kimi K3 的路由专家数量暴增至896个,每个Token激活16个专家。为了在极度稀疏(极少部分参数被激活)的情况下保持训练稳定,Kimi 团队祭出了两大杀器。

SiTU-GLU激活函数完美解决了传统SwiGLU在极端规模下容易导致激活值爆炸的问题。


Quantile Balancing(分位数负载均衡)摒弃了传统的辅助损失函数,采用动态调整偏差的方式,让896个专家「不闲着也不累坏」,实现了近乎完美的负载均衡。


百万Token的Agent进化论:K3 是如何炼成的?

大模型的强大不仅在于预训练,更在于「后训练/RL」。Kimi K3的强化学习完全是为「100万Token 超长视距的智能体」量身定制的。

1.极度复杂的白盒沙盒训练 (AgentENV)

Kimi K3 的训练环境不再是简单的问答,而是真实的模拟器。月之暗面开发了基于微型虚拟机(microVM)的沙盒AgentENV。

在这个环境里,Kimi K3会历经成百上千个步骤:写代码、截图、查Bug、自我修正。它甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工,处理跨越「虚拟数天」的超长待机任务。

2.知识图谱引导的任务合成

为了让模型见多识广,研发团队构建了一个自我进化的知识图谱,让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务,以此来「折磨」K3。


3.多层思考的蒸馏 (MOPD)

Kimi K3交叉训练了通用、智能体、代码三大领域的专家模型,并在低、高、极限三个「思考努力」级别上进行强化学习。

最后,通过多教师在策略蒸馏(Multi-Teacher On-Policy Distillation),将这些强大的能力浓缩到了一个统一的模型中。


算力与基础设施的极限压榨

2.8T 参数、1M上下文,这不仅是对算法的考验,更是对系统工程的史诗级挑战。

Kimi Infra团队交出了一份惊艳的答卷。

MoonEP(零浪费的专家并行):在MoE训练中,算力不均是常态。MoonEP 通过极其精妙的在线整数线性规划和「零拷贝」通信,实现了完全动态且绝对平衡的算力分配。

KDA融合Prefix Cache:针对混合架构,团队重写了底层推理引擎,让KDA的循环状态与MLA的KV Cache能够在一个内存池中完美共享与复用。这意味着,处理包含数十万字相同前缀的请求时,K3的响应速度将有指数级的提升。

实测表现:逼近甚至超越人类极客

在报告展示的全面评测中,Kimi K3在各项公开与内部基准测试中,全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5,并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。


Kimi K3在真实极客任务中的表现,非常惊人。

找出Linux内核的Zero-Day漏洞(网络安全测试)


在极度硬核的网络安全评估中,Kimi K3不仅能通过已知漏洞编写Exploit(漏洞利用程序),竟然还在最新的Linux内核代码中,独立发现了多个未知的零日漏洞(Zero-Day)!

包括一个远程触发的堆越界写入和一个本地提权漏洞,这些发现已得到人类安全专家的验证。


爆改GPU编译器


Kimi K3独立开发了一个名为MiniTriton的GPU编译器,包含完整的代码生成管线,并在极高难度的大核算子(如KDA、DSA)优化中,将运行时间缩短了70%以上,逼近硬件的理论极限。


48小时内设计出一颗芯片(Nano-KPU)


作为一个早期概念验证,K3被关在沙盒里48小时,完全自主地使用开源EDA工具,从零开始设计、优化并验证了一颗基于45nm工艺的AI推理芯片,最终成功通过了时序闭合!


替代科研人员打工


为了复现天体物理学中的某个普遍关系,K3自主阅读了20多篇论文,编写了超过3000行Python代码搭建完整数值管道,找出了已发表论文公式中的矛盾点,并生成了可交互的数据面板。人类需要一到两周的工作,K3在两个小时内完成了。


极致的性价比

性能比肩最强闭源模型,那推理成本呢?


得益于量化感知训练(MXFP4权重/MXFP8激活)、投机解码(Draft Model)以及系统底层的疯狂优化,Kimi K3的性价比极其恐怖。


在第三方平台Artificial Analysis的统计中,Kimi K3在保持第一梯队性能的同时,在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半,甚至比Claude Fable5便宜了近乎一个数量级!


硅谷集体发声:支持开源!

最近,近200家硅谷创始人联合表态,反对美国政府切断美国企业获取开源大模型的渠道。

就在本周末,老黄在X上发出了人生第一推,25家企业联合署名表示:开源为什么重要。

这25家名单里,有英伟达、微软、Meta、IBM、a16z、YC等等,几乎囊括了硅谷的半壁江山。


毫无疑问,就在这个风口浪尖,K3的全面开源,更是意义重大。


在今日的Arena.ai榜单上,Kimi K3仍是全球第一

开源之光,点亮前沿智能

国产开源路线,也是面对闭源巨头的一次弯道超车的机会。

可以预计,随着K3权重的全面开放,大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。


曾经Llama的开源,让Meta一举打破了闭源巨头垄断,彻底点燃了全球开源AI社区的热情,催生了无数衍生模型和应用。

如今,以K3为代表的中国开源AI的崛起,或许将彻底改变全球大模型的游戏规则。


据传,Kimi团队周五一家酒吧举行庆功活动。现场大屏写着「K3,扩容升级」「K4,给我狠狠干到极致」「冲上月球」。爆料还称,团队包下多个卡座,月之暗面联合创始人、总裁疑似现身

而就在Kimi K3开放权重几小时前,Kimi K 3.1传出将于下月发布。


「虽然在整体表现上,Kimi K3仍略微落后于最强大的闭源模型,但它已经稳稳确立了开源领域的全新边界。」

Kimi K3的横空出世,打破了「只有闭源巨头才能玩转百万级Agent和慢思考」的偏见。

当代码、权重和技术细节毫无保留地开放,属于开源AI的星辰大海,才刚刚开始。

参考资料:

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

编辑:Aeneas 大卫

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

磊子讲史
2026-11-16 16:23:07
黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

王新喜
2026-11-20 21:53:34
AI集体翻车!“13个鸡蛋”为啥就那么难画?

AI集体翻车!“13个鸡蛋”为啥就那么难画?

上观新闻
2026-11-21 07:17:25
伏明霞48岁熬出头,老公资产百亿衣食无忧,女儿哈佛毕业颜值惊艳

伏明霞48岁熬出头,老公资产百亿衣食无忧,女儿哈佛毕业颜值惊艳

全球时尚号
2026-11-20 17:07:35
发明陶瓷菜刀的意义在哪里?从使用意义来讲,有什么特殊吗?

发明陶瓷菜刀的意义在哪里?从使用意义来讲,有什么特殊吗?

向航说
2026-11-18 13:43:36
孩子的压岁钱,发到几岁合适?建议别超过这年龄,以免双方尴尬!

孩子的压岁钱,发到几岁合适?建议别超过这年龄,以免双方尴尬!

兴趣知识
2026-11-21 04:32:12
突然,集体拉升!两则好消息传来

突然,集体拉升!两则好消息传来

券商中国
2026-11-21 14:00:36
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
"上海解放后惩腐第一枪":军代表收四枚银元胁迫国民党军官之妻,陈毅批了四个字

"上海解放后惩腐第一枪":军代表收四枚银元胁迫国民党军官之妻,陈毅批了四个字

花开无田
2026-11-21 21:57:22
十大元帅中真正拉起一支队伍的,只有两个半,都被毛主席称为老总

十大元帅中真正拉起一支队伍的,只有两个半,都被毛主席称为老总

健康快乐丁
2025-05-23 19:39:23
“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

熙熙说教
2026-11-20 14:16:44
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
GDP全国第一的广东,为什么“养不活”一家顶奢商场?

GDP全国第一的广东,为什么“养不活”一家顶奢商场?

江启
2026-11-07 14:05:57
成都混团世界杯来了!王楚钦孙颖莎领衔国乒冲4连冠,含赛程

成都混团世界杯来了!王楚钦孙颖莎领衔国乒冲4连冠,含赛程

乒乓球球
2026-11-21 18:02:23
宗馥莉,48小时调整247人

宗馥莉,48小时调整247人

21世纪经济报道
2026-11-21 00:11:02
民心从来不是靠嘴皮子!谁让老百姓吃饱穿暖看起病,谁就是真本事

民心从来不是靠嘴皮子!谁让老百姓吃饱穿暖看起病,谁就是真本事

爱下厨的阿酾
2026-11-20 17:09:57
人均寿命79岁,健康却只到69?活到60岁,已是普通人顶配

人均寿命79岁,健康却只到69?活到60岁,已是普通人顶配

牛锅巴小钒
2026-11-21 12:59:58
特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

新京报政事儿
2026-11-21 15:08:14
投票结束,呼日勒苏赫同意交权,蒙古国代总统已定,对华态度明朗

投票结束,呼日勒苏赫同意交权,蒙古国代总统已定,对华态度明朗

墨策史
2026-11-21 21:34:12
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
2026-11-21 22:44:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67241关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
数码
健康
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版