投资者内参丨杨跃滂
7月27日晚间,月之暗面正式宣布开源Kimi K3模型权重,同步发布技术报告,并开放三项支撑模型训练的关键基础设施技术——MoonEP、FlashKDA 和 AgentEnv。
![]()
Kimi K3由此成为全球首个真正落地的3万亿参数级别开源模型。
2.8万亿参数模型全球开放
Kimi K3是月之暗面目前能力最强的模型,总参数规模达到2.8万亿,采用混合专家(MoE)架构,具备原生视觉理解能力,并支持100万token的上下文窗口。
相比上一代Kimi K2.5,K3的参数规模提升约3倍。在算力条件并不宽裕的情况下,月之暗面凭借Kimi Delta Attention(KDA)、Attention Residuals(AttnRes)以及MoonEP等技术手段,将规模化效率提升了2.5倍(即在算力最优意义下,单位算力产出的智能约等于原来的2.5倍)。
月之暗面评测显示,尽管K3综合性能仍不及业界顶尖闭源模型 Claude Fable 5 与 GPT 5.6 Sol,但优于其他参与测试的模型。
![]()
![]()
第三方评测进一步验证了K3的实力。
AA-Briefcase是由Artificial Analysis(全球AI行业最受关注的独立分析机构之一,其榜单曾先后被OpenAI、Anthropic、Google等海外头部公司引用)开发的一个代理知识工作基准测试工具。
其中的AA-Briefcase Elo是一项综合评估指标,融合了通过率评分、分析能力Elo评分以及表现Elo评分,各项得分越高代表性能越好。Kimi K3在这一指标上取得1540分,位居前三。
![]()
开源的不只是模型,更是整个“技术底座”
月之暗面公布的技术报告披露了多项技术细节:
KDA + AttnRes:以3:1比例混合KDA与Gated MLA,实现高效长上下文建模,并通过块级注意力残差增强跨层信息流动。
传统注意力机制处理长文本时,模型读入的内容每增加一倍,计算量会增至约四倍;KDA将这种关系从“平方级”降到“线性级”,在同等算力下显著增强了模型处理信息、完成任务的能力。
AttnRes(Attention Residuals,注意力残差)则相当于给模型加装了一套“稳定器”,让信息在数百层网络间传递时不衰减、不失真。
Stable LatentMoE:每个token从896个路由专家中激活16个,通过SiTU-GLU与Quantile Balancing保持极高稀疏度下的训练稳定。
换句话说,K3拥有896个专家储备,但处理每个问题时只调度最擅长的16个专家协同完成,很好地控制了调用成本。
MoonViT-V2:视觉编码器从零开始使用next-token prediction训练,无需对比预训练。
后训练与评估:覆盖通用推理、通用Agent和编程Agent三大领域,包含百万token上下文的强化学习基建及近20个内部评测集。
![]()
此次开源的范围远超模型本身。月之暗面同步开放了支撑Kimi K3训练的三项关键基础设施(Infra)技术:
MoonEP:为超大细粒度MoE打造的高性能通信库,让专家并行通信在不均衡的情况下仍实现极致效率。
FlashKDA:Kimi Delta Attention的高性能算子,在英伟达H20上相比基线prefill速度提升1.72至2.22倍。prefill速度会直接影响用户等待第一个字出现的时间。
AgentEnv:与KVCache.ai合作开发的沙箱系统,为Kimi K3后训练提供高保真、强隔离环境,支持快速快照、恢复和分叉。沙箱系统类似于实验室里的无菌操作台,将代码与外界完全隔开,互不影响。
其中FlashKDA此前已开源,MoonEP和AgentEnv随本次发布正式开源。
华为阿里海光Day0跟进,黄仁勋力挺开源
月之暗面刚开放模型权重,国内芯片与云计算厂商便迅速跟进,甚至在产品正式发布的当天(Day0)就完成了配套支持,即Day0适配。
官宣仅几分钟后,华为昇腾CANN即宣布对Kimi K3的量化实现Day0原生支持。
![]()
7月28日早间,阿里云宣布真武M890超节点实例完成Day0适配,成为国内首个跑通近3万亿参数模型的超节点实例;
![]()
海光信息亦发文表示已完成Kimi K3在海光DCU平台的全流程适配、部署与性能验证。
![]()
这充分说明,国内算力生态已经具备快速承载运行世界级规模开源大模型的能力。
就在Kimi K3宣布开源的三天前——7月24日,英伟达CEO黄仁勋在社交平台X上发布了人生第一条推文。
推文内容指向一封由a16z发起,英伟达联合微软、Meta、Perplexity AI、Hugging Face等25家公司共同签署的公开信。该公开信明确主张“前沿开源模型与前沿闭源模型应并存发展”,并称开源模型具备安全、创新、AI自主主权等多重价值。OpenAI、Anthropic、Google三家最大的闭源实验室均未参与签署。
“一个广泛、开放的生态系统,是最适合承载AGI的土壤”
月之暗面表示,现在每个人都可以下载并部署Kimi K3模型——无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用。具体使用范围需遵循Kimi K3许可证。
该许可证中,有两项特殊规定值得关注:
针对提供“模型及服务”公司的商业用途需求,被许可方及其关联方连续12个月合计收入超过2000万美元的,必须与月之暗面签署单独的协议。
任何拥有超过1亿月度活跃用户,或每月收入超过 2000 万美元的商业产品或服务,都必须在用户界面中清楚地展示“Kimi K3”标识。
![]()
月之暗面在公告中表示:“我们坚信开放权重模型的价值。它们能降低获取智能的门槛,推动创新,并赋予用户对数据更大的控制权、隐私保护和所有权。在过去几周里,我们很高兴听到了许多来自AI社区,以及与我们有着共同愿景的技术领袖的支持声音。我们相信,对于AGI这样具有深远影响的技术,一个广泛、开放的生态系统是最适合承载它的土壤。”
风险提示:本文为内容资讯,不构成个人投资建议。市场有风险,投资需谨慎。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.