北京
【CNMO科技消息】近日，@月之暗面Kimi 发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。
Kimi
据CNMO科技了解，Kimi K3是月之暗面能力最强的模型：这是一个拥有2.8万亿参数的混合专家（MoE）模型，具备原生视觉理解能力，并支持100万token的上下文窗口。
现在，每个人都可以下载并部署Kimi K3模型——无论是用于内部研发，还是嵌入到面向终端用户的产品中，均可自由使用。
与Kimi K3模型权重一起公开的，还有模型训练方法——Kimi K3技术报告已同步上线。
从技术报告中，用户可以了解这些技术细节：
KDA+AttnRes：以3:1比例混合KDA与Gated MLA，实现高效长上下文建模，并通过块级注意力残差增强跨层信息流动。
Stable LatentMoE：每个token从896个路由专家中激活16个，并通过SiTU-GLU与Quantile Balancing保持极高稀疏度下的训练稳定。
MoonViT-V2：视觉编码器从零开始使用next-token prediction训练，无需对比预训练，在达到SigLIP初始化基线效果的同时获得更稳定的优化过程。
后训练与评估：在通用推理、通用Agent和编程Agent三大领域进行大规模任务合成，百万token上下文的强化学习基建，近20个内部评测集的完整评估结果。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
