上海
分享至
品玩3月19日讯，在英伟达GTC大会上，月之暗面创始人杨植麟首次系统披露了Kimi K2.5的技术路线图，提出通过“令牌效率、长上下文与智能体集群”三维共振实现模型能力跃升。针对传统优化器瓶颈，团队研发MuonClip优化器，在万亿参数训练中成功抑制数值爆炸，使令牌处理效率较AdamW提升一倍。
在长上下文领域，Kimi Linear架构采用混合注意力机制，将128K至1M范围内的解码速度提升5至6倍，实现了从“支持长文本”到“高效利用长文本”的转变。此外，团队重构了沿用十年的残差连接，提出Attention Residuals机制，使深层网络能按需检索信息而非简单堆叠，该成果已开源并获Andrej Karpathy等专家高度评价。
杨植麟还指出，多模态视觉强化学习可反向增强纯文本推理能力。未来Kimi将从单智能体转向动态生成的智能体集群（Agent Swarms），通过并行协作大幅缩短复杂任务执行时间，重塑人工智能规模化应用范式。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
