北京
分享至
公司动态
经济观察网讯 2月24日，月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告，并宣布推出“Moonlight”：一个在Muon上训练的30亿/160亿参数混合专家模型（MoE）。使用了5.7万亿个token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。（编辑 万佳）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
