北京
分享至
凤凰网科技讯 7月28日，阿里云宣布真武M890超节点实例已Day0适配Kimi K3，这是国内首个成功运行近3万亿参数模型的超节点。该超节点通过ICN Switch高速互联芯片，将64张平头哥真武M890芯片以800GB/s全互联，显存规模达9TB，单实例即可支撑大规模万亿级MoE模型的专家并行需求。
为提升运行效率，阿里云、平头哥与Kimi团队从软件栈、算子层面进行了深度联合适配，优化后首Token时延降低约35%，单卡解码吞吐提升1.8倍，可稳定支持1M长上下文。千问AI平台和阿里云百炼将同步提供Kimi K3的模型API。阿里云表示，该适配验证了国产算力已具备支撑超大参数模型大规模应用的能力。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
