天津
编辑｜山辉
Kimi K3开放完整权重后，不少人都跃跃欲试。
2.8 万亿参数、官方 MXFP4 权重，拥有了这些，你就可以自己捣鼓这个规模巨大的模型，可以部署到本地。
现实情况真有这么简单吗？
有人总结，运行 Kimi K3 其实很容易，只需要 1.5TB GPU 内存、大约 8 张 H100，以及一座小型变电站。
很快有人算了一笔账，按照这张粗略的成本表，如果将大容量 GPU 服务器和供电设施都算进去，整套配置可能触及百万美元。
这么一看，好像已经和我们这些「个人玩家」没什么关系了。
也有人不死心，开始认真研究能不能通过量化，把这个 2.8 万亿参数模型强行塞进个人设备。只不过，评论区对此普遍不太乐观。
但没想到，还真有人在一台Ｍac 上跑起来了。
128GB 的 Mac，真把 1.6TB 权重塞下了
一名开发者拿出一台128GB 统一内存的 M5 Max，直接加载 Kimi K3 发布在 Hugging Face 上的官方 MXFP4 权重。
这套权重足足有 1.56TB，体积超过设备内存十倍，显然无法一次性完整载入。
他的办法是让约 97GiB 的静态权重常驻内存，其余部分不一次性加载，而是在推理过程中从固态硬盘持续读取。模型运行到哪一层，对应的权重才被送入内存参与计算。
这样一来，128GB 内存不需要同时装下整个模型，只需要容纳常驻权重和当前参与计算的部分。
最终，Kimi K3 真的开口了。
开发者先问了一句「How are you」，模型正常回答「I am fine, thank you」。随后，他又让模型解释 Transformer 中的注意力机制，Kimi K3 也开始生成回答。
但输出速度相当缓慢。
测试中，模型处理输入的速度约为0.98 token/s，生成速度只有0.32 token/s。换算下来，每生成一个 token 大约需要三秒。一个正常长度的回答，可能要等上几分钟。
这至少证明了一件事：一台只有 128GB 内存的 Mac，确实能够以流式读取的方式运行 1.6TB 的 Kimi K3 官方权重。
不过，这只解决了容量问题。权重需要不断从硬盘搬进内存，模型每生成一个 token，都要等待大量数据完成读取和计算，推理速度自然很难提高。
开发者也表示，这套方案目前主要用来调通推理图。下一步，他准备把模型进一步压缩到 Q2，再使用两台各配备 512GB 统一内存的 Mac Studio，尝试把速度提升到可以正常聊天的水平。
显然，如果不想让 Kimi K3 的语速「快得像闪电」——《疯狂动物城》里的那只树懒，只用一台 128GB 的 Mac 是不行的。
80 张 5090，这是真能用
继续压缩是不太行了，还有人选择把显卡数量提上去。
Ning 团队使用 80 张 RTX 5090，完整运行了 2.8 万亿参数的 Kimi K3。
整套系统由 10 个节点组成，每个节点安装 8 张 RTX 5090，总显存达到 2.56TB。团队直接使用 Kimi 官方发布的 MXFP4 权重，没有进一步量化。
在首日测试中，Kimi K3 的单流推理速度达到了20 token/s。
相比 Mac 上的 0.32 token/s，输出速度提高了六十多倍，基本进入可以正常对话的范围。
这套方案使用仍然是消费级显卡。RTX 5090 搭载 GDDR7 显存，不具备 HBM 和 NVLink，10 个节点之间也只通过 25GbE 以太网连接。
80 张 5090 提供了 2.56TB 总显存和约 143TB/s 聚合带宽，高于 32 张 H100 方案的 107TB/s 和 16 张 B200 方案的 128TB/s。
当然，聚合带宽无法直接代表整套系统的推理性能，多节点通信、算子效率和调度开销都会影响最终速度。
即便如此，20 token/s 的实测结果已经证明，消费级 GPU 集群也能以可用速度运行完整 Kimi K3。
团队表示，这还只是首日、未经充分优化的结果。此前，他们曾将 4090 集群运行 GLM-5.2 的速度从 30 token/s 提升至 110 token/s，Kimi K3 仍有继续提速的空间。
相比传统的数据中心 GPU 方案，这条路线降低了对 HBM 和高速互联设备的依赖，但 80 张 5090、10 个节点，以及配套的网络、供电和散热设施，投入依然相当可观。
这么看来，一台 ThinkPad 确实不可能，80 张游戏显卡倒是可以跑。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
