北京
分享至
大家好，我是AI学习的老章
如何运行Kimi K2 这个庞然大物（API & 本地部署）一文中我还在好奇，这次大模型量化之光Unsloth动作怎么这么慢
原来是准备了惊喜，重现了之前在R1上的经典——模型容量压缩80%！！！
完整版 Kimi K2 Q8 量化模型大小为 1.09TB，至少需要 8 块 H200 GPU 才能运行。
经过 Unsloth Dynamic 1.8 位量化的版本仅需 245GB（体积减少 80%）
压缩之后，也没有大幅降智
Unsloth在发布 DeepSeek R1 的 1.58 位量化版本时引入了 Flappy Bird 测试。Kimi K2 是极少数能一次性通过所有测试的模型，包括本测试、七边形测试等，甚至在 2 位量化下也能完成。
指南： https://docs.unsloth.ai/basics/kimi-k2
模型文件： https://huggingface.co/unsloth/Kimi-K2-Instruct-GGUF
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
