我有办法让 Qwen3.8-Flash-Next 在你的 Mac 上跑出极致速度

我上篇文章介绍了如何用 Splash 这个 Mac 上专用的推理引擎，把 Qwen3.8-27B 在本地跑出 70 token/s 的最高速度，但还有两个问题没解决。

第一个是，如何下载量化性能更好的 GGUF 格式的模型。

另一个是，如何让 Qwen3.8-Flash-Next 这个 125B 权重的模型，也能在消费级 Mac 上跑出极致速度，比如我的 M5Pro 48G 最快跑出了 ~100 token/s 的速度。

开始之前，有必要把一些在 Mac 上部署大模型的概念简单介绍下。这样即使你之前没接触过，也可以顺着我的技术路线很容易就能跑起来了。

我使用的模型部署软件是oMLX，它不仅有自己的推理引擎，还支持使用外部推理引擎Splash跑 Qwen 系列的模型，模型文件从国内的ModelScope（魔搭社区）上下载，它们之间的关系我画个图简单表示下。

所以，需要提前做的准备是先把 oMLX 软件 和 Splash 引擎安装好，这个我上一篇文章有介绍，安装都不复杂，动动手的事。

当然 Mac 本地部署大模型也有不少其它的技术路线，比如我之前也写过 Strata 在 Mac 上的用法。这篇文章里的是我目前探索出来的最简单、快速，同时适合国内用的。

先说下开头提到的第一个问题，怎么从国内的 ModelScope 平台上下载 GGUF 格式的模型放在 oMLX 里用。同一个模型，这种格式有量化精度更好的。

在 oMLX 的模型下载器里，ModelScope 选项卡下把 “仅 MLX” 勾掉，也能找到 GGUF 格式的模型，但是不好用。

比如搜索 “Qwen3.8-27B”，想下载量化精度更高的 unsloth/Qwen3.8-27B-GGUF，它这里展示的是所有量化规格的集合，一共 439.7 G，你点下载话，会把整个集合都下来...

正确的做法是，点击这个模型名字跳转到 ModelScope ，在 “模型文件” 页面只下载自己需要的模型，一般也就 15~20 G左右。我这里选的是 Q4 量化里精度最高的 UD-Q4_K_XL 这个，你可以根据自己的设备选择不同的规格。

下载好的模型需要放到 oMLX 的模型文件夹 ~/.omlx/models/unsloth 下。

另外，使用 Splash 引擎还需要下载配套的 DFlash2 草稿模型，这个在 oMLX 的模型下载器里可以直接下载，以下两个任意。

你要是觉得这个过程麻烦，或者怕自己不小心弄花了，完全可以交给你的 Agent 来干，比如 WorkBuddy、Codex 等任意 Agent 工具，发给它：

“帮我从ModeScope上把 unsloth/Qwen3.8-27B-GGUF 这个模型下载下来，我只要 UD-Q4_K_XL 这个量化规格的；同时配套的 DFlash2 的草稿模型 incoai/Qwen3.8-27B-DFlash2 及配置文件也下载一下；下载完放到本地 oMLX 对应的模型文件夹下，然后做一个简单的验证。

我在 WorkBuddy 里试了下，模型选的是 DeepSeek-V4.1-Flash，还是很顺利的。因为我之前下载过，它检查到已经存在模型文件了，还修复了一个配置文件的问题。

上面的搞明白了，再跑 Qwen3.8-Flash-Next 就容易了。只需要下载模型文件和对应的 DFlash2 草稿模型就行了，方式和上面的一样。

主模型选：ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

草稿模型：incoai/Qwen3.8-Flash-Next-DFlash2-GGUF

主模型我选的是 Q2_0、IQ3_S 这两个，我原本以为这种量化精度的模型智商肯定会掉一大截，但是看了下模型介绍页，它背后是有很强的科研机构支撑的。

查了下奥地利科学技术研究所（ISTA）这个机构的背景，它在模型量化领域是很顶尖的存在，早期的 GTPQ、AWQ 经典量化理论就是它们提出的。它还给出了 Qwen3.8-Flash-Next 在不同量化规格下的表现。

对了，下载模型的时候，如果要支持多模态，记得把视觉编码器文件也下载下，不到 1 G。

还有，如果你之前用 Strata 在 Mac 上跑过这个模型，是可以在 oMLX 里复用的，让你的Agent 把原模型文件复制一份过来，记得用硬链接的方式，这样不多占磁盘空间。

Qwen3.8-Flash-Next 在我本地跑起来后，我一直在测试它能跑多快，不同量化规格的智能水平如何，适合干什么事。下面说下我的一些使用体验和测试结果，希望对你使用也有参考意义。

我一共测试了三个量化规格：

Q2_0：这个在速度上的体验是最好的，有时甚至能跑出 100 token/s 以上的瞬时高速，一共调用了 200 多次，平均 80 token/s 左右。

但它的智能水平差点意思，更适合做执行者。我一般是让高级模型去规划方案，形成详细html/md 文档后，交给它去执行。

IQ3_S：这个规格是 ISTA 在这个模型上量化精度最高的，官方说在所有任务上都能匹配或超越原模型。我的使用体验也不错，智能水平不低，偶尔会犯一些小错，均速能跑到 40 token/s，是我日常主要使用的。

UD-Q4_K_XL：这个是 unsloth 做的，是 Q4 量化里精度最高的，也是我认为三个里面智能水平最高的，模型 111 G 左右。我原本对 Splash 引擎有很大的期待，希望它在这个规格上也能比 Strata 跑出更快的速度，但均速也是 30 token/s 左右。

而且在Q4这个规格上，Splash 引擎还和 Mac 底层的 Metal 内核发生过竞态，导致GPU 经常超时，没法再次加载模型。这个可能跟内存大小有关系，如果有 64G 估计能跑出不错的效果。

下面是这三种不同规格的模型，分别在上百次调用测试下 token 的平均输出速度。

以上，希望能帮到你。