Strata六版连发冲上0.2：27GB内存跑125B，视觉默认开

开源 · 本地推理

六版连发冲上 0.2：我们天天在用的本地推理引擎，卷成三件套了

10 月 13 日到 21 日，Strata 从 0.1.44 一路发到 0.2.2，六版连发——中间还夹着 0.2.1 的四个热修。这是本号 Strata 系列的第三篇：第一篇写它怎么把 125B 模型塞进游戏显卡，第二篇写 0.1.44 上 Qwen3.6-35B，这一篇想说一句实话——它已经不太像"引擎"了，像个产品了。

先交代背景：Strata是本地推理引擎，主打在消费级显卡上跑 Qwen3.8-Flash-Next 这个 125B 总参的 MoE 模型，本机起 OpenAI/Anthropic 兼容 API。我们自己的 3060 12G 机器上跑的是 IQ3_XXS 量化 + 64K 上下文 + MTP 投机解码，此前实测 36-47 tok/s，是每天的日用主力。星数从本号首篇时的 21.6k 涨到了现在的 29.9k。

0.2.0：从一个引擎，变成三件套

10 月 19 日的 0.2.0-beta 是这一周的分水岭。官方原话：Strata is now an app, a Terminal and an engine——桌面应用、命令行终端、推理引擎三件套，配套捆绑安装器和 Ed25519 签名的更新源。翻译成人话：以前装它要跑脚本，现在有安装包；以前更新靠重新 setup，现在有带签名校验的更新通道。

同版本还有两个"产品化"细节：模型推荐不再只看显存，而是按内存+显存合计给出建议档位；模型下载完成后可以完全离线运行。另外 0.2.1 起手动设置过的参数会存进 user_args，升级不再冲掉你调好的配置——用过早期版本的人知道这有多救命。

图片输入默认开，读图快了百倍

0.1.45 给 Qwen3.6-35B-A3B 加上了图片输入：安装时会问一句"Do you want images?"，选是就下载配套的视觉编码器。到 0.2.0，图片输入在 NVIDIA 和 AMD 卡上默认开启——24GB 显存以上走 GPU 读取，不够就走 CPU。

真正的爆点在 0.2.1 的 GPU 读图内核。官方自测：R9700 上读一张 972-token 的图，CPU 要 14.1 秒，GPU 读取 0.40 秒；Mac M4 读单图从 50.7 秒缩到 0.45 秒。代价是 GPU 读取器常驻约 1470MiB 显存——显存紧张的机器要掂量一下。

该快的也没落下

0.1.45 的提速官方口径是"最高 40%"：R9700 单卡解码从 83.2 涨到 117.8 tok/s（UD-Q4_K_XL）。多用户场景更狠——4 张 R9700 挂 16 个并发用户，吞吐从 207 提到 324 tok/s，首 token 等待时间 p50 从 20.6 秒压到 2.0 秒。家用单卡用不上这个，但它说明引擎层把批处理这条路修通了。

顺手的还有：模型下载改 16 连接（官方称快 9%）、0.2.1 出了 cuda/rocm 的 Docker 镜像、新增 strata bench run 跑标准化测试套件 standard-v1——官方在 3060 上实测整个套件加载后 2 到 4 分钟跑完。以后社区贴跑分终于有统一口径了，这事儿我个人认为比提速本身更有长期价值。

Gyro：27.6GB 内存跑 125B 的极限压缩

0.2.2 的更新日志里满屏都是 Gyro，说清楚它是什么：agentionai 出的 Qwen3.8-Flash-Next 极限量化版，用了新的 trellis 量化格式，README 里称它是"跑这个模型的最小方式"。两档：

Gyro-S

内存+显存 27.6GB、下载 58.5GB。官方定位原话："给什么都塞不下的电脑"，质量低于 IQ2_XS

Gyro-M

内存 35GB、下载 92GB。约等于 IQ3_XXS 的质量，GPU 显存省约 20%，但 3060 12G 上出字比 Q2_0 慢 16%

说白了：这是给 32GB 内存的轻薄本和没独显的机器准备的入场券，用速度和质量换"能跑"。0.2.2 把它的支持面铺开了——Intel Arc（Linux，A750 实测读 1406-token 提示 82 tok/s）、Apple Silicon（Metal 内核，32GB M4 跑 Gyro-S 约 9.1 tok/s），NVIDIA 卡上还再提了一波（3060 上 Gyro-M +9%、Gyro-S +15%，官方口径）。

给我们自己这类 3060 12G 用户泼盆实事求是的冷水：我们已经在跑 IQ3_XXS，Gyro-M 质量相当还更慢，没有换的理由。Gyro 的真正受众是 16-32GB 内存的轻薄本和小显存主机。

0.2.2：给显卡分工，和多卡的正确打开方式

多卡用户这次拿到了角色分工：strata launch --gpu-roles 1=main,0=helper，每张卡可以指定当主力、帮工还是下岗。配套的 auto-fit 会给"差一点塞不下"的模型自动缩设置。双路 CPU 也有 NUMA 感知（官方引社区数据 +9.7%）。RX 6000 系列有了专用引擎包——官方注明"编译了、没在真卡上测过"，A 卡用户自己掂量。

现有用户要不要升

声明在先：0.2.x 的数字全部来自官方 release notes，我们还没实测。按官方说明，升级走 UPDATE.bat / update.sh 或应用内更新，手动配置会保留；0.2.2 对应引擎版本 0.1.47。对我们的日用场景（IQ3_XXS + MTP）官方没有报破坏性变更，按官方信息推断可以升，但生产环境建议等一两个补丁版。

另外两个值得盯的苗头：仓库里出现了 integrations/harness——给 DeepSeek Harness 做 Strata 配置和 agent 桥接（官方注明还没接进聊天界面）；三天前新增了 SAFETY.md，写清它下载什么、何时联网、什么数据保持本地。一个本地推理引擎开始认真写安全文档，这是个好信号。

文中所有速度与耗时数字均为 Strata 官方 release notes 自测口径；"36-47 tok/s"为我们此前在自己 3060 12G 机器上的实测旧数据。