黑龙江
一张 12GB 的显卡，塞进一个 7630 亿参数的模型。听起来像段子，但这是本周真实发生的事。
DeepSeek-V4.1-Flash-1017 是个 763B 的 MoE 模型，384 个专家、每次只激活 6 个，原生上下文 100 万 token。过去这种体量只有机房多卡才敢碰。现在，奥地利研究机构 ISTA-DASLab 把它压成了两比特上下的 GGUF，再配上 Strata 推理引擎，一张消费级显卡就能跑起来。
两比特量化，分数几乎没掉
ISTA-DASLab 就是当年做出 GPTQ、SparseGPT 的那拨人。他们这次的方法叫 GSQ-RCO：GSQ 负责把每个张量量到指定精度，RCO 在总比特预算下给每个张量分配格式，敏感层多留比特、皮实层狠压。
结果很漂亮。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 三项上拿满 93.54 的任务均分，正好是基座模型的百分之百；更狠的 IQ1_M（1.75 bpw）也只掉到 98.7%。换句话说，把 763B 压到两比特，推理能力几乎原样保留。
12GB 是怎么装下的
关键不在显存，在于「分页」。Strata 把模型主干放在显存，其余权重常驻内存，用的时候再从固态按需翻页。所以一张 12GB 显卡够跑，但你要准备 64GB 以上的内存，外加大约 239GB 的空闲固态（138GB 主干加一份 111GB 的共享查表文件）。
那张查表不进显存也不进内存，一直留在固态上，按 token 稀疏读取，所以硬盘够快就能压住成本。
把速度说清楚
贴出实测的开发者用的是 RTX 5070，12GB 显存配 64GB 内存，给出的 105 到 117 token，其实是「预填充」也就是读入上下文的速度，不是出字速度。真正生成时，12GB 这一档大约只有 5 到 10 token。同样这套配置，输入侧能冲到 231 token，但一个字一个字往外蹦就慢了。
明察秋毫。看本地大模型不能只盯出字那根数，喂进去有多快、长上下文能不能顶住，对跑 Agent 的人往往更要紧。
各方怎么看
消息在 r/LocalLLaMA 引来不少讨论，有人直接点出：两比特持平基座，听着太好，得等社区自己复测。另一个现实是，llama.cpp 目前还跑不了 DeepSeek-V4.1，架构的合并请求还没合，眼下只能走 Strata 及其分支 Xolotl、Maya。已经有玩家在 5090 加 64GB 内存上实测，八千上下文大约 10 token。
草萤有耀终非火，荷露虽团岂是珠。量化团队名头够硬，结论也漂亮，但毕竟是自家卡上的分数，落到你的机器上究竟几分，还得自己拉下来跑一遍才算数。耳闻之不如目见之，目见之不如足践之。
参考内容：https://x.com/0x0SojalSec/status/2114179761874612255
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
