北京
周三下午，DeepSeek连发两款V4模型，Zyphra甩出8B小钢炮。我的第一反应是：终于可以测点新东西了。结果算完账，三台机器全鸽了——不是不想测，是硬件根本够不着。
这不是跑分翻车，是连起跑线都没摸到。如果你也在折腾本地推理，这三个模型被拒的理由，比任何排行榜都更能说明问题。
先交代一下家底：RTX 5090（32GB显存）、64GB DDR5内存、PCIe 5.0 SSD。日常跑Qwen 3.5 35B-A3B，agentic coding能稳在200+ tok/s。Devstral、Codestral、Gemma 4、DeepSeek R1 14B都跑过，20B-35B区间算是舒适区。
但新一批模型已经不在这个区间玩了。
DeepSeek V4-Pro：数据中心专属
参数规模：总参数量1.6T，激活参数量256B，FP8权重805GB。
805GB是道铁墙。我整套系统32GB显存加64GB内存，可寻址内存总共96GB。模型体积是总内存的8.4倍。没有GGUF量化版本，也没人做——消费级硬件根本跑不动，做了也是白做。
几周前试过Kimi K2.6，同样是1T规模的MoE模型。能"跑"，但速度不到1 token/秒。权重溢出显存挤进内存，撞上DDR5带宽天花板（约80GB/s，而5090显存带宽约1.8TB/s）。V4-Pro 1.6T规模只会更慢。
结论：只能走云API。DeepSeek官方提供api.deepseek.com接口，已将其加入测试机作为云端供应商，与Anthropic并列。
DeepSeek V4-Flash：差一点，差很多
参数规模：总参数量284B，激活参数量13B。
单看激活参数很诱人——13B比我的R1 14B还小。但MoE模型的陷阱在于：所有专家权重必须常驻内存，哪怕每次只调用一小部分。284B总量无处可藏。
算笔账：FP8格式需要142GB，BF16要284GB，INT8也要142GB。我的96GB系统全满也不够。
曾经有个IQ1_S量化版（54GB）和IQ2_M版（87GB），理论上能塞进去。但社区维护者自己删掉了文件。量化作者主动撤包，基本等于明说输出质量没法用。
更深的问题：llama.cpp主线还没支持DeepSeek V4架构。现有GGUF全靠第三方分支，主线PR还在争论中。你要从零编译一个未经验证的分支，去跑一个勉强塞进去的模型。
结论：暂未就绪。V4-Flash先作为云API加入测试列表，等llama.cpp合并支持后再看。
三个模型的共同教训
第一，总参数量正在脱离消费级硬件的引力范围。1T级MoE成为旗舰标配，而"激活参数小"只是营销话术——内存占用看总量。
第二，量化社区正在撤退。当维护者主动删除自己的量化文件，说明硬件压缩的极限已经触及质量底线。IQ1_S、IQ2_M这种极端量化，以前是能跑就行，现在连能跑都不一定行了。
第三，架构支持滞后成为新瓶颈。模型发布速度和推理框架的适配速度脱节，V4架构的PR还在GitHub上扯皮，用户只能干等或者赌分支稳定性。
我的5090不是不够强，是游戏规则变了。本地AI的甜蜜点仍在20B-35B，但前沿模型正在集体跃迁到数据中心尺度。这不是性能差距，是物理层面的不可达。
下一步的本地测试清单：等llama.cpp主线支持V4，等社区重新放出质量过关的量化版，或者等有人做出能跑1T模型的消费级方案——如果真有的话。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
