2840亿参数模型本地运行：仅13B激活，速度每秒10-14 token

你能在自家机器上跑动一个 2840 亿参数的大模型吗？要是放在一年前，任何一个用过本地 LLM 的人都会告诉你两个字：妥协。要么模型参数量直接砍到 7B、13B，要么忍受 3 秒蹦一个字的龟速，而且但凡你指望它像云端 ChatGPT、Claude 那样博学，现实就会给你一记响亮的耳光。

但现在，用一台不算离谱的硬件，真有人把 284B 参数跑起来了，而且它干的活还不赖。模型是 DeepSeek V4 Flash，推理引擎不是熟悉的 Ollama 或 llama.cpp，而是 Redis 之父 Salvatore Sanfilippo（antirez）从头写的一个新玩意：ds4。这活儿最扎眼的地方在于——它没有阉割模型能力，只是用一套极“抠门”的架构，把原本只属于云端的东西挪到了桌面。

背后的逻辑可以拆成五个关键点，每条拎出来，都挺打脸那种“本地运行模型必缩水”的旧认知。

一、284B 只是纸老虎，真正跑起来只有 13B

DeepSeek 今年 4 月用 MIT 许可放出了 V4 预览版家族，分两档：Pro 版1.6万亿参数，残暴到根本不跟你谈本地；Flash 版 2840 亿，听着也像是来找茬的。但别被数字吓到——这是个 MoE（混合专家）模型，每处理一个 token，实际激活的参数只有大约 13B。

就是这招，把一张昂贵的内存肉票（284B 权重全载入）变成了运行便宜的“空转”。内存你得够大，装得下全部参数，但每步推理只花 13B 的计算量，相当于把一辆重卡当电动小车开。这完全打破了本地部署“大即慢”的旧等式。

二、引擎不是“通用货”，而是专门给 V4 开的特供通道

Ollama、llama.cpp 当然是好工具，但它们是通用推理器，什么模型都能伺候。ds4 则完全是 antirez 读了 DeepSeek V4 的架构后专门从头写的。它狠挖了两样东西：一个是上面提到的 MoE 激活特性，减少无谓计算；另一个是 V4 自带的压缩注意力机制——Compressed Sparse Attention 和 Heavily Compressed Attention。

这对 KV 缓存的压缩简直是本地化的续命丹。V4 全系标配 100 万 token 的上下文窗口，搁一般本地环境就是个笑话，普通推理器跑 8K 都喘。而 DeepSeek 的压缩设计把这 100 万 token 的上下文压到你机器能吞下去的大小，ds4 则直接把这个能力当核心来调度。这一轮配合，让长对话长文档都不再是“请充值云服务”的提示符。

三、每秒 10 到 14 token，不快，但够用

别期待它像聊天窗那样字句瞬间弹出。实测速度在每秒 10–14 个 token 之间，具体还看上下文塞了多少内容。这数字丢到实时对话里确实尴尬，但如果你把期待从“秒回”调成“喝口咖啡看一眼已经写了好几行”，它就变成了一个可以依赖的本地生产力工具。

跑这东西的硬件是一台联想 ThinkStation PGX（带 GB10 的小箱子），不算顶配，但也是正经工作站。ds4 目前还是几周大的 Beta 软件，处处写满“实验版”字样，可它已经能稳定加载这个级别的模型，并且在非实时对话场景下给出靠谱的输出。用作者的话说：一旦你不再要求它像云端 Chat 窗口那样即时回应，它带来的惊喜会压过一切嫌慢的牢骚。

四、硬件门槛依然不低，内存就是那道铁门槛

虽然算力上取巧，但 284B 的全参数可不是空气。满精度权重填进去，远超 128GB 内存的容量，必须靠一系列量化或分载技巧才能塞进单机。ds4 利用 V4 的架构特点尽量压缩内存占用，但它毕竟是给“装得下”的机器准备的。这不是树莓派玩具，而是给那些已经有一台 128GB 以上内存工作站的人，送上了一个“这下你的硬件终于能干点大事了”的理由。

五、本地模型的“云端感”终于不靠脑补了

以前的本地部署，用户得不断告诉自己“虽然它回答问题不如 Claude，但胜在离线”。这次 V4 Flash 加 ds4 组合，反过来了——它不是在“容忍”本地限制，而是把云端才有的知识广度和长上下文能力，实实在在地搬到了线下机箱里。

这还只是开始。ds4 跑在这么早期的阶段，硬件也并非专门为此优化。如果未来几年出现专门适配 MoE 大模型的本地推理硬件，或者推理引擎在压缩和调度上继续进化，把“本地跑千亿参数”这件事从极客的玩具变成程序员的日常，可能比想象中更快。到时你会发现，那个花大价钱买的高内存工作站，总算不是用来跑虚拟机了。