本地模型跑通宵：当API宕机后，我把任务交给了Gemma 4

凌晨前几分钟，我启动了一个自动化任务，心里默算了下剩余的API额度，然后上床睡觉。计划很简单：醒来时，工作应该已经完成了。

实际醒来时，我看到的是冻结的终端界面。代理程序在第10分钟停止了。远程服务夜间宕机，整个任务随之夭折。我交给它的任务并不复杂：抓取50个文档页面，交叉比对数据源，生成结构化摘要。它刚开始没多久，我根本无法控制的基础设施就熄火了。

模型没出问题，智能也不是瓶颈。真正的问题在于，我搭建在了一个不属于自己的地基上：一个可能宕机的服务，一个可能耗尽的额度，以及第二天早上不知道会碰到哪一个的焦虑。

我一直也在用本地模型，训练过、测试过，印象不错。但说实话，过去我从没真正信任它们处理复杂任务。更像是爱好，而非解决方案。真实工作负载需要太多人工看护。我把它们归档在"有意思"的文件夹里。那个冻结的终端，把它们移到了另一个位置。

很长一段时间，专有巨头与开源世界之间的差距像一道峡谷。封闭阵营里有"神级模型"：GPT、Claude、Gemini。它们几乎能推理任何问题，但你得按它们的规则玩。想要真正的智能，就得付订阅费，接受它们的条款。

但这道峡谷正在收窄。

开源权重社区正在大力推进。DeepSeek V4、Kimi K2.6、GLM-5.1等模型证明，高端推理正在变成大宗商品。问题是权重规模。除非运营服务器农场或昂贵机架，否则托管这种规模的模型是后勤噩梦。远观令人赞叹，实际搭建却太重了。

然后甜点区出现了：Gemma 4 31B和Qwen 3.6 27B。

数学突然变了。这些模型不如万亿参数巨头聪明，但它们能装下。装进消费级GPU。离线工作。而且免费运行，除了GPU的电费成本。

但关键在这里：我认为本地模型的目标，不是在智商竞赛中打败云模型。

复杂任务你仍然需要重武器。你想要最强大的模型来处理高价值迭代，精度至上。那是短跑。

但当任务不是短跑呢？当你需要模型连续工作六小时？抓取一百个页面，尝试五十条不同推理路径，失败，转向，继续磨到完成为止？

那是马拉松。

马拉松里，智能是次要的，耐力才是核心。

本地设置的真正优势不只是隐私或成本。而是你拥有一个不会消失的执行层。它不会中途停机，不会额度耗尽，不会在你睡觉时把任务丢进虚空。它就在那儿，以恒定速度运转，直到工作完成。

这不是取代云端智能。这是关于任务类型的分工。云端处理需要爆发力的精密推理，本地负责需要持久性的长时运算。Gemma 4 31B的体量正好卡在这个缝隙里：足够聪明处理中等复杂度任务，又足够轻便在单卡上跑通宵。

那个冻结的终端教会我的事：有些工作不能交给会消失的基础设施。当你需要确定性，需要知道早上醒来时任务要么完成、要么还在推进——本地模型从"有意思"变成了"必须"。