Ollama把Mac推理速度翻了3倍，但门槛卡死32G内存

本地跑大模型这件事，过去像是程序员给自己找的罪受——能跑，但慢得让你怀疑人生。Ollama最新放出的0.19预览版，把Apple的MLX框架接了进来，声称能让M系列芯片的Mac提速数倍。代价？你的电脑得先值两万块。

MLX不是新东西，但Ollama现在才用上，时机选得刁钻。

Apple在2023年底开源了MLX（机器学习加速框架），专门给自家芯片的统一内存架构做优化。传统PC的CPU和GPU各管各的内存，数据搬来搬去像跨国快递；Apple Silicon把内存池共享，理论上能省掉大量搬运开销。Ollama之前没用这套，等于开着跑车走国道。现在终于上了高速，但只开放给一辆车型——阿里Qwen3.5的350亿参数版本。

硬件门槛写得明明白白：Apple Silicon芯片（M1起步），内存32GB起。这不是建议配置，是硬门槛。350亿参数的模型在FP16精度下大概需要70GB显存，Ollama靠量化压缩塞进32GB统一内存，已经是极限操作。M5系列用户还能蹭到Neural Accelerator的新加成，token生成速度和首token延迟都有额外提升。

本地模型的春天，是被逼出来的

一个数据能说明问题：OpenClaw在GitHub上狂揽30万星标，中国开发者尤其上头。这个工具让本地模型能直接操作文件系统、执行代码，相当于给AI开了系统级后门。风险我们后面说，但热度是真实的。

另一股推力来自云服务的反噬。Claude Code、ChatGPT Codex这些顶级编程助手，订阅费贵不说，rate limit（速率限制）卡得开发者想摔键盘。高峰期排队等token，比等外卖还煎熬。本地模型虽然笨一点，但随叫随到，不看你脸色。

Ollama自己也嗅到了风向。上个月刚加强了Visual Studio Code的集成，现在又把MLX抬出来，明显想从"极客玩具"往"生产工具"挪。但命令行出身的产品，用户上手门槛还在。第三方界面比如OpenWebUI能包一层皮，但底层调参、模型下载、量化配置，该懂的还得懂。

NVFP4：NVIDIA的压缩术，Ollama也偷来了

这次更新还有一张牌：支持NVIDIA的NVFP4格式。这是NVIDIA在Blackwell架构上推的4位浮点量化方案，比传统的INT4或FP8更省内存，精度损失可控。Ollama把它接进来，意味着部分模型能在显存占用上砍半。

但别急着欢呼。NVFP4需要硬件支持，目前主要是RTX 50系列和数据中心卡。Mac用户用不上这块，这是给Windows/Linux+NVIDIA独显的玩家准备的。Ollama的算盘很清楚：两头下注，Apple Silicon和NVIDIA生态都不放过。

缓存性能的提升倒是普惠的。Ollama没公布具体数字，但官方说法是"显著改善"。结合MLX的内存优化，重复查询时的响应速度应该会有体感差异——比如同一段代码反复追问，不用每次都重新吃一遍模型。

350亿参数，够干什么？

Qwen3.5-35B在基准测试里什么水平？大概摸到GPT-3.5 Turbo的脚跟，离Claude 3.5 Sonnet还有段距离。但"够不够用"是个场景问题。

写个Python脚本、改改配置文件的注释、解释一段报错日志——这些高频但低难度的任务，本地模型完全能扛。真正需要推理深度的架构设计、跨文件依赖分析，还是得喊云服务爸爸。隐私敏感的场景是本地模型的护城河：医疗记录、金融数据、未公开的代码库，谁也不想往OpenAI的服务器上传。

OpenClaw那种给模型开系统权限的玩法，我们明确不建议。本地模型确实不联网，但一旦它能执行shell命令、读写文件，本身就是个攻击面。去年有安全研究者演示过，诱导本地模型执行恶意指令的成功率并不低。便利和安全之间的张力，不会因为模型搬到本地就消失。

32GB内存的门槛，把大多数人挡在门外。

MacBook Air M3标配8GB或16GB，Pro版本到32GB要加钱——很多。这意味着Ollama的MLX优化，现阶段服务的是专业用户和发烧友。M4 Mac mini倒是能把32GB配置压到万元以内，但台式机的便携性又是另一笔账。

一个可能的变量是模型小型化。Meta的Llama 3.1 8B、Google的Gemma 2 9B，这些轻量级选手在MLX优化后，能不能在16GB内存上跑得流畅？Ollama没承诺，但技术路径是通的。如果成真，门槛会断崖式下降。

另一个观察点是M5系列的Neural Accelerator。Apple在M5 GPU里塞了专门的AI加速单元，Ollama已经宣称能调用。但具体提升多少，要等实测数据。如果token速度能逼近云端模型的响应延迟，"本地优先"的决策逻辑会彻底改写。

Ollama的更新公告里埋了一句话："更多MLX支持的模型即将推出。"350亿参数的Qwen3.5只是开胃菜。考虑到阿里在开源模型上的激进姿态，Qwen系列的全尺寸版本、甚至多模态变体，大概率会陆续上架。

本地模型的生态正在从"能跑"进化到"好用"。Ollama这一步踩的是Apple Silicon的硬件红利，但真正的胜负手在模型本身——谁能在更小的体积里塞更强的能力，谁就能让32GB内存的门槛显得不那么刺眼。

你现在的主力开发机是什么配置？如果本地模型能跑到Claude 3.5的八成水平，但完全免费、不限速、不联网，你会愿意为此换一台32GB内存的Mac吗？