苹果Mac电脑运行本地大语言模型迎来性能飞跃

Ollama是一个专门在本地计算机上运行大语言模型的运行时系统，现已新增对苹果开源机器学习框架MLX的支持。此外，Ollama还改进了缓存性能，并支持英伟达的NVFP4格式进行模型压缩，大幅提升了特定模型的内存使用效率。

这些改进结合在一起，为搭载苹果芯片（M1或更新版本）的Mac电脑带来了显著的性能提升。时机恰到好处，因为本地模型正开始在研究者和爱好者群体之外获得更广泛的关注。

最近OpenClaw的爆红现象——在GitHub上迅速获得超过30万个星标，通过Moltbook等实验引起轰动，并在中国引起特别关注——让许多人开始尝试在自己的机器上运行模型。

随着开发者对Claude Code或ChatGPT Codex等工具的速率限制和高昂订阅费用感到沮丧，本地编程模型的实验热度不断升温。（Ollama最近还扩展了Visual Studio Code集成功能。）

新支持功能目前处于预览阶段（Ollama 0.19版本），目前仅支持一个模型——阿里巴巴Qwen3.5的350亿参数版本。对于普通用户来说，硬件要求相当严格。根据Ollama的公告，用户不仅需要配备苹果芯片的Mac电脑，还需要至少32GB的内存。

此外，Ollama现在能够利用苹果M5系列GPU中的全新神经加速器，因此那些最新款Mac应该在每秒Token数和Token响应时间方面获得额外优势。

虽然本地模型在基准测试中仍落后于前沿模型，但我们正逐渐达到这样一个程度：它们在某些任务上已经足够好，用户可能无需为此付费订阅。当然，与基于云的服务相比，本地运行模型还具有隐私优势，不过我们绝对不推荐像OpenClaw那样让模型深度访问系统的设置。主要障碍仍然是设置难度（Ollama主要是命令行工具，尽管已有其他界面可用）和硬件能力，特别是显存需求。

苹果的MLX框架为苹果芯片的内存提供了优化访问，GPU和CPU共享内存——这与Ollama之前针对的配备独立GPU的台式机采用了不同的方法。这并不意味着对大多数用户来说云端模型和本地模型之间的差距完全消失，但对现代Mac用户来说，这可能是朝着正确方向迈出的一步。

Ollama尚未公布MLX支持何时退出预览阶段并扩展到更多模型的时间表。

Q&A

Q1：Ollama的MLX支持有什么新功能？

A：Ollama新增了对苹果开源机器学习框架MLX的支持，还改进了缓存性能，并支持英伟达的NVFP4格式进行模型压缩，为搭载苹果芯片的Mac电脑带来显著性能提升。

Q2：使用Ollama的MLX支持需要什么硬件配置？

A：需要配备苹果芯片（M1或更新版本）的Mac电脑，并且至少需要32GB内存。搭载M5系列GPU的最新Mac还能获得额外的性能优势。

Q3：本地大语言模型相比云端模型有什么优势？

A：本地模型的主要优势是隐私保护，用户数据不需要上传到云端。此外，对于某些任务，本地模型已经足够好用，可以避免付费订阅云端服务的费用。