国产双开源：让Mac成为你的私人AI工作站

你以为你的Mac AI已经很快了？其实苹果芯片里藏着一半的算力没被用上！

最近Ollama的一次更新让开发者炸了锅，但很快大家发现，这还不够——直到一家中国公司甩出两个开源项目，直接把苹果芯片的潜能拉满！

2026年3月底，Ollama宣布Mac版本底层推理引擎从llama.cpp切换到苹果MLX框架，开发者社区瞬间沸腾。

在M5芯片上，prefill速度提升超57%，生成速度接近翻倍，甚至有开发者说解码速度涨了93%！

为啥这么猛？苹果Silicon的统一内存架构让CPU和GPU共用一块内存，数据不用来回搬；M5芯片还在GPU里加了专门的AI推理硬件Neural Accelerator。

但问题来了：MLX只量化了模型权重，计算时的激活值还是FP16格式，等于苹果专门为INT8设计的硬件只用了一半，剩下的闲在那儿吃灰。

就在大家遗憾的时候，明略科技开源了Cider——一个基于MLX的端侧推理加速框架，专门给Mac和Apple Silicon量身定做。

如果把MLX比作“用小包装材料但还是用精密工具加工”，那Cider就是“直接换适配小材料的专用工具”：不仅权重量化，连计算过程都用INT8精度，还调用苹果GPU里的Neural Accelerator硬件。

它提供两种模式：W8A8（权重和激活都INT8）和W4A8（权重再压到INT4），而且把量化、计算、反量化合并成一次GPU调度，省了中间搬运的时间。

实测数据更吓人：M5 Pro上，W8A8模式比MLX原生快1.8倍以上；Qwen3-VL-2B模型prefill加速57%~61%；Qwen3-8B量化后困惑度只比原精度高0.03，几乎没损失！

关键是接入超简单，一行代码convert_model(model)就能让Qwen、Llama等主流模型提速，连VLM模型都能直接用。

更牛的是，Cider还在试ANE+GPU并行：把计算拆给ANE和GPU一起做，M4上Qwen-VL-2B prefill能再快3%~17%。

虽然还在实验阶段，但这意味着Mac上每一块算力都能被榨干！

和Cider一起开源的还有Mano-P——一个能让AI看懂屏幕、操作图形界面的智能体。

它不用CDP协议或HTML解析，不管是桌面软件还是Web系统，纯视觉就能搞定。

最实用的场景是GUI测试：Claude写代码，Mano-P自动打开界面、点击验证，整个开发闭环不用人插手，还能把云端token开销直接归零（原来这部分占比超50%）。

测试数据更亮眼：OSWorld基准上，Mano-P 1.0-72B成功率58.2%，全球第一，比第二名高13个百分点；WebRetriever上超过Gemini和Claude。

端侧性能也够强：M4 Pro上4B量化模型能跑476 tokens/s prefill，76 tokens/s解码，峰值内存才4.3GB。

32GB内存的Mac mini就能本地运行，所有数据都不出设备。和Cider配合后，prefill还能再快12.7%！

单独看Cider是加速工具，Mano-P是GUI智能体，但合在一起就不一样了——它们指向“Private AI”：AI真正属于你，不是服务提供商。

什么是Private AI？数据私有（不传到云端）、推理私有（本地运行）、能力私有（适应你的场景）。

Cider解决速度问题，让本地推理足够快；Mano-P解决场景问题，证明端侧AI能做高价值的自动化。

比如明略的Mano-AFK流水线，从需求到部署再到测试，全在本地完成，不用调API，不花一分钱，数据完全自主。

官方建议用32GB以上内存的设备，这样能充分发挥Cider优势。

但即使16GB内存，也能跑通，只是要注意内存占用——这说明技术已经落地，边界和条件都很明确。

明略科技还在搞Auto Agent Learning：让本地小模型用自然语言更新参数，适应你的私有场景。

这意味着你的AI会跟着你的习惯成长，从“属于你”变成“更懂你”。

Cider和Mano-P是第一步，Auto Agent Learning是下一步。

当模型跑在你自己的设备上，还能持续进化，Private AI就不再是概念——它会变成你专属的智能助手。

你有没有想过，未来你的Mac里会有一个完全属于你的AI，懂你的工作习惯，还能帮你操作所有软件？

评论区说说你最期待它帮你做什么！觉得有用的话，转发给身边用Mac的朋友，让他们也知道这个黑科技～