双料齐发！明略科技(2718.HK)正式开源 Cider 端侧推理加速框架与 Mano-P 端侧模型

近日，明略科技正式开源自研Cider推理加速SDK（软件开发工具包），以及端侧GUI智能体模型Mano-P。继此前开源的Mano-CUAskill之后，本次Mano-P模型的开源直观展现了端侧模型在真实业务闭环中的巨大潜能。而Cider框架则从计算算子与硬件调用机制的底层出发，赋能端侧大模型在macOS系统本地算力下以更高效率、更低内存占用流畅运行。

Mano-P：验证端侧智能体落地潜能

Mano-P是明略科技自研的端侧GUI-VLA智能体模型。它能够通过纯视觉方式理解并操作图形界面，既不依赖传统API对接，也不局限于浏览器场景，而是可以直接作用于桌面软件、网页系统以及更复杂的图形化工作流。

复杂的图形界面交互天然要求模型具备强大的多模态视觉理解能力，模型必须持续、高频地处理屏幕截图，精准定位微小的界面元素，并结合视觉反馈执行后续操作。在传统的云端大模型架构下，这种高频的视觉交互所带来的token成本消耗极为高昂。

相比之下，参数规模为4B的Mano-P端侧模型，不仅在CUA任务上展现出了媲美云端大模型的准确率，更将原本极其高昂的云端接口调用成本直接清零。在完全离线的本地模式下，所有的应用截图、交互过程与任务数据均被严格锁定在用户的本地设备之中，将隐私安全成为一种“物理隔离”的必然。

Cider：面向AppleSilicon的端侧推理加速框架

真正决定端侧模型可用性的核心指标，在于本地推理速度、硬件利用率、内存占用、接入成本以及长期稳定性。如果推理速度过慢，AI的交互体验便会大打折扣；如果内存占用过高，模型就难以在主流设备上广泛部署；如果接入成本居高不下，企业和开发者便难以将端侧能力快速融入自身的业务线。

Cider正是在这一背景下应运而生。作为明略科技自研并开源的SDK（软件开发工具包），Cider基于AppleMLX生态构建，专为macOS与AppleSilicon打造。它精准补齐了MLX原生框架在激活量化与特定张量计算能力上的缺失，是一套面向广泛开源模型生态的高效端侧推理框架。

图片来源：明略科技

当前，AppleMLX原生架构已支持W4A16、W8A16等权重量化模式。在此基础上，Cider进一步提供了W8A8与W4A8推理路径。通过深度融合在线激活量化、INT8TensorOps计算、量化矩阵乘和反量化流程，Cider充分释放了AppleSilicon的底层计算潜能，让开源模型不仅“能在Mac上跑”，更能以更高效率、更低内存占用的姿态流畅运行。

在实测数据中，Cider在W8A8模式下的算子速度相较原生MLX模式提升约1.4至1.9倍，具体表现视BatchSize而定。而在W4A8模式下，Cider能够比W8A8模式进一步降低50%的权重内存占用，并在高并发场景下与原生MLX的全精度W4A16方案计算速度相抗衡。

图片来源：明略科技

针对Qwen3-VL系列主流视觉语言模型，Cider在端到端预填充场景中展现出了极为显著的加速效果。在不同长度的提示词下，相较于原生MLXW8A16模式，Cider的W8A8PC模式为Qwen3-VL-4B模型带来了约17%至22%的预填充速度提升；而在Qwen3-VL-2B模型上，这一提速更是跃升至约57%至61%。

图片来源：明略科技

此外，Cider还针对多图推理中的RoPE位置处理等技术难点进行了深度优化与非侵入性修复，大幅提升了复杂视觉任务的推理稳定性。由于视觉交互任务通常需要处理更长的上下文、更复杂的截图信息以及更密集的推理请求，这种量级上的性能跃升对于端侧VLM和GUI智能体而言尤为关键。

此外，Cider积极探索了基于M4芯片的AppleNeuralEngine与GPU的异构协同。长期以来，端侧大模型推理主要依赖GPU，而Apple芯片中NeuralEngine的潜力并未被充分挖掘。Cider通过引入ANE+GPU的异构张量并行机制，让两类计算单元协同作战，在部分测试场景下额外斩获了约3%至16%的加速效果。

极简接入，让更多开源模型获得本地加速能力

Cider能够无缝兼容任意LLM模型，涵盖Qwen、Llama、Mistral以及Qwen3-VL等VLM模型，并内置OpenAI兼容的VLM推理服务。企业及开发者无需重写模型结构，仅需极少量的代码适配，即可实现便捷接入。

在预填充阶段，Cider支持启用W8A8INT8TensorOps以大幅拉升计算速度；而在解码阶段，框架能够智能回退至原有权重路径，有效避免引入不必要的额外开销。

无论是企业期望在内部网络中部署高度定制化的本地大语言模型，还是开发者致力于构建垂直领域的私有化人工智能应用矩阵，Cider都提供了一套坚实、可靠且极具延展性的底层推理基础设施支撑。

面向私有化AI，构建本地智能基础设施

过去，大模型应用大多依赖云端算力。云端模型具备更强的规模化能力，但在企业级场景中，数据传输成本、隐私安全、调用费用和网络依赖也成为不可忽视的问题。特别是在涉及内部系统、核心业务流程、敏感界面截图和任务数据的场景中，端侧AI可以让模型更靠近数据发生的地方，在降低传输风险的同时，提升响应速度和自主可控性。

Cider通过提升本地推理效率，让“数据不出设备”得以更接近真实可用的工程方案。当本地模型具备更好的推理性能，企业便拥有了在诸如本地智能助手、企业内部Agent、离线任务执行、端侧多模态分析以及高保密要求的自动化流程等更多场景中探索私有化AI的底气。

后续，明略科技还将开源完整的Mano-Action训练方法和相关工具。帮助企业和开发者基于自己的数据训练定制化GUI智能体模型，或在Mano-Action基础上开发新的训练技术等，全面赋能企业定制与算法创新。

图片来源：明略科技

明略科技正将自身在智能体、多模态模型和企业级AI应用领域的深厚积淀，进一步向下延伸至底层推理框架与端侧模型研发的根基之中。我们致力于为广大开发者与企业用户提供一套完整、开箱即用的私有化人工智能基础设施，让AI真正走向私有化部署、低成本运行与可信落地。

以上内容与数据，与有连云立场无关，不构成投资建议。据此操作，风险自担。