Arm 与阿里巴巴合作，加速端侧多模态 AI 体验

Arm 控股有限公司（纳斯达克股票代码：ARM，以下简称 “Arm”）今日发布与阿里巴巴淘天集团轻量级深度学习框架 MNN 的又一新合作。双方经由 Arm KleidiAI 的集成，成功让多模态人工智能 (AI) 工作负载通过阿里巴巴经指令调整的通义千问 Qwen2-VL-2B-Instruct 模型运行在搭载 Arm CPU 的移动设备上。该版本的通义千问模型专为端侧设备的图像理解、文本到图像的推理，以及跨多种语言的多模态生成而设计。此次的合作显著提升了端侧多模态 AI 工作负载的性能，带来全新的用户体验。

Arm 终端事业部产品管理高级总监 Stefan Rosinger 表示：“我们正身处 AI 革命的浪潮之中，亲眼见证了多模态 AI 模型的兴起。这些模型能够处理并理解多种数据类型，涵盖文本、图像、音频、视频及传感器数据。然而，由于硬件本身的电力限制和内存约束，加之同时处理多种数据类型带来的复杂性，在端侧设备上部署这些先进的多模态模型正面临着不小的挑战。”

Arm Kleidi成为解决这些挑战的理想方案，它能够为运行在 Arm CPU 上的所有 AI 推理工作负载提供无缝的性能优化。KleidiAI是一套轻量级且高性能开源的 Arm 例程，专为 AI 加速而设计，目前已被集成到最新版本的主流端侧 AI 框架中，包括ExecuTorch、Llama.cpp、LiteRT （通过XNNPACK）和MediaPipe，能让数百万名开发者无需进行额外操作，即可自动获取 AI 性能的显著提升。

加速端侧多模态 AI 用例的响应时间

通过 KleidiAI 与 MNN 的集成，Arm 和 MNN 团队测量了Qwen2-VL-2B-Instruct模型的加速性能，结果显示在端侧的关键 AI 多模态应用场景中，其运行和响应速度均有所提升。这一提升可为阿里巴巴旗下众多以客户为中心的应用程序带来更加出色的用户体验。

这些用例响应速度的提升，得益于模型预填充（指 AI 模型在生成响应之前先对提示词输入进行处理）性能提升了 57% ，以及解码（指处理提示词后从 AI 模型生成文本的过程）性能提升了 28%。此外，KleidiAI 集成还可以通过降低多模态工作负载的总体计算成本，进一步促进端侧设备上 AI 工作负载的高效处理。数百万使用包括 MNN 框架在内的热门 AI 框架运行应用程序与工作负载的开发者，可以在针对边缘侧设备的应用和工作负载中享受到这些性能和效率的提升。

阿里云通义大模型业务总经理徐栋表示：“我们非常高兴看到通义千问大模型与Arm KleidiAI 及 MNN 团队展开深度技术合作，通过 MNN 端侧推理框架和 Arm KleidiAI 的集成加速优化，成功实现了大模型推理延迟的显著降低与能效比的大幅提升。此次开创性的合作不仅充分验证了大模型在移动终端的实用潜力，更使用户能够在指尖体验到下一代 AI 的普惠价值。我们期待三方能够持续携手，以技术创新突破算力边界，共同开启端侧智能新篇章。”

阿里巴巴淘天集团业务技术 MNN 负责人姜霄棠表示：“此次 MNN 推理框架与 Arm KleidiAI 做深度技术融合，在端侧大模型加速方面取得了全新突破。通过我们对底层架构的联合优化，通义大模型的端侧推理效率实现大幅提升，成功跨越了受限算力与复杂 AI 能力的技术鸿沟。这一成果既是 MNN 团队技术攻坚的结晶，更是跨界协作力量的生动诠释。我们期待未来能持续携手深耕端侧计算生态，让每个移动终端都能承载更流畅、更高效、更自然的 AI 体验。”

在 MWC 上进行 KleidiAI 集成演示

在今年的世界移动通信大会 (MWC) 上，Arm 在活动展位（2 号展厅 I60 展台）展示了此次合作的成果，该演示突出了模型如何理解视觉和文本输入的多种组合，并对图像中的内容进行提炼说明。这项演示在搭载MediaTek 天玑 9400 移动系统芯片(SoC) 的智能手机上完成，包括 vivo X200系列。

实现多模态 AI 体验的飞跃

KleidiAI 和为阿里巴巴通义千问模型支持的 MNN 框架进行集成，成功地为运行在搭载 Arm CPU 端侧的多模态 AI 工作负载带来显著的用户体验提升。这些卓越的体验现已应用于移动设备，许多的面向客户的应用程序也已受惠于 KleidiAI 带来的种种优势。展望未来，KleidiAI 针对 AI 工作负载的无缝优化将继续赋能开发者，助力其在端侧设备上提供更加复杂的多模态体验。这将为下一波智能计算浪潮奠定基础，并在 AI 的持续演进中迈出令人振奋的一大步。