通义千问进入手机芯片 不用联网就能“电子唠嗑”

来源：封面新闻

连上网络，进入网页，然后才能使用AI大模型。未来，你的手机就是一个大模型，随时随地都可以与AI对话。

3月28日，阿里云与知名半导体公司MediaTek联发科携手宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台。这意味着，用户可以在离线时流畅运行多轮AI对话应用，实现手机AI体验的大幅提升。

据了解，这是通义大模型首次完成芯片级的软硬适配，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。

现阶段，要使用大模型必须连上互联网，部署到手机端后，端云混合AI可充分利用终端设备的算力，在运营成本、用户信息安全、实时性以及个性化用户体验等方面具备显著优势。

然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、算子不支持、开发待完善等诸多挑战。

阿里巴巴通义实验室业务负责人徐栋透露，阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。

在天玑9300设备上，可离线完成基于通义千问大模型的AI多轮会话

目前，通义千问18亿参数开源大模型，已在多个权威测试集上性能表现远超此前SOTA模型，且推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。

根据MediaTek公布的参数，天玑9300已集成了MediaTek第七代AI处理器APU790，内置硬件级的生成式AI引擎，其生成式AI处理速度达到上一代AI处理器的8倍。加入通义千问18亿参数大模型后，手机芯片可以在推理方面表现出极佳的性能与功耗表现。数据显示，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，系列指标均达到业界领先水平，可在离线环境下流畅实现多轮AI对话。

目前，相关成果将以SDK的形式提供给手机厂商和开发者。未来，用户随时随地对手机“动动嘴”说出需求，由天玑移动平台和通义大模型驱动的AI智能体就能自动建立并最终达成任务。广大开发者和终端设备厂商也将由此迎来更广阔的创新机遇。

“阿里云的通义系列大模型是AI领域的佼佼者，期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案。”MediaTek无线通信事业部副总经理李彦辑博士表示，促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展，将为用户带来更多令人兴奋的AI产品体验。

当天，阿里云与MediaTek宣布启动联合探索AI智能体解决方案计划，整合MediaTek天玑移动平台的AI算力及阿里云通义千问的大模型能力，为开发者和企业提供更完善的软硬联合开发平台。此外，双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型，“打样”并支持开发更多AI智能体及应用。