移动端轻量化智能计算关键技术与平台应用｜上海市科学技术奖

强国复兴有我

2023年度上海市科学技术奖

优秀创新成果展示

10月23日，上海市科学技术奖再度揭晓。胸怀“国之大者”，坚持“四个面向”，一大批标志性成果竞相涌现，为正处于关键跃升期的上海国际科技创新中心建设增添底色和亮度。

2023年度上海市科学技术一等奖获奖项目优秀创新成果来啦！本栏目以“强国复兴有我”为主题，重点围绕项目要解决的问题、取得的重要创新、实际应用效果等方面，向社会公众作科普宣传。

本期“档案”大揭秘

项目名称：移动端轻量化智能计算关键技术与平台应用

完成单位：上海交通大学

完 成 人：吴帆 等

奖励等级：科技进步一等奖

移动智能设备经历了超过半个世纪的发展历程。1966年至1970年间，斯坦福大学研发了首款移动机器人Shakey，其控制计算机占满了整个房间。1973年，以色列塔迪兰公司首飞了第一架现代军事无人机Mastiff，该无人机能够实时将目标区域的高分辨率视频传输给操作员。1984年，卡内基梅隆大学推出了首辆自动驾驶汽车Navlab。1994年，IBM发布了首款智能手机Simon，该手机没有物理按键，完全依赖触摸屏操作。2000年，被誉为可穿戴设备之父的Steve Mann在IEEE ISSCC大会上展示了第一款基于Linux系统的智能手表。近年来，移动智能设备的计算和存储硬件资源得到了迅速提升。2010年，美国苹果公司推出的iPhone 4手机搭载了800MHz的单核处理器和512MB的最大运行内存。到了2023年8月，我国华为公司发布的Mate 60 Pro手机配备了8核处理器，每个核的最低频率超过1.5GHz，最大运行内存达到12GB，并配备了GPU和NPU。

随着智能手机的发展和普及，2014年移动互联网产业迎来了全面爆发。与此同时，深度学习技术的不断进步和模型能力的增强在2016年催生了人工智能新一轮的产业浪潮。在这两股浪潮中，许多智能技术通过无所不在、无时不在的移动设备深入到人们的日常生活和工作，产生了交互式商品推荐、人脸识别、语音识别、健康监测、智能决策等多种应用，在极大便利人们的同时也深刻改变了产业形态，推动零售、交通、家居、医疗、教育等行业向智能化转型。此前，智能服务主要依靠云侧大模型推理，但面临着服务延时高、个性化不足、云侧负载高等关键瓶颈。以手机淘宝搜索推荐场景为例，传统云智能服务响应延时往往超过1秒；单一大模型服务亿级用户，难以为不同用户群体精准服务；云侧负载高开销大，日常服务请求超2万次每秒，双11购物节峰值请求可达10万次每秒。

01 “科技前沿”，

布局移动端智能计算新范式

端智能团队主编的《中国计算机学会通讯》专题系列文章

为突破传统云智能计算关键瓶颈，端智能团队开始探索移动端智能计算新范式，通过部署轻量化小模型至端侧，发挥终端设备靠近应用场景、用户和数据源的天然优势，降低智能服务延时至毫秒级，增强服务模型个性化精准推理的能力，同时缓解云服务器中心瓶颈压力。MIT Technology Review将移动端轻量化智能计算列为科技新突破，Communications of ACM称之为革新计算范式，《中国计算机学会通讯》也刊出端智能团队主编的移动端智能计算专题，阐明该方向带来的软硬件发展新机遇。阿里巴巴、华为、字节跳动、谷歌、微软等国内外头部企业纷纷布局移动端智能计算领域以占领科技制高点。

02 “攻坚克难”，

构建移动端智能计算技术新体系

整体研究框架

面向移动端智能计算模型从稀疏到稠密、维度从二维到三维的实际任务需求，端智能团队产学研联动，针对移动端时序数据稀疏异质、视觉模型规模受限、三维任务难以支持三大关键挑战，提出了子模型拆分部署框架与个性化推理增强算法，设计了稠密视觉模型检测加速方法和稀疏更新机制，构建了三维隐式轻量模型和移动端实时渲染链路，形成了以时序预测模型轻量化、视觉检测模型轻量化、三维交互模型轻量化为核心的移动端智能计算技术新体系。

在时序预测模型轻量化创新技术方面，设计了子模型拆分部署框架，根据端侧数据特征抽取关键模型参数，形成可独立于大模型运行的端侧轻量化推理子模型。进一步通过级联长短期兴趣表征网络，从实时用户行为序列中捕捉用户意图变化，实现子模型推理增强。为支持端侧轻量化训练，通过域迁移扩充端侧特征分布相似的样本集，突破端侧训练小样本过拟合瓶颈，并设计了端侧时序数据异质特征对齐方法，支持子模型无偏稀疏更新。在视觉检测模型轻量化创新技术方面，设计了满足端侧内存和计算资源约束的结构化通道剪枝算法，垂直切分稠密视觉模型，并提出了目标重要区域关联通道精准定位方法，加速了端侧视觉关键点检测。为支持视觉检测模型轻量化训练，设计了端侧样本甄选方法，构建了新目标关联模型参数激活机制，提出了低延时增量更新方法。在三维交互模型轻量化创新技术方面，设计了端侧剪影图前景分割和物品姿态估计机制，实现了手机环绕物体拍摄的低成本拍摄方案，并提出层级锚点网格物体表征方法，实现了三维隐式轻量模型重建。进一步为支持移动端实时渲染，设计了体素网格高效查询方法，替代神经辐射场复杂计算，并构建了结合表面纹理丰富度的采样机制，显著削减运行时内存开销。

03 “自主可控”，搭建业界领先的

移动端智能计算通用系统平台

自研深度学习引擎MNN入选中国科学技术协会2021年“科创中国”榜单

在关键理论技术突破的基础上，端智能团队研发了业界领先的移动端智能计算通用系统平台，为移动端智能计算业务提供包括模型部署平台、数据特征迁移通道、模型运行容器在内的全面支持，日均调用千亿次。进一步通过开源开放方式积极推动产业发展，开源了核心系统模块MNN深度学习引擎，在GitHub上获8.4K+ stars和1.7K+ forks。MNN作为开源创新产品还入选2021年中国科学技术协会“科创中国”榜单、2020年机器之心“最强开源技术生态 TOP10”。

04 “应用落地”，

产生显著的经济和社会效益

手机淘宝AR创新应用受到CCTV报道

关键技术成果已大规模应用于阿里巴巴淘天集团的搜索推荐、智能直播、AR试用等重要业务场景，其中时序预测模型轻量化技术支撑了手机淘宝推荐系统，根据用户注意力和操作行为，动态推荐候选商品，有效提升了成交转化率；视觉检测模型轻量化技术支撑了淘宝直播链路，显著增加了智能直播看点识别量；三维交互模型轻量化技术支撑了淘宝AR试用和三维商品展示，构建了移动端可实时渲染的几十个品类、几千个商品的三维模型。进一步推广应用到高新兴机器人、闪马智能、海康威视等公司，产生了显著的经济和社会效益。

供稿来源：上海市科学技术奖励中心

供稿：吴帆

编辑：zy

特别声明：本文经上观新闻客户端的“上观号”入驻单位授权发布，仅代表该入驻单位观点，“上观新闻”仅为信息发布平台，如您认为发布内容侵犯您的相关权益，请联系删除!