把大模型揣进自己的小口袋，上海交大团队发布全球首个端侧原生稀疏大模型

如果拥有一个能揣进裤子口袋的大模型，它能随时连接你的手机、汽车、电脑、眼镜，不用联网保护隐私，还能随时随地用聪明大脑辅助工作、娱乐等各种需求，你会心动吗？

7月26日，在徐汇西岸，上海交通大学携手徐汇区人民政府举办的2025世界人工智能大会分论坛“AI 未来发展论坛：超级智能，无界共创”主题论坛上，上海交通大学发布了多项AI重大科研成果，其中“全球首个端侧原生稀疏大模型”吸引了与会者的好奇。

目前智能终端厂商提供的端侧大模型服务集中于小规模量化模型，模型效能相比于云端大规模未压缩模型大幅下降。上海交大计算机学院特聘教授糜泽羽介绍，这款端侧大模型面向端侧设备的异构算力、异构内存、功耗等约束进行原生设计，“一步到位”训练出与端侧硬件“精巧匹配”的百亿大模型，并与终端智能操作系统在推理部署时进行协同设计，能够解决模型智能水平衰减问题，为端侧设备提供接近云侧大语言模型智能水平的流畅大语言模型服务。

糜泽羽从口袋中拿出手机大小的初代产品，这只能够“握在手中”的硬件智力水平指标已领先国际同等规模开源大模型，并且在百元级国产端侧芯片上流畅运行（>10 Tokens/s）。

据悉，端侧原生大模型可在AI PC、AI手机、智能座舱、AI眼镜等新型智能终端中广泛应用，无需联网即可体验接近云端智能水平的大模型智能服务，有效解决数据隐私焦虑、云上调用成本高、时延不稳定等问题。“这个产品将面向所有人。我们希望它能够在保护数据隐私的同时，提供千人千面的个性化智能服务，提升生活品质。同时，能显著降低云服务成本，并引爆智能终端市场、催生新应用新业态。”糜泽羽说。

会上同时发布的还有科学基座大模型Innovator与科研智能体 SciMaster、DeepRare：推理型罕见病智能体诊断系统、MemOS全球首个大模型记忆操作系统，以及Data-centric AI 基础设施，这些成果集中展示了上海交大在AI底层技术突破方面的进展，以及AI在终端、医疗等领域大规模应用、赋能行业的巨大潜力，在彰显高校科研实力的同时，为相关产业提供了可复制、可推广的技术方案。论坛上还展示了由上海交大和中国福利会联合成立的上海市青少年AI学院的学生作品，富有想象力的AI创作与原型展现了科技传承的生机与活力。

原标题：《把大模型揣进自己的小口袋，上海交大团队发布全球首个端侧原生稀疏大模型》

栏目编辑：王蔚

来源：作者：新民晚报 易蓉