十年前的手机都能跑，阿里掏出了最适合落地的小模型？

（文/陈济深 编辑/张广凯）

上个月，阿里巴巴旗下的通义平台正式推出了新一代模型Qwen3，登顶全球最强开源模型榜单。

值得注意的是，Qwen3系列模型共包含8款不同尺寸，除了两个参数为30B和235B的MoE（混合专家系统）大模型外，阿里本次推出了6款Dense（稠密）模型，6个是稠密模型，参数从0.6B到32B不等。

阿里一向非常重视小尺寸模型，这也算不上新闻了，不过其中最小的0.6B模型参数量仅为6亿，作为对比，2019年2月发布的GPT-2参数量都有15亿。这个模型的实际表现如何，让人相当好奇。

为此，我们请教了一些专业开发者，并且自己也进行了测试，发现即使10年前的手机芯片都足以支持这款模型的推理运算，实际回答效果也能够差强人意。而4B、8B等参数量的模型则有着更好的表现。

对于一次性更新八个开源模型的原因，阿里云CTO周靖人表示：不同模型其实就是尽量满足从个人到企业的不同开发者的需求。比如手机端侧可以用4B，电脑或汽车端侧推荐8B，32B是企业最喜欢的尺寸，能商用大规模部署。

除了尺寸之外，有开发者指出，采用稠密架构的小模型，也比MoE的稀疏架构更适合企业的实际业务场景。在可以预见的未来，B端市场还是大模型变现的最重要场景，凭借快人一步的小尺寸模型布局，阿里正在这场竞争中抢占先机。

什么是稠密模型？

所谓稠密模型（Dense模型），是指神经网络中层内神经元之间通过全连接（Fully Connected）方式连接，且所有参数对所有输入样本全局共享的模型。

相比使用稀疏模型MoE架构只会调用部分的参数资料，Dense模型对于任意输入，模型的所有参数都会被激活并参与计算。

早期人们熟悉的大模型，都是以稠密架构为主。

以OpenAI为例，其GPT系列在GPT3前均使用了Dense模型，而后续GPT版本由于其闭源的特性，我们暂时不得而知其采用了哪类架构。

作为深度学习的 “基石”，稠密模型其核心价值在于简单性、高效性和普适性，适用于大多数标准化、实时性或资源受限的场景。

但是随着Scaling Law之下，大模型训练所需的参数量呈几何增长，稠密模型的训练成本逐渐让人难以承受，并且能力提升幅度也逐渐遭遇瓶颈，暴露了较难适应多样化场景的问题。为此，MoE（混合专家系统）模型作为解决方案应运而生。

相比于参数愈发膨胀的稠密模型，MoE架构是节约资源的一种设计，通过引入稀疏门控机制，每次执行任务时只需要激活少数相关的子模型，从而降低训练和推理成本。DeepSeek V3就是凭借MoE架构，实现了惊人的成本下降。

但是MoE架构也有缺点，如增加通信成本、微调中容易出现过拟合等。而稠密模型由于推理时计算路径固定，无动态路由开销，反而相比Moe架构更加适合实时在线客服、商品推荐、金融风控等需要低延迟响应的场景。

稠密模型除了有更加合适的匹配场景，对于个人开发者而言，Pytorch、TensorFlow等深度学习工具链对稠密模型的优化已非常成熟，从分布式训练到量化压缩，形成了完整的技术栈。而MoE模型的工程实现由于还处在技术迭代阶段，相比Dense模型没有一套完整成熟的方案，对于个人开发者落地成本较高。

小模型能跑成啥样？

那么作为小而美的模型，其运行门槛到底有多低？又会不会存在小而弱的情况呢？

在运行门槛层面，有开发者对观察者网表示，其成功将Qwen3 0.6B模型安装在一款搭载4核2.4G的CPU的设备中并成功运行。

开发者将Qwen 0.6B植入应用生成回答

如果要用手机芯片对比该CPU，最为接近的是发售于2014年的骁龙801芯片。该芯片为28nm制程，搭载4核2.5G CPU，并搭载了一颗Adreno 330的GPU，当年发售的小米4、三星Galaxy S5、OPPO Find7等手机均采用了该款芯片。

而这款当年的旗舰芯片放到2025年是妥妥的过时硬件，以小天才电话手表Z10为例，其搭载的高通W5芯片采用4nm架构，四核Cortex-A53的CPU，在Geekbench5单核跑分约500分，碾压了骁龙801的200分。也就是说单核角度，现在小天才电话手表的CPU都是骁龙801的两倍。

更值得注意的是，该开发者表示，其采用的设备只有CPU，没有GPU。也就是说无论是10年前的小米手机，还是如今的小天才电话手表，都硬件性能都能支持顺利运行Qwen3 0.6B的模型。

观察者网也在iPhone 16 Pro Max（2024年上市，搭载苹果3nm制程A18 Pro芯片）和索尼Xperia Z5（2015年上市，搭载高通20nm制程骁龙810芯片）上进行了测试。

在没有任何优化的情况下，两款手机均能运行Qwen3 0.6B参数的Dense模型。不过在响应速度上，在关闭推理模式时，苹果手机可以做到实时响应，索尼手机可以做到延迟1秒左右响应，而在开启了推理模式后，苹果手机则依然能迅速响应，索尼手机则需要接近10秒的时间才能响应，出现了显著的延迟情况。

而在具体的问答环节，在没有任何优化和适配的情况下，对其提问“天空为何是蓝色的”和“生蚝是生的还是熟的”，Qwen3 0.6B没能丝滑应对脑筋急转弯，但也给出了勉强可用的回答。

Qwen3 0.6B回答生蚝问题

相比之下，4B的模型性能又有显著提升，同样询问其“生蚝是生的还是熟的”问题后，它能够准确回答出“生蚝”是名字，不是状态，可以是生的，也可以是熟的。

Qwen3-4B模型能够详细回答生蚝问题的答案

根据阿里官方的描述，Qwen3-4B性能可与Qwen2.5-72B-Instruct媲美，而Qwen考虑到目前智能手机基本均可以流畅本地运行Qwen3-4B模型，主流电脑基本均可以本地运行Qwen3-8B模型，这也代表着Qwen3小模型也可以完全胜任普通人需要的设备智能化的任务，相比满血MoE大模型并不存在极其巨大的使用差距。

Qwen3发布后，上下游供应链第一时间进行适配和调用，尤其是强调了对小尺寸模型的适配，体现了业内对其能力的认可。

英特尔官方网站显示，英特尔在车端舱内和AI PC上都对新发布的Qwen3系列模型完成匹配，使得搭载小模型的AI PC也能成为用户助手。

英特尔官方展示Qwen3-0.6B模型优化效果

国产芯片厂商海光信息也宣布其DCU完成对Qwen3全部8款模型的适配+调优，覆盖235B、32B、30B、14B、8B、4B、1.7B、0.6B各种参数。

抢占AI应用爆发窗口期

如果说阿里更新的32B以上模型是为了对标乃至超越DeepSeek-R1，那么在小模型的技术线上，阿里又意欲何为呢？

我们在解释Dense模型的特性时就提到，相比MoE模型，Dense模型更加适合一些需要准确性和实时反馈的业务场景，而阿里所在的电商、物流、金融科技等领域，天然就对大模型幻觉存在较低的容忍度。Dense模型相比MoE模型，会更加容易适配诸如商品智能推荐、智能客服、智能家居、智能眼镜、自动驾驶、机器人等领域领域，与阿里自身的业务板块和未来的发力方向较为契合。

而且，相比上一代模型支持29种语言，本次阿里开源大模型支持119种语言。对于阿里国际站、速卖通等平台覆盖的全球 200 多个国家和地区，多语言尤其是小语种支持可直接降低语言壁垒，提升用户体验，属于AI赋能自身业务的直观体现。

而119种语言的背后也代表着阿里在持续加码建设自己的开源生态。Qwen3系列模型依旧采用宽松的Apache2.0协议开源，全球开发者、研究机构和企业均可免费在魔搭社区、HuggingFace等平台下载模型并商用，也可以通过阿里云百炼调用Qwen3的API服务。

具体到小模型在第三方的应用，多位AI开发者对观察者网表示，在很多场景，小模型才是真正能干活的模型。

有人解释道：“很多业务QPS（每秒查询）都是以万为数量级，而业务链路对于延迟的要求又极为严格（个位数毫秒），这种场景根本没法塞一个大模型进去，哪怕是用7B级别的模型，对于显存都是巨大的负担。对于绝大部分无法承担高额预算的企业，0.6B、1.7B的小模型有着巨大的应用价值，不仅能少吃资源，还能支持高并发。”

其补充表示：对于一些轻量的任务，不需要模型懂很多道理，只要能够对输入有感知，能够识别信号输出，就是合格的模型了。Qwen小模型的出现取代了TinyBERT，只要能够实现快速、轻量、稳定，那么这个模型在工业界就有很大的应用潜力。

另一位开发者则对观察者网表示：“Qwen3-0.6B具有参数少、本地跑的特性，非常适合微调成匹配单一小任务的模型，比如文章提取、样式整理、数据转化，相比大模型存在巨大的性价比优势。”

据了解，目前已有企业使用Qwen3的0.6B模型在边缘设备（如工控机）部署，实时分析传感器数据。

除了赋能自身业务和吸引开发者生态，阿里也希望通过更加先进和适配的大模型抢占更多的C端入口。

2024年底至2025年初，阿里通过一系列组织架构调整和人才布局推进AI To C战略，将AI应用“通义”并入智能信息事业群，整合天猫精灵与夸克团队，并聘请顶尖AI科学家许主洪负责AI To C业务研发。

有市场人士认为，此轮调整的背景是阿里通义APP的普及率不及预期。

通义千问凭借在多模态处理和复杂任务推理方面的技术优势，曾为阿里的B端企业服务及开发者生态提供了有力支撑。诸如飞猪旅行借助通义千问多模态模型，实现了用户方言语音规划行程的功能；Rokid AR眼镜搭载其技术后，能够进行实时翻译。通义千问在大模型开源上跑得很快，但是，其“通义”App在C端应用上并没有使出“撒手锏”。

AI市场竞争激烈，腾讯的混元大模型依托微信庞大的用户基础和生态优势，在微信多个入口为元宝争取亮相的机会，对C端用户形成“茧房式包裹”。字节跳动旗下的豆包借助抖音的推流优势，在2024年11月MAU飙升至5998万，长期霸榜AI应用下载量榜单前三。

不过阿里在C端依然有潜力应用夸克。第三方数据显示，2025年3月，夸克的MAU（月活跃人数）达到1.48亿，登上国内AI应用榜首。

当前阿里的整体AI战略布局，愈发强化通义千问与夸克的“双子星”格局。通义千问专注于支撑云上智能，夸克则着力打造端侧入口，协同推动阿里AI To C战略的落地。

随着C端渗透率不断提升，算力成本会成为大模型企业不可承受之重，DeepSeek就曾经在爆火出圈时遭遇算力崩溃。如果能够用小尺寸模型承接更多C端用户需求，对于阿里自身成本控制和用户体验，都会有潜在的重要意义。