国产芯片加速适配QwQ-32B，业内人士：比DeepSeek更适合推理普及 | ToB产业观察

图片系AI生成

大模型可能没有永远的王者，只有更适合的下一个。继DeepSeek-R1推理模型之后，算力供应端押宝阿里巴巴千问QwQ-32B，被视作产业即将大规模落地的推理模型。

3月10日消息，国家超算互联网平台宣布接入阿里巴巴通义千问大模型，对外提供千问 QwQ-32B API服务，用户可免费获得100万 tokens。

不少国产算力厂商也已经推出或正在计划推出更适合QwQ-32B的算力部署模式。

此前，国产AI芯片厂商壁仞科技推出了基于壁砺TM106全系列一体机，全面支持QWQ-32B大模型推理；摩尔线程基于大语言模型高速推理框架 vLLM 以及 MT Transformer 推理引擎部署了 QwQ-32B。

中国RISC-V芯片公司算能的SophNet云平台接入QwQ-32B模型，依托算能自研TPU，QwQ-32B的推理速度达75 Tokens/s；东南大学基于昇腾国产算力平台，接入QwQ-32B模型，成为全国首个提供该服务的高校；青云科技旗下AI算力云也上线了 QwQ-32B。

业内人士表示，作为推理模型，行业更关注QwQ-32B的性价比指标，DeepSeek-R1客观普及了大模型推理场景，之后的大模型必须提供更好的效果和成本数据，才能弥补DeepSeek-R1的替换成本。

据阿里巴巴官方信息，在冷启动基础上，阿里通义团队针对数学和编程任务、通用能力分别进行了两轮大规模强化学习，在32B的模型尺寸上，既能提供极强的推理能力，又能满足更低的资源消耗需求，适合快速响应或对数据安全要求高的应用场景，开发者和企业可以在消费级硬件上轻松将其部署到本地设备中，进一步打造高度定制化的 AI 解决方案。

在一系列权威基准测试中，千问QwQ-32B 模型几乎完全超越了OpenAI-o1-mini，比肩最强开源推理模型DeepSeek-R1：在测试数学能力的AIME24评测集上，以及评估代码能力的LiveCodeBench中，千问QwQ-32B表现与DeepSeek-R1相当，远胜于o1-mini及相同尺寸的R1蒸馏模型。

此外，千问QwQ-32B模型中还集成了与智能体 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。

上述业内人士还提到，DeepSeek火爆之后，业内为了快速部署，大模型一体机市场快速爆发，但实际上，一体机可能并不是最适合DeepSeek-R1的部署模式。

不同于QwQ-32B的稠密架构模型，DeepSeek走的是稀疏MoE模型路线，以满血版R1为例，6710亿参数至少要占据671GB显存，为了支持输入/输出、过程数据等，还需要更多显存空间来存放，但在每次推理时，6710亿参数中只有370参数被激活，这意味着一体机中大量算力没有高效使用。

而且对于国产芯片来说，DeepSeek-R1的开源让行业对国产大模型信心更盛，QwQ-32B则是更大的算力利好，QwQ-32B遵循Apache 2.0协议开源，消费级显卡可部署，国产芯片即便比不上英伟达GPU，但是在做好兼容适配的前提下，已经能够满足更多个人开发者和中小企业极低成本接入顶级模型的诉求。

一位云计算行业分析师表示，自 ChatGPT 推出以来，生成式AI至少贡献了云服务收入增长的一半，这些收入要么来自新推出的大模型/GPU 服务，要么来自人工智能驱动的对现有云服务的改进。AI 不再是云计算的应用子集，而是驱动云战略演进的核心。

从大模型与算力的相互促进的角度，大模型从技术摸高走向“技术摸高+工程创新”并行 ，算力结构从“预训练” 走向 “预训练 + 后训练 + 推理”，算力需求仍将持续增长

以阿里云为例，目前遵循“AI驱动，公共云优先”的战略，开源的千问大模型是云计算的抓手。在最新一季的阿里云财报中，AI收入已连续六个季度三位数增长，并推动云收入重回13%的双位数增长，达到317亿元，相比上一季度7%的增速接近翻倍。云+AI的估值逻辑，带动阿里巴巴年内股价涨幅近60%，市值狂飙逾1100亿美元。

通过开源，阿里通义千问已经成为国产算力平台支持最多的大模型之一，并且在海外被Camel.AI、SambaNova Cloud、OpenRouter、ChatLLM、Together.AI、LM Studio（随机用）部署上云，对外提供API服务。

目前，通义千问稳居全球最大AI社区HuggingFace热门大模型榜首，千问衍生模型超10万个，超越美国llama成为全球采用最广泛的AI大模型。（本文首发于钛媒体APP，作者 | 张帅，编辑 | 盖虹达）