集微咨询发布《大模型对GPU未来发展的影响》报告：Agent引爆Token洪流，GPU迈入推理优先时代

大模型对GPU的改造，比以往任何一次应用浪潮都更彻底。从ChatGPT引爆训练需求，到Agent把推理调用量推向指数增长，GPU的角色正从“训练算力的提供者”演变为“推理经济性的决定者”——竞争的标尺，从峰值FLOPS换成了每百万Token的成本与能耗。

这场变化有清晰的量化轨迹：推理与训练的算力占比已从2023年的3:7逆转为2026年的6:4；DeepSeek-V4把上下文窗口从128K扩展至1M，Kimi K2.6可连续输出超过26万Token，Agent应用让单位任务的Token消耗呈数倍增长。上下文、参数规模与输出长度的同时扩张，构成了这一轮GPU需求增长的基本面。

近日，集微咨询（JW Insights）正式发布《大模型对GPU未来发展的影响》研究报告（以下简称《报告》）。《报告》从上下文竞赛与Token经济切入，沿需求结构、架构演进、市场格局、物理瓶颈与软件杠杆五个层面，系统回答“大模型将把GPU带向何方”这一核心问题，为芯片厂商、云厂商与投资机构提供决策参考。

以下是《报告》内容精选：

结构拐点：推理超越训练，Token成为计价单位

《报告》援引国产算力大会披露的数据：2026年推理与训练算力比例已超过6:4——回溯四年，训练占比从2023年的约70%逐年降至2024年的60%、2025年的52%，推理占比2026年达到60%。拐点的成因是双重的：基座模型的军备竞赛边际放缓，增量转向领域微调与强化学习；而Agent应用把一次任务拆解为规划、检索、调用、校验多个步骤，每一步都是一次模型调用，Token消耗呈数倍指数增长。

推理成为主导场景后，算力需求的测度方式随之改变：从“交付了多少张卡”转向“经济地生产了多少Token”。Kimi K2.6的定价提供了直观样本——命中缓存时输入成本降至每百万Token 1.10元。这意味着推理成本已低至支撑大规模商用的水平，Token正在成为类似流量、电力的标准化计费资源；“以价换量”能否跑赢降价速度，成为算力需求持续性的关键变量。

图1：大模型推理与训练算力占比演变（2023—2026）

架构演进：低精度、省显存、超节点三条主线

需求侧的三个特征，恰好对应供给侧的三条变革主线。其一，低精度计算成为主流：NVIDIA Rubin架构全面拥抱NVFP4与FP8，NVL72机架可提供3600 PFLOPS的NVFP4推理算力——NVFP4算力达到FP8的整整3倍，每一次精度下探都相当于一次“免费的制程升级”。其二，显存优化成为竞争主轴：DeepSeek V4.1 Flash把KV Cache压缩至约890字节/Token、相对初代累计缩小437倍，对HBM的需求减少到1/4，显存矛盾正从硬件与软件两端同时缓解。

其三，单卡竞争让位于整机柜竞争：NVIDIA Rubin Ultra NVL576机架将提供15 EFLOPS推理算力、较GB200 NVL72提升18倍；国内昇腾对DeepSeek-V4的超节点支持在模型发布当日即告就绪，超节点已成为国产阵营弥合单卡差距、承接旗舰模型的核心路径。国产GPU阵营整体以“系统优势弥补单点差距”破局——IDC数据显示，2025年中国AI芯片出货165万张、国产占比41%，FlagOS开源框架已实现Day0支持8款国产芯片，“硬件集群+软件框架”的系统性打法已经闭环。

图2：AI基础设施与加速器市场规模预测（2026—2031）

市场格局：剪刀差信号与多元阵营崛起

两份权威预测勾勒出市场总量与结构：IDC预计2026年全球AI基础设施支出达4970亿美元、同比增长56%，2030年突破1.2万亿美元；Mordor Intelligence估计AI加速器市场将从2026年的1747亿美元增至2031年的5181亿美元、复合增长率约24.3%。两条曲线之间存在“剪刀差”——基础设施支出增速显著高于加速器市场，差额流向机架级互联、液冷散热与供电系统，印证算力竞争的主战场正从单芯片转向机架乃至数据中心级系统能力。

竞争格局同步多元化：NVIDIA第四财季数据中心收入达623亿美元、同比增长75%，Blackwell架构90亿瓦订单已满负荷排产，网络业务收入超110亿美元；AMD Helios机架投产、MI500系列获OpenAI联合开发背书，多家机构预测其份额有望从5%—7%提升至20%—25%。中国市场呈现“英伟达+国产”双轨并行：国产占比41%中，昇腾以20%构成第一梯队，平头哥6.6%领衔的第二梯队集体放量，说明国产供给已从“单点可用”走向“梯队成型”。

图3：全球与中国AI GPU竞争格局（2026）

双重瓶颈：HBM紧缺延续至2028年，电力成为终极约束

大模型的算力饥渴正遭遇两大物理瓶颈。HBM侧，摩根大通分析指出HBM位元需求将以约63%的年复合增长率增长至2028年，供需缺口2026年约为15%，平均售价2027年预计上涨42%、2028年再涨25%至3.8美元/Gb；单颗GPU的HBM容量逐代翻倍（Rubin已达288GB），供需剪刀差短期难以收敛，Rubin Ultra甚至评估从12-Hi HBM4E降配至8-Hi——降配损失的三分之一容量，恰恰要靠软件侧的量化与KV Cache压缩来填补。

电力侧的约束更具刚性：全球数据中心用电量将从2026年的约565TWh增至2027年的945TWh以上，AI负载占比从21%升至31%，2030年预计超过1200TWh。芯片性能可以通过架构优化提升，但一度电就是一度电——变电站建设以年计，远慢于GPU产能的季度级爬坡，部分地区已出现算力项目因电力审批延迟而搁置。行业的应对正在清晰化：把“每瓦Token数”作为核心设计指标，NVIDIA以“90亿瓦”计量Blackwell排产，云厂商选址逻辑已从税收优惠转向电力与冷却资源。

软件杠杆与三年展望：推理经济性成为第一标尺

在硬件供给受限的背景下，软件优化成为释放存量GPU潜力的核心杠杆：INT8/FP8量化可将70B模型的显存占用从140GB压缩到35GB，Prefill-Decode分离架构把GPU利用率从30%提升至70%——相当于不新增一张卡就释放超过一倍的“隐性产能”；FlagOS、vLLM、SGLang等开源推理框架则正在抹平硬件差异，削弱CUDA生态的锁定力，加速GPU市场的多元化。

展望未来三年，《报告》给出三大判断：其一，推理定义GPU——2028年推理算力需求占比预计超过70%，GPU设计将全面转向“推理优先”；其二，超节点成为标准形态——交付单元机架化已成定局，赛点转向系统设计与调度软件；其三，竞争多元化不可逆——中国市场国产份额有望从41%继续提升，分层共存是更可能的终局。HBM供应、电力约束与“以价换量”的盈亏平衡，是三大主要风险变量。

目前，《大模型对GPU未来发展的影响》已在爱集微官网与APP正式上线，欢迎登录爱集微官网或集微APP，在首页点击“集微报告”栏目，即可进行订购。

查看更多报告请点击