“训练为王”终结：AI推理新浪潮，英伟达谷歌华为切换赛道

来源：21世纪经济报道

在AI算力需求结构重构、争夺推理时代入场券的竞赛中，国产算力厂商正加大押注力度。

市场共识已经形成，AI推理的转折点已经到来。英伟达创始人兼CEO黄仁勋提出，AI推理的规模，很快将达到训练负载的十亿倍。

AI推理芯片企业曦望董事长徐冰认为，2026年AI推理计算需求将达到训练需求的4—5倍，推理算力租赁价格半年涨幅近40％。

市场调研机构IDC则预计，到2028年推理工作负载占比将达到73％。随着OpenClaw（龙虾）智能体应用规模化铺开，将进一步推动算力需求向推理侧迁移。

头部厂商的动作高度一致，种种动作表明，AI算力的重心，已从训练逐步切换至推理，国产算力厂商无法忽视这一变化。

AI推理新浪潮

AI计算大致分为两个层面，首先是对模型进行训练（training），整个过程可能耗时数天甚至数周；之后是训练出的模型响应实际请求，做出推理（inference）。训练是一次性、批量化的投入，对单卡峰值算力和集群规模敏感；推理则是持续性、碎片化的运营支出，对时延、并发和单位Token（词元）成本更为敏感。

随着智能体在企业应用中加速渗透，推理计算一直是业界竞争激烈的方向，与传统对话式AI一问一答的调用模式不同，智能体在执行任务时往往需要多轮推理、工具调用和长上下文记忆，单个任务消耗的Token数量可能是传统对话的数十倍。

目前，英伟达旗下的GPU虽然占据训练市场，多数推理任务仍由CPU承担。GPU虽然速度快、功能强大，能够同时执行数十亿个简单任务，但其主要用途在于训练。

与此同时，推理所需的算力比GPU通常提供的要少，但需要更多内存。如果内存不足，芯片无法足够快地获取数据，就会形成瓶颈，迫使用户更长时间等待模型响应，而长时间等待是用户无法容忍的。

“我们发现用户对AI推理的时延预期其实是非常高的。”云服务厂商Akamai亚太区云计算架构师总监李文涛告诉21世纪经济报道记者，他介绍，以首Token时延为例，游戏用户（尤其是大规模、多用户的在线游戏）往往希望在15毫秒拿到首Token，在电商行业则约20毫秒，智能体自助服务约50毫秒，客服自动应答机器人等领域约100毫秒。

不同场景对时延的差异化要求，意味着单一规格的通用推理芯片难以同时覆盖全部负载，硬件厂商必须在吞吐、时延、成本之间做出取舍。

黄仁勋认为，推理Token的价值已显著抬升，市场具备了按响应速度分层定价的条件。他以软件工程师为例称，这类高价值用户愿意为更低延迟的Token付费以提升生产力。为此，英伟达将Groq纳入CUDA生态，在传统高吞吐量路径之外，开辟响应更快但吞吐量较低的推理细分市场，以覆盖对速度敏感的高端需求。

华泰证券表示，云服务进入涨价周期，算力资源稀缺性进一步强化。在此背景下，国产模型与国产硬件协同优化持续推进，国产加速卡与超节点方案进入密集落地阶段，国内算力景气度与国产替代进程均有望持续强化。

芯片门派“出招”

应对推理计算需求爆炸式增长，谷歌是最新作出回应的科技巨头。在Google Cloud Next26大会上，谷歌发布第八代TPU的两款新品，面向训练的TPU 8t与面向推理的TPU 8i，这也是TPU历史上首次按训练／推理拆分架构。

其中，TPU 8i颇受外界关注，该芯片瞄准AI实时推理需求，发力多智能体协同等复杂应用场景，为实现更快的任务响应，TPU 8i着重优化了内存配置与片内数据吞吐能力，降低数据传输延迟，并提升了多芯片间的通信效率。

据谷歌介绍，得益于架构优化，TPU 8i在推理环节的性价比提升了近80％，这意味着在同等算力成本下，企业将能够支撑更大规模的AI并发调用需求。

谷歌云AI与基础设施高级副总裁兼首席技术官Amin Vahdat指出：“随着人工智能代理的兴起，我们认为，如果芯片能够根据训练和服务的需求进行个性化定制，那么整个社区将会受益。”

海外巨头动作频频，国产算力厂商亦紧跟技术趋势。观察来看，中国公司并未简单跟随海外巨头路径，而是结合自身的技术底座与国内应用场景，走出了满足本土需求的差异化发展道路。

目前，中国AI训练与推理需求正迎来爆发式增长，全国算力总量已跃居全球第二，全球占比超过30％。国际知名投资研究机构伯恩斯坦（Bernstein）指出，以华为昇腾、寒武纪思元系列为代表的国产AI芯片正加速崛起，行业地位持续攀升。

技术上，华为在推理产品上体现了Prefill（预填充）－Decode（解码）分离思路。

寒武纪则强调训练与推理一体化的架构与生态。寒武纪在硬件端迭代至第五代MLUarch微架构，7nm思元590芯片集群FP16算力2.048PFLOPS，支持Chiplet异构集成与MLU－Link8卡互联，性能对标国际主流；新一代微架构及指令集持续研发，重点优化大模型训练推理场景。

寒武纪的技术路线有两个关键支点。一是自研指令集，公司自2016年起已迭代至第四代商用指令集，同一套指令集同时支持训练和推理，覆盖云边端不同场景，这为其构建统一软件生态提供了底层基础。二是训推一体的软件平台Cambricon Neuware整合了底层软件栈，并与TensorFlow、PyTorch等主流框架深度融合，以缩短用户从模型研发到部署的周期。在客户侧，思元590已在互联网大厂的千卡级集群中商用部署。

除了华为和寒武纪，其他国产厂商也在推理赛道上展开差异化布局。摩尔线程等公司则围绕通用GPU路线持续推进，在推理场景中重点突破多卡互联和软件工具链领域的技术瓶颈；曦望等AI芯片企业则瞄准细分场景，提高效率降低成本，例如推荐系统、长上下文推理、端侧部署等，试图在巨头主导的通用市场之外寻找市场机会。

更关键的挑战在生态。CUDA经过近二十年积累，已构建起涵盖编程模型、核心库、分布式框架、优化工具、推理引擎和主流框架原生支持的完整体系，这也是英伟达最深的护城河。华为去年宣布CANN编译器和Mind系列套件于2025年底前完成开源，寒武纪也在持续开放NeuWare工具链，意图正是降低开发者迁移门槛。

（作者：彭新 编辑：倪雨晴,朱益民）