大模型降价之后，HPC路线怎么打Token成本战？

出品 | 虎嗅科技组

作者 | 梁卡尔

编辑 | 苗正卿

头图 | 太初元碁提供

这是虎嗅WAIC“追踪Token商业新范式”系列文章第【10】期。

2026年一季度的公有云Token调用量，已经追平了2025年全年的总和。

中国信通院日前公布的这组指数级爆发的数据背后，大模型行业正在发生质变。Token不再是一个单纯的技术名词，而是像水电煤一样，成为AI服务的计价单位。信通院人工智能研究所所长魏凯表示，业界对Token服务的关注视角已从“调用量”向“高质量”转变。

然而，在这场变化中，前端模型API单价持续下降，用户调用成本越来越低，后端的AI芯片、HBM内存、电力和运维的物理账单却依旧沉重。大模型行业正在进入一个新的算账周期。

这种价格战把降本从前台的模型厂商直接传导到了更底层的算力系统。这也是为什么今年越来越多客户不再只问“这张卡算力是多少”，更开始关心同一个模型在不同的系统上，每生产一个Token需要付出多少综合成本。

在太初（杭州）集成电路有限公司（以下简称“太初元碁”）首席产品官、高级副总裁洪源看来，Token正在成为推理时代最直观的成本载体。

对用户来说，关心的是Token用了多少，解决了多少问题，对算力侧来说，在什么样的人工、能源和硬件成本下，能达到怎样的Token生产效率。因此单个Token的生产成本，对供需双方而言是一个横向比较的标尺。

这意味着，国产AI芯片的竞争方向变了，从跑得“动”大模型到跑得“起”大模型。

单卡跑分不够了

过去两年，国产AI芯片公司最常被追问的是单卡指标。但在推理需求爆发之后，客户的关注点开始变化。

洪源观察到，以前客户会纠结单卡算力参数，今年更多人开始问模型适配、单位Token生产成本和工程效率。

这背后有一个行业倒逼机制：大模型厂商在前台降价，DeepSeek等公司也通过算法和工程创新拉低推理成本，如果底层的芯片、存储和网络无法在物理上提供更高的能效比，软件层省出来的利润，最终仍会被硬件、能耗和集群效率重新定价。模型侧创新越快，底层算力系统的短板也越容易被放大。

所以，对底层芯片和系统厂商来说，真正要解决的问题是让客户在更低综合成本下持续生产Token。

相比单卡跑分，太初元碁更重视集群效率。洪源提到，大模型公司找他们聊，最关心的指标是千卡、五千卡甚至更大规模集群下，运行特定模型推理时，整个系统的有效Token生产效率。

“单卡性能只是个参考的基本情况，”洪源说，“在万卡集群的实际运行中，如果底层的网络互联带宽跟不上、通信效率没解决，卡堆得再多也只会在整个系统里造成巨大的内耗。”

这也是太初元碁强调128、256卡等大规模芯片间高速互联PC Link、万卡集群和软硬件协同的原因。AI芯片竞争正在从单卡参数表竞争，转向集群系统效率竞争。单卡性能固然是基础底座，但决定万卡能否发挥出性能的，是整个系统的通信和调度。

HPC路线切入Token成本战

太初元碁的特殊性在于，它不是从传统GPGPU路线切入，而是从HPC和异构众核的基础进入AI芯片市场。这给了它区别于其他国产GPU路线的商业机会，但也带来了软件生态的解释成本。

正如英伟达近年来不断模糊“显卡”概念、将整个机柜包装成一台“巨型超算”一样，至少在推理场景里，大模型已经越来越不像单卡表演，而更像一项系统工程。相比单卡性能叙事，HPC出身团队更愿意从集群并行效率、通信开销和任务调度理解AI推理。

在前两年国产算力疯狂堆量阶段，不少智算中心堆出万卡集群，却因为卡间通信和调度拉胯，导致算力严重损耗、频繁中断。这证明了万卡不是一万张单卡的简单相加。到了大模型推理市场上，超算经验能否帮助客户减少推理成本，尤其是面对API价格战时，仍需要被验证。

洪源称，太初元碁内部对“效率”的理解概括为能效比，而不是单纯堆卡。

“低端算力堆上去，卡时是多了，但算上能源成本和硬件折旧，整体Token生产成本未必划算。我们不只看速度，而是看单位Token的综合生成成本。”

国产AI芯片下一阶段的核心战场，是谁能帮客户把每百万Token的综合成本降下来，而且，节省的收益要覆盖迁移、适配和运维成本。

真正的门槛是持续适配

当然，异构路线也有自己的硬仗，就是面对CUDA生态。

英伟达的真正优势是围绕CUDA形成的开发者习惯和工具链。任何国产芯片要进入生产环境，都必须解决迁移成本由谁来承担的问题。太初元碁的做法分为三层：软件接口上兼容转译，提供自研的Agent迁移工具，以及原厂对主流模型进行预先适配。洪源称，目前太初元碁已经完成了40多个主流模型的深度适配。

但能运行起来只是第一步。在大模型行业，模型几乎以“周”为单位迭代，而硬件更新却以“年”为单位。芯片公司面临的最大考验，早已不是一次性的 Demo 适配，而是如何跟上模型层持续适配。

洪源认为，短期内大模型还没逃出Transformer的大框架，只要底座不变，硬件就不需要频繁调整。面对周级的小版本更新，太初元碁的策略是先用Transformer底座确保跑通，再针对核心算子做极致优化。

这种能力应对突发的新型架构尤为关键。DeepSeek等模型带来的MLA、MoE等工程变化，正在改变推理阶段对显存、带宽和算子的需求。对芯片公司来说，这类变化意味着底层算子库和推理框架必须快速跟进，否则模型侧的创新会直接变成硬件侧的适配压力。

面对这种模型层带来的新算子和新访存需求，太初元碁此前布局的“PD分离”架构，能够把大计算量的Prefill（预填充）阶段和高IO吞吐的Decode（解码生成）阶段拆分开，用芯片内不同核组去匹配不同任务，集中资源对新算子做定向优化。

这种适配能力决定的是国产芯片在面对下一个“DeepSeek式冲击”时，能否让客户在不折腾硬件的前提下，用最快的速度将算法创新的红利转化为市场竞争力。

国产芯片竞争开始分层

国产AI芯片的竞争，不能再被简单地理解为谁能替代英伟达。随着产业分层，各家厂商开始在不同客户场景里寻找自己的位置。

华为昇腾走的是大平台路线，优势在供应链和生态整合；百度昆仑芯、阿里平头哥背靠大厂，有云和模型场景；国产GPU公司试图用更接近英伟达的路线降低迁移门槛；而太初元碁这类HPC+AI的异构路线，则在押注集群能效比的同时，保持着自己独特的“独立第三方”身份。这意味着，客户需要综合考虑后作出权衡。

对于中立性的价值，洪源表示，模型公司在选择芯片时，面临一个很现实的问题，他们需要把模型的权重和参数全部开放出来做深度适配。换而言之，如果芯片厂自己也做大模型，既当裁判员又当运动员，大模型客户心里天然会打个问号，必须要通盘考虑是否存在潜在的竞争关系。

身份中立给太初元碁提供了一个差异化的机会。不过，这也是一把双刃剑，它虽然消除了客户的防备心，但也意味着太初元碁无法像平头哥或昆仑芯那样，可以利用集团内部自用业务算力池里旱涝保收。

没有大厂的自留地，意味着其必须在市场上竞争。这也解释了为什么太初元碁要走开源开放的生态路线，并且原厂要在第一时间把40多个主流大模型全部适配好。最终客户关注的仍然是迁移成本、适配速度，稳定性和总成本。

智算中心不能只买卡

这场Token成本战的战火，终究会蔓延到算力基础设施的下游智算中心身上。

前两年，各地智算中心的建设大潮汹涌，但买了一堆卡在机房吃灰的现象频频出现。当资本的狂热退去，算力从“军备竞赛”走向“精细化运营”时，洪源给出的建议很直接：先找到最终的应用场景。

“你必须知道为什么建，建了之后给谁用。技术规律在变，但到底帮用户解决了什么真实问题，这个商业底层逻辑没有变。”

这也是Token工厂能否成立的关键，衡量一个智算中心的价值，不再是机房里摆了多少个机柜、堆了多少张显卡，而是集群能不能稳定、持续地生产足够低成本的Token。

站在当下，洪源认为中国大模型生态正在印证两个关键词：融合与场景落地。前者意味着模型与芯片厂商正走向更深度的协同，不再是简单的买卖关系，后者意味着行业必须找到更多真正解决问题、且让人“用得起”的闭环场景。

以视频生成、多模态应用为例，能力已经被证明，但大规模普及仍卡在成本上。未来产业的破局点，未必只在模型参数继续变大，而在于底层算力、模型架构和应用场景能否共同把推理成本打下来。

太初元碁押注的异构路线，正是在争夺这条成本曲线上的位置。但能否成功，还要看客户是否愿意用迁移成本换取更低的Token生产成本。

以下为虎嗅访谈精选：

谈背景与行业转变

虎嗅：从您在芯片和算法领域这么多年的观察来看，为什么今年全行业都在谈“Token生产效率”和“算账”？

洪源：它的过渡核心还是围绕着用户侧的需求。今年以来，大模型的能力有了比较大的跃迁，用户发现它能真实解决问题了。对用户而言，Token是它的使用形态；但对我们算力侧而言，Token是一个可衡量的最直观的成本载体。通过Token，用户知道自己花了多少钱、解决了多少问题，我们供需双方都有了一个横向对比的标尺。

虎嗅：太初元碁内部是怎么看待“效率”这两个字的？

洪源：我们更愿意去看“能效比”。单纯去堆低端算力、堆卡，虽然卡时堆上去了，但算上能源成本和硬件制造折旧，整体的Token生产成本是划不来的。我们不单看纯粹的速度，我们要看单位Token的综合生成成本。

谈竞争格局

虎嗅：大模型厂商在疯狂打价格战，上层的降价会怎么传导到底层的系统商身上？

洪源：最直接的感受是，以前客户找到我们，会纠结你单卡单位算力的指标。但今年，大家更关注模型的适配情况、对应的单位Token生产成本，以及工程效率。 但这里面有一个行业悖论：大家看到市场上Token价格在降，那是大模型厂商在抢客户的市场行为，以及DeepSeek等公司在算法工程上的创新。但实际上，底层的硬件制造和存储内存成本是在上升的。 所以大模型厂商承载了极大的成本压力，这反而倒逼他们更看重我们国产硬件的性价比。

虎嗅：太初元碁一直强调128甚至256或者更多卡芯片间高速互联（PC Link）和万卡集群，为什么不把单卡跑分作为核心宣传点？

洪源：太初元碁从来不单独去提单卡的优势，我们的核心优势是集群的软硬件协同优化。卡时单卡效率只能作为参考。大模型公司找我们聊，最关心的也是千卡、五千卡甚至更高规模集群下，跑特定模型推理时的Token生产效率。如果卡与卡之间的“高速公路”没修好，单卡跑分再高，到了集群里也是严重空转。

虎嗅：您怎么看待市场上几家国产芯片同行的竞争？

洪源：首先，中国AI产业市场非常广阔，有很多应用落地场景作为芯片厂商的发力空间。换而言之，国产芯片逐渐被认可，空白的市场蛋糕足够大，关键在于找到自身的差异点。太初元碁的技术路线的特殊性是，在高性能计算加人工智能领域，我们拥有天然基因。模型公司需要把核心的模型权重和参数开放给芯片厂去做深度适配，太初元碁作为中立、独立的第三方，反而是大模型厂商和运营商更放心的选择。

谈技术性能

虎嗅：英伟达有CUDA生态，太初元碁是怎么让客户在迁移到国产卡时做到“无感、丝滑”的？

洪源：我们主要做三层工作：第一，虽然我们不走GPGPU路线，但我们在自研软件里兼容和转译了CUDA的命名接口规范和编程习惯，方便程序员直接上手。第二，我们提供了一套好用的迁移工具，里面包含能自动生成算子的智能体，用低代码的方式帮客户快速迁移。第三，也是最核心的，在头部大模型厂商发版时，我们原厂就已经帮客户把前40多个主流模型深度适配好了，他们拿过去直接就能跑。

虎嗅：大模型现在基本是“周更”节奏。你们怎么能跟上？

洪源：大版本更新上，目前不管纯文本还是多模态，都还没脱离Transformer和注意力机制的底层框架。只要大框架不动，硬件底层架构就不用伤筋动骨。 针对周级的小版本更新，不同的模型大厂保持了极高频的沟通。在他们设计模型之初，我们的下一代芯片就会做提前准备。当新模型发布后，我们先在Transformer的基础底座上确保“能跑通”，然后再根据用户反馈，集中精力投入研发，把它的核心算子拿出来做针对性的微观极致优化，这是一个叠加和渐进的过程。

虎嗅：在四十多个模型的深度适配中，太初元碁是怎么在底层“抠性能”，压榨每一瓦功耗的？

洪源：我们会分析到最微观的算子层。比如现在的模型厂商非常看重TTFT（首字延迟，即产出第一个Token的时间）和后续的生成速率。我们会做PD分离（Prefill与Decode分离），把大计算量的Prefill阶段和高IO吞吐的Decode阶段拆开，用我们芯片内不同的核组去对号入座。遇到DeepSeek等有工程创新的新算子，我们就专门集中人员把大锤砸下去，把这个算子的时间消耗彻底打下来。

谈预判与建议

虎嗅：现在的智算中心建设非常热，但也出现了“买了一堆卡却在机房吃灰”的现象。您对这些着急建中心、买卡的企业有什么忠告？

洪源：核心的建议只有一条：先找到具体最终的应用场景。 你必须知道你为什么建，建了之后给谁用。不管是当下的互联网客户还是大模型客户，技术的规律在变，但“到底帮用户解决了什么真实问题”这个商业底层逻辑是一直没变的。

虎嗅：如果请您对2026年下半年的中国大模型生态给出两个预测或关键词，会是什么？

洪源：第一个是“融合”。未来模型厂商跟芯片厂商之间的向下深度融合会越来越多，大家不再是简单的买卖关系。 第二个是“场景落地”。除了Coding之外，全行业必须找到更多能真正解决真实问题、且“用得起”的闭环场景。比如视频生成、多模态应用，大家都知道好用，但目前最大的障碍是成本太高、用不起。未来的突破方向，就是怎么把多模态、视频生成的成本和功耗，通过软硬协同真正打下来。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875457.html?f=wyxwapp