“真正的推理端刚刚开始” 训练算力成本仍占至少七成 大模型下半场何时爆发？

“关于AI是否到达瓶颈以及进展是否会放缓的争论，其实已经持续了一段时间。AI发展不仅没有放缓，而且我们对未来几年已经胜券在握。”OpenAI创始人兼首席执行官Sam Altman在近日的访谈中表示。

持续引领业界技术发展方向的OpenAI最新发布的o1系列大模型着重强调推理能力，引发模型推理端算力的关注度攀升。财联社记者日前多方采访业内人士获悉，o1的发布将带动推理算力的需求进一步提升，随着大模型广泛落地，推理算力有望高增。推理被视作大模型“下半场”，不过现阶段来看，AI算力需求主要的增长动力仍来自于训练，模型厂商算力成本中训练端占比至少七成左右，真正的推理端或刚刚开始。

“真正的推理端刚刚开始”

“o1系列的数学推理能力、物理推理能力相比上一代的GPT-4o有非常明显的进步和提升空间。OpenAI引领着整个行业的发展趋势，国内AI大模型势必也会跟进这种推理能力提升趋势。”小北学AI主理人张亮在接受财联社记者采访时表示。

据OpenAI官方说法，与之前的模型相比，o1系列可推理更复杂的任务。据悉，新模型采用强化学习方法，对于复杂的推理任务逐步思考和细化步骤从而产生思维链，最后提供过程+答案的回复。

国盛通信近日研报显示，o1大模型的推出是对推理侧需求的跨时代更新，在进入规模化时代后，“大力出奇迹”原则下对芯片数量、交换机数量、连接器数量等核心硬件数量的需求都有望指数级提升，新一轮的军备竞赛或将开启，在强化学习对芯片的庞大需求下“万卡”或仅是个入门选择。

IDC中国分析师杜昀龙告诉财联社记者，推理在未来几年会占有大部分市场，与训练共存。

不过根据当前大模型的发展进度，一位服务器从业者态度相对较谨慎，他告诉财联社记者，“其实从去年到现在，大部分时间是在解决训练的问题，解决有和无的问题。其实GPT的推理能力本来不是很好，随着它（指OpenAI）训练路径走通了，开始对推理进行优化。我觉得真正的推理端刚刚开始，国内推理端没有爆发起来，是因为从模型算法到应用场景整体都没有系统性地有效结合起来。”

从产业用于模型训练和推理的具体算力成本比例看，本月初腾讯云副总裁沙开波曾在接受财联社在内的媒体采访时表示，“现在总体上应该超过80%都还是以训练为主，随着后面整个应用的落地，推理的比重会逐渐去增加。”

一位市场分析人士亦告诉财联社记者，“国内训练和推理算力比例大概是4到5比1。”

据IDC此前预测数据，云端推理占算力的比重将逐步提升，预计到2026年推理占62.2%，训练占37.8%。

不过杜昀龙告诉财联社记者，“这是之前的预测数据，最终以官方最新发布为主。”根据其实际了解到的产业当下状况：“从金额看，训练在70%以上，而推理不到30%。”

而今年上半年英伟达在其财报电话会议上曾披露，大模型推理场景已经占了数据中心业务40%的营收比例。

对此前述市场分析人士坦言，“可能海外走得比较快，国内实际应用起来的不是很明显，推理算力需求提升其实也没有很明显。”

推理成本下探赛道持续升温

财联社记者在采访中亦获悉，今年AI推理成本逐步下探，推理效率也得到了提升。

“从目前推理的硬件来看，其成本是相对比较低廉的，而且效率并不低，功耗也不大。但是从大模型的应用来说，推理面临的挑战是成本高。”杜昀龙告诉记者。

“推理成本在持续下降。今年相比于去年，在推理阶段产生单位智能的成本基本上降了一个数量级，明年估计还会再有一个数量级的下降。”月之暗面创始人杨植麟在近日的一次分享中公开称。

不过张亮也告诉财联社记者，“国内AI大模型厂商为了跑马圈地，为了圈定AI开发者完成生态搭建，所以把价格打下来了。如果不去调用各个大模型平台的API，而是自己训练，其实还会面临GPU硬件成本高昂的问题。”

在推理侧，“一些业务场景的复杂和落地链路的延长，数据样本量不足或缺乏标准化输出等，都是客观存在的问题。”张亮同时向记者表示。

财联社记者注意到，大模型应用虽尚待落地，各算力硬件厂商已然瞄准了推理这一赛道。

华为昇腾计算整机业务人士在近日的华为全联接大会上称：“AI应用的爆发式增长，可能带动AI推理算力需求激增至训练算力的百倍。未来，推理将成为AI产业的主战场。”基于推理需求趋势，神州数码（000034.SZ）子公司神州鲲泰亦最新宣布，将基于与华为昇腾的合作打造昇腾能力中心。

“国产算力现在其实主要在做推理，在训练方面可能还在尝试。”前述市场分析人士称。近期，独角兽燧原科技、壁仞科技先后启动IPO，据媒体报道，腾讯此前推出的推理芯片“紫霄”正是由燧原科技合作开发。

与此同时，海外玩家中，AMD、美国独角兽Cerebras Systems、韩国FuriosaAI纷纷加入AI推理竞赛。而为降低对英伟达等外部芯片供应商的依赖，Meta也下场自研推理芯片，其MTIA v2上半年已正式发布。“像微软、OpenAI等都有亲自去做AI算力芯片的想法，在供给侧一定是有一个逐步提升增强的过程。”张亮称。