0.35美元vs 5美元，硅谷巨头的Token价格战！不仅“卷”价格，还在拼推理速度

图片来源：视觉中国

5月以来，国内大模型打响了“价格战”。从每百万个Token只要1块钱，到只要8毛钱、5毛钱……国内大厂如字节跳动、阿里、百度、智谱AI、科大讯飞等不断接力，有厂商甚至直接打出了“免费”的口号，震惊整个科技圈子。

实际上，硅谷也在上演着类似的情形。《每日经济新闻》记者注意到，硅谷大模型的价格也出现了下降趋势。

API价格战首先在OpenAI和谷歌这对“老对手”之间展开，不过幅度相对较小。其中，OpenAI的GPT-4o调用API的价格比GPT-4-turbo降低了一半，为5美元/百万Tokens，谷歌Gemini 1.5 Flash的价格降到了0.35美元/百万Tokens。

到底是什么在左右API“价格战”？在降价之外，有媒体指出，加快模型推理速度（即每秒生成Token的数量）也是硅谷大模型市场的主要竞争点。但“卷”价格、“卷”速度真的会赢得未来吗？

硅谷在“拼”什么？

5月中旬，字节跳动豆包以0.0008元/千Tokens的价格直接将国内大模型的市场价格带入“厘时代”。随即，大模型厂商便开始了价格上的角力。百度甚至直接祭出“文心大模型两大主力模型全面免费”的大招，直接将“价格战”推向新的高度。科大讯飞、腾讯等也“坐不住”了，要么降价，要么免费。

短短数天，国内大模型企业的混战便从“低价”走向了“免费”。而在硅谷，类似的情形其实也在上演。

《每日经济新闻》记者注意到，实际上，降低API价格和推升AI推理速度也已逐渐成为硅谷各大模型提供商的竞争焦点。

API价格战首先是在OpenAI和谷歌这对“老对手”之间展开的。当地时间5月13日，OpenAI发布全新模型GPT-4o，该模型支持免费试用，据传未来将供用户免费试用。此外，调用GPT-4o API的价格比GPT-4-turbo降低了一半，为5美元/百万Tokens。

在第二天的谷歌全球开发者大会上，谷歌宣布当家王牌Gemini大模型系列之一Gemini 1.5 Flash 的API价格为0.35美元/百万Tokens，远低于GPT-4o的价格。

比GPT-4o更具性价比的还有硅谷当红AI初创公司Anthropic和Mistral AI模型的API价格。

图片来源：每经制图

除了“拼”模型调用价格，有媒体指出，硅谷AI芯片公司正以加快模型推理速度——即每秒生成Token的数量——以吸引客户。例如，美国芯片厂商Groq公司专注于提高每秒生成Token的数量，以此作为其主要的市场竞争点。

据科技外媒Medium今年4月的报道，Groq最新的AI芯片在Meta的开源模型LLaMA 3上达到了惊人的每秒生成800个token，并称这“标志着AI推理效率和能力的巨大转变”。截至目前，英伟达一直主导着AI芯片市场。该报道分析认为，Groq的最新成就可能将对英伟达的统治地位构成严峻挑战。

根据Groq的数据，许多开源模型据称在Groq芯片上的运行速度都得到提升，例如，Mixtral8×7B版本每秒输出500个Token；Llama 2 70B版本每秒输出300个Token。

《每日经济新闻》记者查询数据发现，当前配备英伟达芯片处理的硅谷热门大模型推理速度远低于此。例如，GPT-4 Turbo每秒生成约48个token，GPT-4为每秒约10个token；谷歌的Gemini 1.5 Pro约为每秒54.2个token。

图片来源：每经制图

API“价格战”背后：模型性能差距正在减小

硅谷为何也会面临大模型的API“价格战”问题？这主要是跟模型的性能有关。

上个月，纽约大学知名教授Gary Marcus发表了一篇名为《证据表明LLM正达到收益递减点》的文章，驳斥了宾夕法尼亚大学沃顿商学院教授Ethan Mollick的一个观点，后者声称目前对大型语言模型改进率的最佳估计显示，能力每5~14个月翻一番。

Gary Marcus认为，从某些指标来看，在2020~2023年间，大模型的能力的确遵照上述定律翻了一番，但在过去13个月里这种情况并未发生。“相反，我看到许多迹象表明我们已经进入了收益递减期。”他这样写道。

若以MMLU（一种常见的大模型基准指标）为基准，可以看到，从GPT-2到GPT3再到GPT-4呈现了飞跃式的递增，但GPT-4到今年4月发布的GPT-4 Turbo的能力改进并不明显。

图片来源：《证据表明LLM正达到收益递减点》

其次，自GPT-4发布以来，硅谷各大模型的能力正在趋同。LiquidAI的机器学习科学家Maxime Labonne在X平台上表示，表现最好的闭源模型（GPT-4级别）和开源模型在性能上的差距正在越来越小。

图片来源：X平台

与此同时，随着企业对定制化大模型的需求越来越高，硅谷科技公司正在推出一系列小模型，例如微软在4月推出了名为Phi-3 Mini的轻量级模型。The Information分析称，像Phi这类小型模型的激增可能会削弱OpenAI的主导地位。

据The Information，微软产品团队已经将内置的GPT-4换成开源模型，以在Bing等产品中执行更基本的任务。而最初为 OpenAI大模型支付高价的一些公司，近期开始转向包括开源模型在内的更便宜的竞争对手。

随着GPT-4之后模型能力的趋同，以及更多开源模型和小模型的出现，竞争加剧之下，高价大模型的降价似乎是一种必然。

“卷”价格、“卷”速度并非终点

然而，一味“卷”价格会有未来吗？

众所周知，算力成本是开发大模型无法绕过的难点之一。根据斯坦福大学HAI研究所今年发布的AI报告，训练巨型模型的成本呈指数级增长，谷歌Gemini Ultra的训练成本估计为1.91亿美元，GPT-4的训练成本估计为7800万美元。

据报道，Anthropic的CEO此前曾表示，目前正在训练的模型成本已接近10亿美元，到2025年和2026年，将飙升至50亿或100亿美元。

科技巨头已经在硅谷大模型领域建立牢固的立足点，前沿基础模型市场呈现出强烈的市场集中化趋势。分析认为，价格战持续下去，公司利润势必被挤压，财力雄厚的科技巨头尚有基础，但初创公司则可能面临风险。

对于大模型公司来说，提升模型性能才是赢得竞争的最终手段。正如Gary Marcus所讲，如果收益递减的趋势持续，低级错误无法修正，大模型可能永远无法到达黄金时段。

另一方面，对于芯片厂商来说，“卷”每秒生成Token的数量仍然更多只是一种噱头，缩短第一个Token生成的时间或将成为下一个新的竞争点。

尽管Medium分析认为，每秒生成Token数量的提高等同于推理能力的上升，但硅谷AI公司SambaNova在5月初发表的一篇博客文章中表示，当涉及到一些较为复杂和繁重的长文本任务时，每秒生成Token数量并非最重要的指标，也不能全面反映大模型的推理性能。而相对地，第一个Token生成的时间才更加重要。

这篇文章直白地指出，对每秒高Token数量的追求可能是一种“炒作”。尽管其确实可以实现令人印象深刻的解码速度，但存在芯片利用率低，第一个Token生成速度较慢，难以处理较长的文本输入等重大缺点。