自托管一个开放权重模型,到底比调API便宜还是贵?答案取决于你每天喂给它多少token,以及你把那块GPU用得多满。
![]()
先看一组关键数字:用一块NVIDIA H100跑开放模型,日处理约1600万token时,成本才追平Claude Sonnet 5.5这类前沿API;但要拼过那些同样服务开放模型的低价按token API,日处理量得冲到2.4亿到4亿token。两者差了大约15到26倍。
这个差距不是算术游戏,而是两种计费方式的本质区别。GPU按小时计费,你开着它,服务一百万token还是零token,账单一样;API按token计费,单价里已经摊进了别人的闲置硬件、冗余和工程成本。要比就得把两者换算到同一把尺子上。
换算方法是把API价格折算成每百万token的混合价:每3个输入token配1个输出token,混合价=(3×输入价+输出价)/4。按2026年11月16日查到的标准档价格,一个大型前沿模型每token成本,大约是开放模型按token API的15到26倍。
具体算一遍。一块H100 SXM按每小时2.60美元计,一天是62.40美元,平均一个月730小时是1898美元。用日成本除以混合价,就得到每天的盈亏平衡token量:
- 对标Sonnet 5.5或gpt-6.1-sol:62.40÷4.00≈1560万token/天
- 对标Haiku 5.5或gpt-6-luna:62.40÷0.20≈3.12亿token/天
- 对标Together AI上的gpt-oss-120B:62.40÷0.2625≈2.377亿token/天
- 对标DeepInfra上的Llama 3.3 70B:62.40÷0.155≈4.026亿token/天
注意第一行的比较有个前提:从Sonnet 5.5换到自托管的gpt-oss-120b,换的不只是托管方式,还有模型本身。只有开放模型能通过你的评测,这笔账才成立。
真正决定成败的是利用率。上面的日总量假设token全天均匀到达,现实流量不是这样。如果GPU只有20%的时间在忙,那它在忙的时候就得快5倍,才能凑够同样的日总量。利用率减半,所需吞吐翻倍,半闲的GPU很难拼过按token计费的API。
把利用率代进去,还能算出自家GPU的等效单价。假设压测显示忙时每秒3000 token,30%利用率下每百万token成本是0.80美元,90%利用率下降到0.27美元。同样的卡和模型,单价差了三倍,只有90%那一档才接近开放模型API的0.155到0.2625美元区间。
GPU账单之外还有一堆隐性成本,都不在上面的盈亏平衡里:生产环境通常要第二个副本做冗余,峰值预留会拉低平均利用率,选引擎、调batch、升级模型、盯延迟是持续投入,新副本启动要先加载几十GB权重,还有监控、安全补丁和值班。按token API把这些全打包进了单价,所以它看着贵,对多数团队反而更便宜。
那什么时候该自托管?日处理量稳定超过每块GPU约1600万token、且开放模型能过评测时;流量平稳到能让GPU大部分时间在忙时,比如批量分类、embedding或可排队的夜间文档处理;要服务微调模型或多个LoRA适配器而API不提供时;数据合规、延迟或容量保障比单价更重要时。反过来,流量尖峰明显、低于盈亏平衡点,或者已有开放模型API直接提供你要的模型,就继续按token付费。
模型大到一块卡装不下怎么办?GPU成本乘以所需卡数,8块卡就要8倍的日token量才能回本,这也是超大开放模型通常走按token API最划算的原因,除非流量真的巨大。批量API则把天平推向API一侧:OpenAI和Anthropic都把批处理标价为标准价的一半,等于把回本所需的日token量翻倍。
输出占比高的场景也会改变结论。各家API的输出token单价比输入贵3.2到5倍,长回答的聊天或agent负载混合价更高,盈亏平衡点更低,得用自己实测的输入输出比例重算,而不是套用3:1。
想两条路都试,可以先按token起步,等日志显示量够了再把同一个模型搬到GPU上。推理API兼容OpenAI接口,控制台的模型目录和接口能查到各模型单价,一次真实请求会打印token数和费用,跑一天流量就能拿到自己的输入输出配比和日总量。给端点设个消费上限,花到额度就返回402,量价都对上了再换按小时计费的GPU。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.