网易首页 > 网易号 > 正文 申请入驻

一块H100自托管大模型,日供1600万token才回本

0
分享至

自托管一个开放权重模型,到底比调API便宜还是贵?答案取决于你每天喂给它多少token,以及你把那块GPU用得多满。


先看一组关键数字:用一块NVIDIA H100跑开放模型,日处理约1600万token时,成本才追平Claude Sonnet 5.5这类前沿API;但要拼过那些同样服务开放模型的低价按token API,日处理量得冲到2.4亿到4亿token。两者差了大约15到26倍。

这个差距不是算术游戏,而是两种计费方式的本质区别。GPU按小时计费,你开着它,服务一百万token还是零token,账单一样;API按token计费,单价里已经摊进了别人的闲置硬件、冗余和工程成本。要比就得把两者换算到同一把尺子上。

换算方法是把API价格折算成每百万token的混合价:每3个输入token配1个输出token,混合价=(3×输入价+输出价)/4。按2026年11月16日查到的标准档价格,一个大型前沿模型每token成本,大约是开放模型按token API的15到26倍。

具体算一遍。一块H100 SXM按每小时2.60美元计,一天是62.40美元,平均一个月730小时是1898美元。用日成本除以混合价,就得到每天的盈亏平衡token量:

  • 对标Sonnet 5.5或gpt-6.1-sol:62.40÷4.00≈1560万token/天
  • 对标Haiku 5.5或gpt-6-luna:62.40÷0.20≈3.12亿token/天
  • 对标Together AI上的gpt-oss-120B:62.40÷0.2625≈2.377亿token/天
  • 对标DeepInfra上的Llama 3.3 70B:62.40÷0.155≈4.026亿token/天

注意第一行的比较有个前提:从Sonnet 5.5换到自托管的gpt-oss-120b,换的不只是托管方式,还有模型本身。只有开放模型能通过你的评测,这笔账才成立。

真正决定成败的是利用率。上面的日总量假设token全天均匀到达,现实流量不是这样。如果GPU只有20%的时间在忙,那它在忙的时候就得快5倍,才能凑够同样的日总量。利用率减半,所需吞吐翻倍,半闲的GPU很难拼过按token计费的API。

把利用率代进去,还能算出自家GPU的等效单价。假设压测显示忙时每秒3000 token,30%利用率下每百万token成本是0.80美元,90%利用率下降到0.27美元。同样的卡和模型,单价差了三倍,只有90%那一档才接近开放模型API的0.155到0.2625美元区间。

GPU账单之外还有一堆隐性成本,都不在上面的盈亏平衡里:生产环境通常要第二个副本做冗余,峰值预留会拉低平均利用率,选引擎、调batch、升级模型、盯延迟是持续投入,新副本启动要先加载几十GB权重,还有监控、安全补丁和值班。按token API把这些全打包进了单价,所以它看着贵,对多数团队反而更便宜。

那什么时候该自托管?日处理量稳定超过每块GPU约1600万token、且开放模型能过评测时;流量平稳到能让GPU大部分时间在忙时,比如批量分类、embedding或可排队的夜间文档处理;要服务微调模型或多个LoRA适配器而API不提供时;数据合规、延迟或容量保障比单价更重要时。反过来,流量尖峰明显、低于盈亏平衡点,或者已有开放模型API直接提供你要的模型,就继续按token付费。

模型大到一块卡装不下怎么办?GPU成本乘以所需卡数,8块卡就要8倍的日token量才能回本,这也是超大开放模型通常走按token API最划算的原因,除非流量真的巨大。批量API则把天平推向API一侧:OpenAI和Anthropic都把批处理标价为标准价的一半,等于把回本所需的日token量翻倍。

输出占比高的场景也会改变结论。各家API的输出token单价比输入贵3.2到5倍,长回答的聊天或agent负载混合价更高,盈亏平衡点更低,得用自己实测的输入输出比例重算,而不是套用3:1。

想两条路都试,可以先按token起步,等日志显示量够了再把同一个模型搬到GPU上。推理API兼容OpenAI接口,控制台的模型目录和接口能查到各模型单价,一次真实请求会打印token数和费用,跑一天流量就能拿到自己的输入输出配比和日总量。给端点设个消费上限,花到额度就返回402,量价都对上了再换按小时计费的GPU。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
笑不活!老外买的中国纪念品,不理解但尊重

笑不活!老外买的中国纪念品,不理解但尊重

另子维爱读史
2026-10-19 21:05:28
3-2!欧国联奇迹1战:哈兰德压哨点杀 率队连扳3球逆转+读秒出线

3-2!欧国联奇迹1战:哈兰德压哨点杀 率队连扳3球逆转+读秒出线

我爱英超
2026-11-18 06:58:38
火箭被森林狼追平,多森姆砍30+5比伊森强,克劳福德值得更多机会

火箭被森林狼追平,多森姆砍30+5比伊森强,克劳福德值得更多机会

小犙拍客在北漂
2026-11-18 16:51:26
猪身上“最毒”的器官,国内早已禁止销售,为什么仍有许多人在吃?

猪身上“最毒”的器官,国内早已禁止销售,为什么仍有许多人在吃?

回京历史梦
2026-11-18 10:07:27
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
投资110亿!北京首座万象城 主塔楼成功封顶!

投资110亿!北京首座万象城 主塔楼成功封顶!

童童聊娱乐啊
2026-11-18 06:21:29
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
扎心了!公公凌晨刷到侄媳妇抖音,主动发消息表示关心,婆婆一句话公公坚决要离婚,网友吵翻

扎心了!公公凌晨刷到侄媳妇抖音,主动发消息表示关心,婆婆一句话公公坚决要离婚,网友吵翻

丫头舫
2026-11-09 23:20:14
日本尝到屈辱外交了,高市1天内两次“呲牙”,对方连道歉都没给

日本尝到屈辱外交了,高市1天内两次“呲牙”,对方连道歉都没给

锅锅爱历史
2026-10-06 17:27:18
克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

好火子
2026-11-17 23:57:53
深圳市民为了APEC不穿拖鞋了?网友:不能丢人,必须全妆出门

深圳市民为了APEC不穿拖鞋了?网友:不能丢人,必须全妆出门

东方豪侠
2026-11-18 06:57:36
俄媒:美支持乌具备对俄实施“中程”打击能力

俄媒:美支持乌具备对俄实施“中程”打击能力

参考消息
2026-11-18 14:38:27
江苏三大国企是哪三个?

江苏三大国企是哪三个?

网观天下
2026-11-18 07:33:22
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
儿媳发现婆婆出轨,婆婆把情夫儿子介绍给儿媳,婆媳双双出轨

儿媳发现婆婆出轨,婆婆把情夫儿子介绍给儿媳,婆媳双双出轨

四海神君
2026-11-17 15:00:04
普京抵达深圳,中俄一起出席开幕式,特朗普火速登机不浪费时间

普京抵达深圳,中俄一起出席开幕式,特朗普火速登机不浪费时间

阿天爱旅行
2026-11-18 13:49:42
故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

故事:盗墓者自述,鬼真的存在,其实比鬼更可怕的是另一样东西

飞云如水
2024-12-28 13:54:42
随着森林狼106-105,马刺93-105,尼克斯111-102,NBA最新积分榜出炉

随着森林狼106-105,马刺93-105,尼克斯111-102,NBA最新积分榜出炉

俯身冲顶
2026-11-18 11:44:28
高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

靓仔情感
2026-11-17 04:36:22
中国稀土王牌被废?马斯克向全世界宣布:特斯拉电机100%不用稀土

中国稀土王牌被废?马斯克向全世界宣布:特斯拉电机100%不用稀土

南风不及你温柔
2026-09-13 08:23:52
2026-11-18 17:48:49
码上闲叙
码上闲叙
有态度网友ytd
229文章数 106关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
时尚
旅游
家居
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版