“Gemini 这缓存命中率真是低得离谱。”一位用户晒出自己的 API 账单后这样写道。他统计了单日处理 3.3 亿输入 Token 的花费,结果指向同一个问题:缓存没命中,钱就按原价烧。
![]()
账单显示,Gemini 的缓存命中率只有 49.3%,单日花费 496 美金。这意味着相当一部分 Token 没能走缓存单价,而是按原价结算。作者据此估算,光这一天就多花出去 385 美金,折合人民币 2776 块,直接贵了 4 倍多。
对比对象是 DeepSeek。作者给出的命中率约为 99%,同样 3.3 亿 Token 的量,在 DeepSeek 下只需 110 美金。两边的差距不在 Token 数量,而在缓存机制把多少请求接住了。
把时间拉长看,作者通过历史累计数据进一步指出,因命中率低而产生的额外开销已达数千美元。这笔钱不体现在单价表上,只体现在每个月账单的末尾。
对大规模调用 API 的团队来说,缓存命中率是一个容易被忽略的成本变量:
- 命中率决定多少 Token 按缓存单价结算,多少按原价结算;
- 同样的输入量,命中率从 49.3% 到 99%,账单可以差出数倍;
- 单日几百美金的差额,累计到月度就是数千美元级别。
作者在文末把问题抛给了其他用户,询问他们的实际体验。至少从这份账单看,选模型不能只看标价,缓存效率才是大规模 Token 处理成本的决定性一环。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.