网易首页 > 网易号 > 正文 申请入驻

1小时缓存写入贵1倍,Bedrock这4个开关在偷偷加钱

0
分享至

调完提示词、改完应用逻辑,Amazon Bedrock 的推理账单仍可能继续往上走。请求层面的几个选择,依然会改变服务处理的 token 数量,以及这些 token 适用的费率。


缓存时长、服务层级、推理强度、maxTokens,这四项都能在不换模型、不改提示词的前提下影响成本。每一项怎么选,取决于模型和工作负载。

每个 Bedrock 响应都带用量元数据。输入和输出 token 按实际服务该请求的模型与层级费率计费;缓存读写走独立的 token 计数器;推理 token 按输出 token 计。

缓存时长:长不等于便宜

重复的系统指令、工具定义、参考上下文,如果缓存在下一次请求前过期,就得重新处理一遍。支持的 Anthropic 模型提供 5 分钟和 1 小时两种 TTL,支持的 GPT-5.6 模型则列出 30 分钟的最低 TTL。支持范围和 API 字段因模型而异,选时长前先查当前的支持矩阵。

以 Claude Sonnet 5 和 Claude Opus 5 为例,5 分钟写入按输入费率的 1.25 倍计,1 小时写入按 2 倍计,缓存读取按 0.1 倍计。

这组费率决定了盈亏平衡点。5 分钟缓存只要在 5 分钟内被复用一次就回本;如果同一前缀的请求间隔超过 5 分钟,每次都要按 1.25 倍重写。这种情况下,1 小时缓存从一小时内的第二次请求起就更划算。

实操上有几条硬约束:

  • 稳定内容放在动态内容之前,并满足模型的检查点最低长度
  • 提示缓存不适用于批量推理,需使用按需推理
  • 改动被缓存的前缀(包括系统指令或工具定义)会导致未命中并产生新写入
  • 检查点按工具、系统、消息的顺序评估,靠前部分一变,后面全部失效

测试中,对 Claude Sonnet 5 用 1 小时检查点跑了六次调用,中途各改一次系统提示词和工具定义,每次改动都产生零缓存读取和一次新写入。

多租户场景还要注意:缓存条目按账户和区域划分,不按租户划分。做法是在可缓存前缀前拼接租户专属的 SHA-256 哈希,并在构建提示词之前完成租户鉴权。哈希只是在同一账户内分区;如果受监管负载需要硬性数据边界,就把每个租户放进独立的 AWS 账户。

选择逻辑可以简化成一句:复用频繁就保持 5 分钟默认值;同一前缀每小时至少出现两次、且间隔超过 5 分钟,再换更长的时长。1 小时缓存要跑赢完全不缓存,需要每小时三次请求。

服务层级:省一半,但要接住报错

后台任务、评测框架、夜间摘要、回填作业,未必需要交互请求那种延迟表现。支持 Flex 的模型可以用 serviceTier 指定;请求 Standard 层级要写 default,而不是 standard,也可以直接省略该字段。

层级支持因模型版本而异,要按精确版本记录。Nova 2 Lite 和 gpt-oss-120b 的模型卡列出支持 Flex;Claude Sonnet 5 和 Claude Opus 5 的模型卡则列为不支持。向不支持的模型发 Flex 请求会返回 ValidationException,而不是悄悄按 Standard 跑。测试中向 Claude Sonnet 5 发请求,返回的正是这个错误。

如果策略允许回退到 Standard,可以捕获不支持层级的错误,用 default 重试一次。但不要对所有 ValidationException 都重试,格式错误的请求也会抛这个错。应用层重试要设上限,限流和瞬时错误交给 AWS SDK 的有界重试策略。

Flex 请求要自己设截止时间。支持的响应会报告实际解析到的层级,也可以用 CloudWatch 的 ResolvedServiceTier 核对。

在 Nova 2 Lite 上做了对照测试:200 个 default 请求和 200 个 flex 请求交错成对发送,两个层级处理的输入输出 token 数量相同,400 个请求全部解析到所请求的层级,延迟中位数差异小到无法与噪声区分。测试时 us-west-2 区域 Nova 2 Lite 公布的 Flex 费率是 Standard 的一半,账单也反映了这一点。延迟敏感的流量继续留在 default。

推理强度:默认就在烧输出 token

推理 token 按输出 token 计费。Claude Sonnet 5 和 Claude Opus 5 默认使用 high 强度的自适应思考,即使请求里不写 thinking 字段也一样。一个从 Claude Sonnet 4.6 迁移过来、没做任何改动的应用,会开始为思考 token 付费,而且 maxTokens 现在同时限制思考和回复文本。Claude Haiku 5.5 默认是 medium。三个模型都支持 low、medium、high、xhigh、max 五档。

强度要放在 output_config 里,不是放在 thinking 里。每次换模型都要检查自适应思考的设置。

在一个 Claude Opus 5 的工具调用智能体上做了测试,三个任务各有一个正确答案,每个强度档位跑八次。结论是:低强度下的准确率取决于模型和任务,要在形状类似自己业务的任务上实测。

代码生成负载的样本里,low 档输出 token 中位数 676,high 档 743,差异落在运行间波动范围内,各档位产出的程序都通过了评分。

评估这套选择,可以看每请求输出 token 数、CloudWatch 的 AWS/Bedrock OutputTokenCount、调用日志,以及任务通过率。常规且边界清晰的任务从 high 以下起步;质量测试证明需要 high 的,就保留 high。省了 token 却把任务做坏,不算省钱。

输出上限:是围栏,不是安全控制

maxTokens 是应用层的输出天花板,用来限制坏提示词、回归或循环在请求停止前能产出多少内容。Bedrock 在请求开始时就会扣减输入 token 加 maxTokens,所以设得过大反而会降低并发。

输出上限不是安全控制。生产环境的生成式 AI 负载应把 Amazon Bedrock Guardrails 作为标准的负责任 AI 控制手段,它可以过滤内容、检测提示词攻击,并在支持的输入和响应上做接地检查。

maxTokens 应按任务类型、在观察代表性输出 token 分布之后设定。测试中 Claude Sonnet 5 的五个正常输出峰值 103 token,于是设了 155 token 的示意围栏并留出余量。随后用同一个故意啰嗦的提示词、关闭自适应思考,分别在 2048 token 上限和 155 token 围栏下各发一次:前者生成 2048 个输出 token,后者生成 155 个,围栏省下 1893 个输出 token。两次都停在 max_tokens,响应都被截断。围栏能限制花费,但不会让不合适的提示词变得有用;在多轮或智能体链路里,被截断的一轮可能打断后续步骤。

生产校准可以按任务类型比较 P95 和 P99,再在选定分位上留余量。开启自适应思考时,maxTokens 同时限制思考 token,校准也要在开启状态下做。P95 更激进地限制敞口,但接受更高的截断风险;P99 用更高的天花板保住更多有效的长尾响应。监控 max_tokens 停止的情况,先排查请求,再考虑抬高该任务的上限。

四项合起来怎么验

每个设置都用同一套测试循环:确认模型支持,只改一个请求选择,测量 token 或成本,跟踪质量或完成率。如果跨模型路由,就为每个模型版本、区域和 API 维护一份能力记录,写明支持的缓存时长、服务层级、推理档位和输出上限,发送前逐项校验,发送后检查响应里解析到的层级和缓存计数器。

这四项选择都落在推理请求里。换模型时重新核对支持情况,然后一次只改一个设置,在自己的应用里测量结果。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

财经要参
2026-11-03 12:00:06
中国“星链”走到商用前夜

中国“星链”走到商用前夜

经济观察报
2026-11-15 22:13:39
央视曝光低价牛肉骗局:猪腱子肉染色、喷香精、抹牛油 30元一斤的“牛肉”全是猪肉 这样的肉怎么进的市场?

央视曝光低价牛肉骗局:猪腱子肉染色、喷香精、抹牛油 30元一斤的“牛肉”全是猪肉 这样的肉怎么进的市场?

闪电新闻
2026-11-15 22:29:52
男子56万购入300块和田玉,搁置10年后,急用钱才发现其真实价值

男子56万购入300块和田玉,搁置10年后,急用钱才发现其真实价值

兰姐说故事
2025-11-14 17:15:03
不动脑!白猫设计师遭吐槽!网友:“一看就没下过厨房”

不动脑!白猫设计师遭吐槽!网友:“一看就没下过厨房”

LOGO研究所
2026-11-13 19:18:52
免费时代全民听歌,收费时代众人弃歌:中国音乐究竟输在哪儿?

免费时代全民听歌,收费时代众人弃歌:中国音乐究竟输在哪儿?

浩渺青史
2026-11-16 02:34:06
中国创造“历史性一幕”,中俄美三方会晤敲定,三件事或摆上桌面

中国创造“历史性一幕”,中俄美三方会晤敲定,三件事或摆上桌面

娱乐的宅急便
2026-11-16 17:53:31
副部长级!中国工程院院士,任985大学校长

副部长级!中国工程院院士,任985大学校长

TOP大学来了
2026-11-13 02:35:02
马上停止用这种床单,接触时间越长风险越高,很多人还在用

马上停止用这种床单,接触时间越长风险越高,很多人还在用

39健康网
2026-11-13 12:00:37
北大399元羽绒服全网刷屏:官方小程序被挤崩,最快11月底到货

北大399元羽绒服全网刷屏:官方小程序被挤崩,最快11月底到货

新京报
2026-11-16 16:46:04
看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

一盅情怀
2026-11-10 15:48:41
17、18年总决赛库里场均27+7+8,为什么FMVP是杜兰特?

17、18年总决赛库里场均27+7+8,为什么FMVP是杜兰特?

麦子的篮球故事
2026-11-16 18:51:20
小米“搅局”NAS,绿联零售额暴跌

小米“搅局”NAS,绿联零售额暴跌

观察者网
2026-11-15 15:28:09
“能把屁股擦干净吗!”陕西妇科医护者吐槽阴超经历:我老公都不让我和面了

“能把屁股擦干净吗!”陕西妇科医护者吐槽阴超经历:我老公都不让我和面了

妍妍教育日记
2026-10-30 19:25:27
服刑7年出狱查账崩溃:47万余利宝只剩6.43元,1.9万直接流进办案警官的微信

服刑7年出狱查账崩溃:47万余利宝只剩6.43元,1.9万直接流进办案警官的微信

文青大叔说
2026-10-27 09:03:14
美财长贝森特向英伟达施压!要求外部招聘CEO 限期10天回应合规问题

美财长贝森特向英伟达施压!要求外部招聘CEO 限期10天回应合规问题

快科技
2026-11-16 07:58:26
研究者称DeepSeek等模型用被禁英伟达芯片训练

研究者称DeepSeek等模型用被禁英伟达芯片训练

码上闲叙
2026-11-14 22:56:58
葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

葡媒怒批葡萄牙足协:致敬C罗的方式像是葬礼

懂球帝
2026-11-16 18:54:29
马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

环球趣闻分享
2026-11-16 13:00:24
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
2026-11-16 19:04:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
220文章数 92关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
艺术
亲子
时尚
数码

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

亲子要闻

宝宝气人但是聪明的4个行为

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

无障碍浏览 进入关怀版