调完提示词、改完应用逻辑,Amazon Bedrock 的推理账单仍可能继续往上走。请求层面的几个选择,依然会改变服务处理的 token 数量,以及这些 token 适用的费率。
![]()
缓存时长、服务层级、推理强度、maxTokens,这四项都能在不换模型、不改提示词的前提下影响成本。每一项怎么选,取决于模型和工作负载。
每个 Bedrock 响应都带用量元数据。输入和输出 token 按实际服务该请求的模型与层级费率计费;缓存读写走独立的 token 计数器;推理 token 按输出 token 计。
缓存时长:长不等于便宜
重复的系统指令、工具定义、参考上下文,如果缓存在下一次请求前过期,就得重新处理一遍。支持的 Anthropic 模型提供 5 分钟和 1 小时两种 TTL,支持的 GPT-5.6 模型则列出 30 分钟的最低 TTL。支持范围和 API 字段因模型而异,选时长前先查当前的支持矩阵。
以 Claude Sonnet 5 和 Claude Opus 5 为例,5 分钟写入按输入费率的 1.25 倍计,1 小时写入按 2 倍计,缓存读取按 0.1 倍计。
这组费率决定了盈亏平衡点。5 分钟缓存只要在 5 分钟内被复用一次就回本;如果同一前缀的请求间隔超过 5 分钟,每次都要按 1.25 倍重写。这种情况下,1 小时缓存从一小时内的第二次请求起就更划算。
实操上有几条硬约束:
- 稳定内容放在动态内容之前,并满足模型的检查点最低长度
- 提示缓存不适用于批量推理,需使用按需推理
- 改动被缓存的前缀(包括系统指令或工具定义)会导致未命中并产生新写入
- 检查点按工具、系统、消息的顺序评估,靠前部分一变,后面全部失效
测试中,对 Claude Sonnet 5 用 1 小时检查点跑了六次调用,中途各改一次系统提示词和工具定义,每次改动都产生零缓存读取和一次新写入。
多租户场景还要注意:缓存条目按账户和区域划分,不按租户划分。做法是在可缓存前缀前拼接租户专属的 SHA-256 哈希,并在构建提示词之前完成租户鉴权。哈希只是在同一账户内分区;如果受监管负载需要硬性数据边界,就把每个租户放进独立的 AWS 账户。
选择逻辑可以简化成一句:复用频繁就保持 5 分钟默认值;同一前缀每小时至少出现两次、且间隔超过 5 分钟,再换更长的时长。1 小时缓存要跑赢完全不缓存,需要每小时三次请求。
服务层级:省一半,但要接住报错
后台任务、评测框架、夜间摘要、回填作业,未必需要交互请求那种延迟表现。支持 Flex 的模型可以用 serviceTier 指定;请求 Standard 层级要写 default,而不是 standard,也可以直接省略该字段。
层级支持因模型版本而异,要按精确版本记录。Nova 2 Lite 和 gpt-oss-120b 的模型卡列出支持 Flex;Claude Sonnet 5 和 Claude Opus 5 的模型卡则列为不支持。向不支持的模型发 Flex 请求会返回 ValidationException,而不是悄悄按 Standard 跑。测试中向 Claude Sonnet 5 发请求,返回的正是这个错误。
如果策略允许回退到 Standard,可以捕获不支持层级的错误,用 default 重试一次。但不要对所有 ValidationException 都重试,格式错误的请求也会抛这个错。应用层重试要设上限,限流和瞬时错误交给 AWS SDK 的有界重试策略。
Flex 请求要自己设截止时间。支持的响应会报告实际解析到的层级,也可以用 CloudWatch 的 ResolvedServiceTier 核对。
在 Nova 2 Lite 上做了对照测试:200 个 default 请求和 200 个 flex 请求交错成对发送,两个层级处理的输入输出 token 数量相同,400 个请求全部解析到所请求的层级,延迟中位数差异小到无法与噪声区分。测试时 us-west-2 区域 Nova 2 Lite 公布的 Flex 费率是 Standard 的一半,账单也反映了这一点。延迟敏感的流量继续留在 default。
推理强度:默认就在烧输出 token
推理 token 按输出 token 计费。Claude Sonnet 5 和 Claude Opus 5 默认使用 high 强度的自适应思考,即使请求里不写 thinking 字段也一样。一个从 Claude Sonnet 4.6 迁移过来、没做任何改动的应用,会开始为思考 token 付费,而且 maxTokens 现在同时限制思考和回复文本。Claude Haiku 5.5 默认是 medium。三个模型都支持 low、medium、high、xhigh、max 五档。
强度要放在 output_config 里,不是放在 thinking 里。每次换模型都要检查自适应思考的设置。
在一个 Claude Opus 5 的工具调用智能体上做了测试,三个任务各有一个正确答案,每个强度档位跑八次。结论是:低强度下的准确率取决于模型和任务,要在形状类似自己业务的任务上实测。
代码生成负载的样本里,low 档输出 token 中位数 676,high 档 743,差异落在运行间波动范围内,各档位产出的程序都通过了评分。
评估这套选择,可以看每请求输出 token 数、CloudWatch 的 AWS/Bedrock OutputTokenCount、调用日志,以及任务通过率。常规且边界清晰的任务从 high 以下起步;质量测试证明需要 high 的,就保留 high。省了 token 却把任务做坏,不算省钱。
输出上限:是围栏,不是安全控制
maxTokens 是应用层的输出天花板,用来限制坏提示词、回归或循环在请求停止前能产出多少内容。Bedrock 在请求开始时就会扣减输入 token 加 maxTokens,所以设得过大反而会降低并发。
输出上限不是安全控制。生产环境的生成式 AI 负载应把 Amazon Bedrock Guardrails 作为标准的负责任 AI 控制手段,它可以过滤内容、检测提示词攻击,并在支持的输入和响应上做接地检查。
maxTokens 应按任务类型、在观察代表性输出 token 分布之后设定。测试中 Claude Sonnet 5 的五个正常输出峰值 103 token,于是设了 155 token 的示意围栏并留出余量。随后用同一个故意啰嗦的提示词、关闭自适应思考,分别在 2048 token 上限和 155 token 围栏下各发一次:前者生成 2048 个输出 token,后者生成 155 个,围栏省下 1893 个输出 token。两次都停在 max_tokens,响应都被截断。围栏能限制花费,但不会让不合适的提示词变得有用;在多轮或智能体链路里,被截断的一轮可能打断后续步骤。
生产校准可以按任务类型比较 P95 和 P99,再在选定分位上留余量。开启自适应思考时,maxTokens 同时限制思考 token,校准也要在开启状态下做。P95 更激进地限制敞口,但接受更高的截断风险;P99 用更高的天花板保住更多有效的长尾响应。监控 max_tokens 停止的情况,先排查请求,再考虑抬高该任务的上限。
四项合起来怎么验
每个设置都用同一套测试循环:确认模型支持,只改一个请求选择,测量 token 或成本,跟踪质量或完成率。如果跨模型路由,就为每个模型版本、区域和 API 维护一份能力记录,写明支持的缓存时长、服务层级、推理档位和输出上限,发送前逐项校验,发送后检查响应里解析到的层级和缓存计数器。
这四项选择都落在推理请求里。换模型时重新核对支持情况,然后一次只改一个设置,在自己的应用里测量结果。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.