北京
分享至
传统的速率限制按请求数计数。当请求之间大致等价时，这是合理的：每分钟100次就是100个单位负载。但 Agent 端点并非如此。同一个路由、同一个方法，一次请求可能是一次两轮的回答，花费不到0.5美分；另一次请求可能是一个二十轮、读取六份文档的代理，花费2欧元。两者相差两个数量级。 如果按请求数限流，你要么无意义地限制廉价请求，要么让几个昂贵的请求在午餐前耗尽月度预算。因此，应该限制真正会用完的三样东西： 1. **资金（provider 开销）**——这是最重要的，预算耗尽会终结项目。 2. **并发**——上游并发限制和你的 Worker 池。超出后会从上游收到 429，表现为延迟。 3. **请求数**——作为粗略的防滥用机制，但不是主要控制。 下面是一个 TypeScript 配置示例： ```ts export type Limits = { costUsdPerHour: number;
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
