上个月我在做一个 side project 时,被同一件事反复打断:刚用 OpenAI 启动任务,就撞上速率限制;手动切到 Anthropic,又碰上限流;再开一个新标签页配置 Gemini。三个 API 控制台同时开着,三个不同的账单页面,而我真正想做的项目就晾在那儿。
我不想为多套 API 付费才能保持工作流。于是做了点东西来解决它。
![]()
HelloChusquis 是一个开源终端 AI 智能体,当一家供应商触及速率限制或宕机时,自动在 35 家以上 AI 供应商之间切换。一个配置文件,零手动切换。
安装只需一行命令:pip install hellochusquis,然后 hellochusquis --quick 即可启动。智能体先尝试你的首选供应商,如果失败或限流,静默 fallback 到下一家。你看不到报错——任务直接完成。
最棘手的 bug 出现在多步骤计划执行命令时。智能体会生成计划、开始执行,然后中途丢失工具访问权限。第 1 步能跑,第 2-6 步报 "Unknown tool" 错误。问题根源:工具在初始上下文中可用,但未在每次执行循环中传递。修复上下文传播后,"搜索 AI 新闻并总结前 3 条" 这类多步骤任务才端到端跑通。
核心是一个 ProviderPool 类,追踪每家供应商状态。用 dataclass 定义 Provider,包含名称、base_url、api_key、模型,以及 exhausted 标记和耗尽时间戳。chat 方法筛选可用供应商,逐个尝试调用;遇到 429、402 或 503 错误,标记为 exhausted 并记录时间,默认 1 小时后自动重置。本质上是把熔断器模式套用到大语言模型供应商上。
除了 fallback,HelloChusquis 已成长为完整终端智能体。快速安装后,60 秒完成配置。代码托管在 GitHub,MIT 协议,永久免费。
如果你也遇到过同样的速率限制 frustration,想听听你怎么处理的——或者希望 HelloChusquis 实现什么新功能。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.