网易首页 > 网易号 > 正文 申请入驻

关掉一个云上的网关,9秒后智能体从另一朵云答上了

0
分享至

演示现场,团队把一朵云上的模型网关直接关掉。9秒后,那朵云上的智能体照样给出了回答——请求从另一朵云的网关上走了出去。


这是一套跑在谷歌云和微软云上的概念验证:两个AI智能体,一个在谷歌云的Agent Runtime里,一个在微软云的Microsoft Foundry里。每个智能体在Microsoft Entra Agent ID里都有自己的身份,自己不存任何密钥。

智能体要调模型,中间就隔了一层模型网关。这层网关同时跑在两朵云上,从任意一侧都能调用Gemini和Azure OpenAI,而且它手里不持有任何API密钥。

为什么要在中间加一层

一个智能体直接调模型没问题,两个也还行。到五十个就不舒服了:每个智能体都得配齐它用到的每一家模型厂商的凭证;没有一个地方能说清哪个智能体可以用哪个模型;用量散在两朵云、两个账单控制台里。

网关一次解决这三件事。智能体只对一个端点说话,规则和用量记录都放在那里。选LiteLLM的原因是它在一套兼容OpenAI的API后面,同时能对接Vertex AI和Azure OpenAI。

麻烦在于,网关通常会引入两种新密钥:它持有调用模型厂商的密钥,以及它发给调用方的密钥。这套设计两种都不想要。

设计长什么样

每朵云里各有一个LiteLLM,配置完全一致:谷歌云上跑在Cloud Run,微软云上跑在Container Apps。每个服务里带一个Redis边车,只存自己的短期状态。两边共用一个Postgres数据库,放在Cloud SQL上,存智能体、允许使用的模型和用量。

每个网关都连着两家的模型。微软云上的那个能调Gemini,谷歌云上的那个能调Azure OpenAI。智能体用自己那朵云的网关,拿到的模型目录是一样的。

模型清单在两边是同一个文件,里面根本没有api_key这一行。

智能体用自己的身份登录

LiteLLM通常会给每个调用方发一个虚拟密钥,那等于每个智能体又多一个秘密,正是要避免的东西。

每个智能体在Microsoft Entra Agent ID里已经有身份,能为自己有角色的任何受众取令牌。于是网关就成了又一个受众,带一个角色LLM.Invoke。智能体把自己的Entra令牌当bearer发过去。

LiteLLM这一侧,一个自定义鉴权钩子替换掉了密钥查询。它校验签名、受众、签发方,检查令牌里有没有LLM.Invoke角色,再按令牌里的调用方ID找到对应的团队,确认请求的模型在该智能体的允许清单里。不在清单里,就在调用任何厂商之前被拒掉。

令牌里的调用方ID就是智能体的身份,LiteLLM的“团队”也用同一个ID做键。用量按智能体记录,不需要谁再发明第二套命名。

允许清单来自登记智能体用的清单文件。登记流水线在Entra里分配LLM.Invoke角色,并在LiteLLM里按那些模型建好团队。

网关自己也不持有模型密钥

这是整套设计能立住的部分。网关往外走的每一条链路,用的都是工作负载自己的身份。

  • 谷歌云到Gemini:Cloud Run的服务账号本身带Vertex AI角色,不用配。
  • 谷歌云到Azure OpenAI:LiteLLM向谷歌要一个OIDC令牌,交给Entra,由应用注册上的联合凭证接收,模型条目里就一行配置。
  • 微软云到Azure OpenAI:用Container App的托管身份。
  • 微软云到Gemini:反向联合。托管身份的令牌在谷歌的工作负载身份池里做交换,让它能以Cloud Run那侧同一个服务账号行事。谷歌客户端库发现那个凭证文件后会自动完成交换,一个小边车负责保持文件里的Azure令牌新鲜。

到数据库这一段,两个网关都通过Cloud SQL Auth Proxy边车访问,用IAM数据库认证,数据库用户就是服务账号,连接串里没有密码。

网关挂了会怎样

一旦一朵云里的所有智能体都依赖那朵云的网关,这个网关就是它们共同的单点故障。所以有一件事必须保证:自己那朵云的网关不可用时,智能体还能继续拿到回答。

两个性质让这件事成立。同一个令牌在两个网关上都能用,它们共享受众、角色和数据库,智能体不需要任何新东西就能被另一朵云服务。任一网关都能触达两家的模型,模型厂商挂了和网关挂了是两种独立的故障,哪一种都不会把智能体困住。

还有一条规则值得写下来:拒绝不是故障。401、403、429说明网关在正常工作,只是说了不。切到另一朵云,绝不能成为绕过这个“不”的办法。

测试里,微软云的网关被关掉后,微软云智能体的下一个回答在9秒后经由谷歌云的网关返回。

踩过的坑

  • 让一侧独占schema。两个LiteLLM实例在启动时同时迁移同一个数据库是竞态,一个跑迁移,另一个用DISABLE_SCHEMA_UPDATE=true启动。
  • 自定义鉴权失败会以401返回。LiteLLM把钩子抛出的异常都这么映射,哪怕逻辑上是403。客户端应该读消息,不能只看状态码。
  • 锁死镜像版本。自定义鉴权钩子导入了LiteLLM内部实现,不锁版本的升级可能一次弄坏所有智能体的登录。
  • 关掉消息日志。打开turn_off_message_logging后,数据库只留谁调了什么、用了多少,不留提示词。

这套设计对你提出的要求

每分钟限流是按云算的。速率计数器放在Redis里,每朵云各有一套,60次每分钟的限额在两边各是60次。

共享数据库只在一朵云里,两个网关都依赖它,上生产时这是第一个要盯的地方。

网关仍然有一个管理密钥。LiteLLM自己的管理需要主密钥,它放在每朵云的密钥管理器里,由网关的身份读取。智能体永远看不到它,它也不出现在智能体与模型之间的任何请求里。

智能体和模型之间,没有需要轮换的API密钥。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女主任被火箭提拔,调查一出,三名男官员同时翻车

女主任被火箭提拔,调查一出,三名男官员同时翻车

丞丞故事汇
2025-07-17 15:39:30
《新聊斋》正式定档!宋祖儿演树妖姥姥,林允一人分饰两角

《新聊斋》正式定档!宋祖儿演树妖姥姥,林允一人分饰两角

天玑影视说
2026-11-16 15:10:23
《多喜一家人》口碑爆棚,本是冲着蒋欣来的,却被46岁男配吸引

《多喜一家人》口碑爆棚,本是冲着蒋欣来的,却被46岁男配吸引

天玑影视说
2026-11-17 09:32:41
WTI原油突破87美元/桶,日内涨1.50%

WTI原油突破87美元/桶,日内涨1.50%

每日经济新闻
2026-11-17 21:50:06
网传不少中产已经放弃托举下一代了,阶层要更加固化了!

网传不少中产已经放弃托举下一代了,阶层要更加固化了!

黯泉
2026-11-16 17:37:25
刚洗白,与未成年交往事件,金秀贤又迎“噩耗”,这回麻烦大了

刚洗白,与未成年交往事件,金秀贤又迎“噩耗”,这回麻烦大了

乡野小珥
2026-11-16 05:52:48
森保一将卸任日本队主帅,8年执教日本取得77胜17平19负

森保一将卸任日本队主帅,8年执教日本取得77胜17平19负

懂球帝
2026-11-17 23:43:09
二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

回京历史梦
2026-11-10 17:49:16
国务院关于出境入境管理的规定(全文)

国务院关于出境入境管理的规定(全文)

澎湃新闻
2026-07-31 17:31:07
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
特朗普:不介意黄仁勋重掌英伟达

特朗普:不介意黄仁勋重掌英伟达

界面新闻
2026-11-16 23:00:15
eSIM落地一年后体验好了吗?我们和几位初代用户聊了聊

eSIM落地一年后体验好了吗?我们和几位初代用户聊了聊

雷科技
2026-11-17 13:21:36
DeepSeek开始限制使用,网友涌入官方评论区

DeepSeek开始限制使用,网友涌入官方评论区

政知新媒体
2026-11-16 23:11:43
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
90后河南女孩的“裸女图”:没有情色,只有美

90后河南女孩的“裸女图”:没有情色,只有美

一条
2026-11-02 10:59:16
突发!俄军一架安-12BK空中起火坠毁,17人恐全部遇难

突发!俄军一架安-12BK空中起火坠毁,17人恐全部遇难

老马拉车莫少装
2026-11-18 00:01:20
赵本山分红拿大头被骂多年,赵四直播道出真相:只看到他吃肉,没看见他挨打

赵本山分红拿大头被骂多年,赵四直播道出真相:只看到他吃肉,没看见他挨打

财叔
2026-09-30 16:30:20
【2026.11.16】爆姐的饭后爆料:生命不止,爆料不息!

【2026.11.16】爆姐的饭后爆料:生命不止,爆料不息!

娱乐真爆姐
2026-11-17 00:52:03
《GTA6》地图太大了 新海报实拍展示超多元素

《GTA6》地图太大了 新海报实拍展示超多元素

游民星空
2026-11-15 19:19:31
乔布斯剧本要重演?黄仁勋手握1300亿,华尔街先慌了!

乔布斯剧本要重演?黄仁勋手握1300亿,华尔街先慌了!

可乐爱微笑
2026-11-17 06:52:02
2026-11-18 01:47:00
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
214文章数 79关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
手机
游戏
家居
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

小伙表示连玩7天《GTA6》 这下PS5可惨了

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版