网易首页 > 网易号 > 正文 申请入驻

16家供应商、57个模型,这个Rust网关把断点藏进了路由

0
分享至

“一个端点,任何模型,管道的事交给它。”这是LLM网关对开发者的承诺。Respan Gateway是一款用Rust写的新开源网关,今年10月公开。我把它装在Windows电脑上,指向Gemini,故意弄坏一个供应商,看它是否说到做到。


先说它是什么:一个单一二进制文件,夹在你的代码和AI接口之间。你继续用手里已有的SDK(OpenAI、Anthropic或Gemini),向它请求任意模型,它把请求翻译成该模型供应商能听懂的话。

上手前有几处值得留意:

  • 一切皆插件。供应商、路由、定价、MCP和追踪都建在同一套公开的Rust API上,你可以用它写自己的插件。
  • 内置16家供应商,包括OpenAI、Anthropic、Gemini、xAI、DeepSeek、Mistral、Groq、OpenRouter、Ollama和vLLM,外加任何兼容OpenAI的端点。
  • MIT或Apache-2.0协议,自托管,免费。
  • 自带网页界面,有实时请求日志、试验场和路由调试器。

安装方式有四种:pip install respan-gateway(附带编译好的二进制,覆盖Windows)、cargo install、发布压缩包或Docker。在Linux机器上,pip安装大约花了3秒。

配置可以完全不要:导出一个供应商密钥,运行respan-gateway即可。为了测试,我写了一个小的gateway.toml,把Gemini设为真实供应商,再加一个叫down的供应商,指向本地一个没人监听的端口。任何裸的“gemini-*”模型会先试这个死掉的供应商,再落到Gemini,重试2次,退避200毫秒。

启动前,respan-gateway check会校验配置文件,并打印出它将要提供什么:供应商、端点、路由、鉴权是否开启。这省掉了我反复猜测重启的循环。有个默认值我很喜欢:没有配置客户端密钥时,网关只在回环地址上应答,拒绝在公网地址上启动。你不可能因为忘了某个设置而意外暴露供应商密钥。

“任何SDK、任何模型”是它的招牌功能,我先测了这个。同一个提示词发给gemini/gemini-3.5-flash-lite两次:一次用Anthropic Messages格式,一次用OpenAI Chat格式。两次都正确返回,分别耗时1.03秒和1.52秒。网关把Anthropic格式的请求变成Gemini调用,再把答案翻译回来,连用量都按Anthropic的形状给出。

代码里的全部诀窍就是:保留你的客户端,改base URL,改模型字符串。

路上遇到两件事,都不是网关的错。一是Google在我脚下退役了一个模型,我最初选的gemini-2.5-flash对新用户关闭,网关把Google自己的404消息原样透传,改什么一目了然。二是思考token会吃掉小预算,用完整的Gemini 3.5 Flash加max_tokens=150时,模型花了140个token思考,返回了被截断的答案,网关在用量里如实报告了thinking_tokens: 140。

我最在意的测试是故障转移。我请求裸模型名gemini-3.5-flash-lite,匹配gemini-*路由。网关先试down,失败,重试,然后回落到Gemini。我跑了三次,每次调用都返回200和正确答案,客户端从未看到失败。

有意思的是第三次:在四次失败之后,网关把down放进了冷却,直接跳过它,请求在0.79秒内直达Gemini。前两次调用各花了约5秒,大部分时间大概是Windows在放弃前反复重连那个死掉的本地端口,tries = 2又把它翻了一倍。一个能快速报错的供应商会转移得快得多。

路由页是我最喜欢的调试功能。在“Try a model”里输入模型名,它会显示请求会去哪、为什么,而且不发送任何东西。它显示down的错误率是100%,Gemini是682毫秒。路由还能做更多:挑最便宜、最快、加权或随机,用hedge = "200ms"对冲慢调用,用needs = ["tools"]过滤,匹配glob。配置改动无需重启即可生效。

打开网页界面,你得到的是一个正经的仪表盘。我那次干净运行之后:5个请求,0%错误,进出token数,以及按供应商的统计。请求页是实时日志,带模型、端点、供应商、状态、延迟和token,还有筛选和导出。模型页列出了我的Gemini密钥能触达的全部57个模型,带上下文窗口。

注意价格那一列是空的。只有当供应商的模型列表里带价格,或者你自己声明时,网关才知道价格,而Gemini的列表里没有。开箱即用,我拿到了token但没有美元数字。每个模型加几行配置就能修好。

性能是Respan的主打。这些是他们在README里公布的数字。公平地说两点:这是Respan自己的基准测试,而且LiteLLM是以单worker运行的,增加worker会缩小差距。我没有跑负载测试。我能说的是,网关没有增加任何我能察觉到的开销:我的往返时间由Gemini本身主导。

不喜欢的地方也有。它很年轻,写这篇文章时是v0.3.0,供应商列表、插件生态和社区在一段时间内都会比LiteLLM小。Gemini开箱没有价格。失败的尝试在供应商页上看不见,down在那里显示0个请求,而路由页正确显示它100%错误。自定义插件意味着要写Rust,插件API很干净,但纯Python团队只能靠配置和内置功能。文档有些地方很薄,有用的路由细节藏在仓库的docs/configuration.md和gateway.example.toml里,先读那些。

谁该用它:如果你想要一个延迟和内存都轻的自托管网关,喜欢把路由和故障转移放在一个可读的TOML文件里,想混用SDK和供应商而不重写客户端代码,它最合适。如果你今天就需要最广的集成列表,或者成熟的企业功能集,LiteLLM目前仍是更稳妥的选择。

对我来说,要紧的部分在真实供应商上完全按描述工作:Anthropic格式的请求从Gemini回来了,一个死掉的供应商被绕过然后进了冷却,check和路由页让看清网关在做什么、为什么变得容易。对一个v0.3版本,这超出了我的预期。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
足坛被高估的球星盘点

足坛被高估的球星盘点

失我者永失qq
2026-11-18 23:39:09
15场造20球,35岁格列兹曼当选MLS年度最佳新援

15场造20球,35岁格列兹曼当选MLS年度最佳新援

元气满分吖
2026-11-19 00:17:21
英伟达临时CEO证实:H200正式退出对华销售

英伟达临时CEO证实:H200正式退出对华销售

快科技
2026-11-18 11:37:03
男人为什么都不喜欢“戴套”?多数是这4个原因,女人不妨了解下

男人为什么都不喜欢“戴套”?多数是这4个原因,女人不妨了解下

健康之光
2026-07-15 13:35:57
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
上海一女老板,被十余名歹徒绑架7天,获救时已经精神失常

上海一女老板,被十余名歹徒绑架7天,获救时已经精神失常

罪案洞察者
2025-03-25 13:49:14
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
7天不撤诉每天罚500万欧元,闻泰和安世这场争夺战变味了

7天不撤诉每天罚500万欧元,闻泰和安世这场争夺战变味了

再战五百回合
2026-11-18 00:50:03
恭喜!陆毅女儿成功出道,出道即巅峰,不靠父母托举,开辟新道路

恭喜!陆毅女儿成功出道,出道即巅峰,不靠父母托举,开辟新道路

一娱三分地
2026-11-18 16:18:31
俄乌冲突最新进展:11月18日晚上最新消息

俄乌冲突最新进展:11月18日晚上最新消息

第一校尉
2026-11-18 18:24:41
国民党一人提出统一方案,分10年三阶段完成,国台办回应不简单

国民党一人提出统一方案,分10年三阶段完成,国台办回应不简单

小陆搞笑日常
2026-11-18 17:17:55
路虎卫士松赞朝圣之路联名版上市:限量发售20台,售价79.88万元

路虎卫士松赞朝圣之路联名版上市:限量发售20台,售价79.88万元

IT之家
2026-11-18 16:13:38
克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

世界地缘档案
2026-11-18 10:53:23
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
山姆新店情报:签约12家,10家新开,4家招聘,9家在建

山姆新店情报:签约12家,10家新开,4家招聘,9家在建

新零售财经
2026-11-18 14:11:12
亲子鉴定不会说谎,张柏芝揭露谢霆锋真实人品,孩子生父真相大白

亲子鉴定不会说谎,张柏芝揭露谢霆锋真实人品,孩子生父真相大白

小莜读史
2025-05-07 20:26:33
刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

刘维伟:第一阶段因身体原因耽误了球队,杯赛为我们争取了时间

狼叔评论
2026-11-18 22:48:01
不装了,沪指微涨0.09%,北向、杠杆却狂抛130亿,明天A股谎言将彻底被撕破?

不装了,沪指微涨0.09%,北向、杠杆却狂抛130亿,明天A股谎言将彻底被撕破?

财报翻译官
2026-11-18 19:36:15
黄仁勋首次回应回归:我愿意,但董事会不愿意

黄仁勋首次回应回归:我愿意,但董事会不愿意

锌产业
2026-11-18 09:45:52
2026-11-19 00:32:49
字节漫游指南
字节漫游指南
有态度网友ytd
265文章数 134关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
游戏
时尚
亲子
本地

家居要闻

2026建博会(广州) 公装联探展交流活动

《GTA6》支持多套手柄按键方案!经典X键奔跑还在

穿好“长大衣”,这8个细节很重要!

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版