Portkey日处理2万亿Token后突然开源

2万亿Token是什么概念？相当于每天把维基百科全文读上几百遍。一家叫Portkey的印度创业公司，在扛住这个量级半年后，把核心代码全扔进了GitHub。

这不是慈善。他们的AI网关（AI Gateway）原本收费，现在Apache 2.0协议开源，连企业级功能都不藏。创始人Rohit Agarwal的算盘很直接：「当基础设施变成商品，护城河得往上一层建。」

从「胶水层」到「流量枢纽」

大模型爆发第一年，开发者很快发现一个尴尬现实：OpenAI的API好用，但太贵；开源模型便宜，但部署麻烦；换供应商？代码得重写一遍。

Portkey做的事，相当于给这些模型接口做了「万能转接头」。统一接入、自动路由、故障切换、用量监控——这些脏活累活，被封装成一个中间层。开发者不用再为每个模型写适配代码，配置几行就能切到更便宜的供应商。

这个定位让他们吃到了2023年的红利。当GPT-4和Claude轮番降价，企业客户反而更焦虑：锁死在单一供应商还是到处薅羊毛？Portkey的答案是「我全都要」。

到2024年底，他们每天处理的Token数飙到2万亿。按行业惯例，这个量级足够支撑一家独角兽的估值。但Agarwal选择了另一条路。

开源时机：早一步是烈士，晚一步是路人

网关层开源不是新鲜事。去年LiteLLM、Helicone都走过这条路，但大多停留在「社区版阉割+企业版收费」的模式。Portkey这次开源的是完整功能栈，包括原本只有付费客户能用的多租户管理、细粒度权限控制、成本分摊账单。

「我们算过账，」Agarwal在播客里透露，「网关本身的代码价值在快速折旧。真正值钱的是上面长出来的东西。」

他说的「东西」，是客户在实际使用中沉淀的模型调用模式、成本优化策略、故障处理规则。这些数据飞轮，闭源产品根本攒不起来。开源反而能加速这个进程——更多开发者用，更多场景暴露，算法迭代更快。

这个逻辑和MongoDB、Elastic的路径很像：先靠开源占领心智，再在托管服务上收钱。区别在于，Portkey的「托管」不是简单的服务器代运维，而是把客户的多模型策略做成可复用的行业模板。

2万亿Token背后的技术赌注

支撑这个量级的架构，Portkey一直没详细披露。但从开源代码里能窥见一些设计选择：全异步IO、基于Redis的分布式限流、对SSE（服务器推送事件）流的特殊优化。

一个细节很有意思：他们在网关层做了「语义缓存」。相同或相似的提示词，不用重复调用模型，直接返回缓存结果。这个优化在客服、代码补全场景能省掉30%-50%的Token消耗——省下的钱，客户愿意分一部分给Portkey。

开源后，这个缓存策略的命中率数据会成为公开的竞技场。谁家的算法更能「猜中」用户的重复提问，直接拉出来比。

另一个隐性筹码是供应商关系。Portkey现在对接了200多个模型端点，从OpenAI到各路国产大模型都有。开源网关相当于给这些供应商提供了一个「中立展台」，谁家的性价比更高，客户用数据投票。Portkey坐收流量洞察，反过来又能帮优化差的服务商改进。

印度SaaS的另类样本

Portkey的总部在班加罗尔，团队不到50人。这个规模扛起2万亿Token，靠的是极度克制的功能边界：不做模型训练，不做应用层，死磕「模型调用」这一个环节。

印度SaaS过去十年的主流叙事是「服务欧美企业的廉价外包」，Zoho、Freshworks走的都是这条路。Portkey的选择更激进：基础设施层、全球定价、从第一天就直面硅谷竞品。

他们的融资节奏也反映了信心。2023年种子轮300万美元，2024年A轮直接跳到1100万，由Lightspeed领投。投资人赌的不是网关本身，而是「多模型架构」成为默认选项后的生态位。

这个判断现在看越来越准。连OpenAI都在推「模型路由器」功能，虽然还仅限于自家产品族。真正的战场是跨厂商调度，而这正是Portkey开源后要加速占领的地盘。

开发者的真实反馈

代码放出48小时内，GitHub Star数破了4000。Hacker News上的讨论分成了两派：一派在拆架构设计，另一派在算账——「自托管的成本能不能真的比官方托管低？」

一个获得高赞的评论来自某金融科技公司的架构师：「我们试过三个网关方案，Portkey的延迟分布最稳定。开源后至少能自己调优了，不用等他们的排期。」

也有质疑。有人指出，语义缓存的命中率高度依赖业务场景，通用方案很难做到承诺的30%节省。Agarwal的回应很直接：「开源就是为了暴露这些假设。欢迎拿真实数据来打脸。」

这种姿态在基础设施领域很少见。通常厂商会把「最佳实践」包装成黑箱服务，Portkey选择把调参权交出去，换的是社区对算法迭代的贡献。

接下来几个月的关键指标，不是Star数或者下载量，而是有多少企业愿意把生产环境的调用日志脱敏后回馈给社区。这个数据，Portkey没有公开，但会在下一轮B轮的PPT里占据重要位置。

当网关层彻底免费，大模型 infra 的收费点会往哪迁移？Portkey的赌注是「策略即服务」——不是卖代码，是卖经过验证的模型选型方案。这个模式能不能跑通，可能得等某家 Fortune 500 把核心业务的调度逻辑托管给他们，才算真正验货。