网易首页 > 网易号 > 正文 申请入驻

Portkey日处理2万亿Token后突然开源,这波操作真敢

0
分享至


2万亿Token是什么概念?相当于每天把维基百科全文翻译300遍,或者让GPT-4连续写4000万篇长篇小说。做这事的Portkey,把自己最核心的AI网关(AI Gateway)开源了。

这家成立刚两年的印度公司,客户名单里躺着Adobe、红杉资本、Postman。现在他们把吃饭的家伙免费往外扔,GitHub星标(Star)24小时内破了3000。不是做慈善,是算过账的——当护城河变成基础设施,赚钱的路子反而多了。

从"卖铲子"到"送铲子",中间隔着2万亿次请求

Portkey的AI网关本质上是个智能路由器。企业调用大模型时,它负责选哪家API、怎么省钱、出错了怎么兜底。比如你的应用同时接了OpenAI、Anthropic和自研模型,Portkey能根据延迟、成本、准确率自动切换,像导航软件实时选最优路线。

这个生意原本很稳。按调用量抽成,客户越依赖AI,Portkey赚得越多。但创始人Ayush Garg和Rohit Agarwal发现,客户开始怕了——怕 vendor lock-in(供应商锁定),怕核心数据流经黑箱系统,怕哪天Portkey涨价或倒闭。

「我们处理2万亿Token后意识到,客户要的不是一个更好的中间商,是一个他们能完全掌控的基础设施。」Ayush Garg在公告里写道。开源不是放弃收费,是把"信任"本身变成产品。

开源版包含全部核心功能:统一API接口、自动重试、负载均衡、成本追踪、可观测性仪表盘。企业版则加了SSO单点登录、审计日志、SLA保障——这些才是大客户真正愿意付钱的。

开源AI基础设施的"截胡"时刻


Portkey选的时间点很刁。2024年下半年,AI网关赛道突然拥挤:Cloudflare推出AI Gateway,NGINX加了AI负载均衡,甚至Vercel都内置了类似功能。差异化空间被巨头挤压,闭源产品的定价权在流失。

但开源能逆转这个局面。Portkey的GitHub仓库里,代码贡献者来自Stripe、Shopify、Notion的工程师——这些潜在客户的员工,正在免费帮Portkey打磨产品。社区反馈的速度,远快于任何内部迭代。

更隐蔽的收益是标准制定权。当足够多的开发者用Portkey的协议接入大模型,它就变成了事实上的行业标准。后来者想兼容,得先适配Portkey的接口设计。这和Kubernetes、React的开源逻辑如出一辙:先铺基础设施,再在服务层收钱。

Portkey的融资记录也支持这个判断。2023年种子轮300万美元,2024年A轮700万美元,投资方包括Lightspeed和Peak XV(原红杉印度)。投资人看的不是当前收入,是"成为AI时代NGINX"的可能性。

2万亿Token教会的三件事

处理海量请求后,Portkey团队沉淀了几个反直觉的认知。

第一,企业客户对"智能路由"的敏感度,远低于对"可观测性"的需求。他们更想知道钱花在哪儿、哪个模型在偷懒、为什么某次调用贵了10倍。开源版本把成本追踪做得极细,甚至能拆分到单次请求的费用构成。

第二,多模型策略从"尝鲜"变成"刚需"。早期客户只接OpenAI,现在平均接入3.7个模型提供商。自研模型、开源模型、商业API混着用,网关的复杂度指数级上升——这正是Portkey的护城河。


第三,延迟的瓶颈不在模型本身,在"首字节时间"(Time to First Byte, TTFB)。用户发送请求到收到第一个字符的间隔,往往被网络路由吃掉大半。Portkey在全球部署了边缘节点,把TTFB压到50毫秒以内,比直接调用原始API快3倍。

这些经验被编码进开源版本,成为社区贡献的基准线。换句话说,Portkey把"我们知道什么"变成了"所有人都能验证什么"。

开源之后,钱从哪来?

Portkey的商业模式很清晰:开源版占领心智,托管版赚取便利。自己部署需要工程师、服务器、运维精力;用Portkey的云服务,按调用量付费,起步价每月500美元。

这个定价锚定的是"替代成本"——雇一个专职工程师维护网关,年薪至少15万美元。Portkey的托管服务只要几分之一,还附赠7×24小时支持。

更深层的收入来自"数据飞轮"。当客户通过Portkey调用模型,平台积累了海量性能数据:哪家API在特定时段更稳定、哪种模型对某类任务性价比最高。这些数据被抽象成"推荐引擎",向企业版客户收费。

竞争对手Cloudflare的AI Gateway目前免费,但功能深度不足;NGINX的企业版定价模糊,社区活跃度远不及Portkey。窗口期可能只有12-18个月,Portkey选择用开源速度换规模。

GitHub仓库的Issue区已经热闹起来。一位Shopify工程师提交了"支持Bedrock跨区域故障转移"的PR,被合并后他留言:「终于不用自己维护那坨Python脚本了。」另一位独立开发者则吐槽文档的Rust示例太少,Portkey CTO Rohit Agarwal亲自回复:「下周补,或者你现在来贡献?」

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
胜吉林发布会!卢伟点赞全队,目标成为联盟畏惧球队,谈3将伤情

胜吉林发布会!卢伟点赞全队,目标成为联盟畏惧球队,谈3将伤情

篮球资讯达人
2026-04-06 01:35:44
废品站惊现歼六!店主回应:是真家伙,朋友寄存,可以卖!

废品站惊现歼六!店主回应:是真家伙,朋友寄存,可以卖!

起喜电影
2026-04-06 08:37:35
中方回应法籍毒贩陈森被执行死刑:对不同国籍被告人一视同仁,打击毒品犯罪是各国共同责任

中方回应法籍毒贩陈森被执行死刑:对不同国籍被告人一视同仁,打击毒品犯罪是各国共同责任

扬子晚报
2026-04-05 17:53:09
陈光标捐1000万给嫣然医院,被张雪和李亚鹏架在火上烤,不得不捐

陈光标捐1000万给嫣然医院,被张雪和李亚鹏架在火上烤,不得不捐

江山挥笔
2026-04-05 19:36:44
越打越被动,15国齐声痛斥后,以传来一坏消息,内部实情已被曝光

越打越被动,15国齐声痛斥后,以传来一坏消息,内部实情已被曝光

黑鹰观军事
2026-04-03 14:12:59
岳飞诞辰923周年纪念大会在蓉举行

岳飞诞辰923周年纪念大会在蓉举行

爱看头条
2026-04-04 19:12:02
队长价值无人可替!劳塔罗回归国米找回自己,5-2大胜罗马

队长价值无人可替!劳塔罗回归国米找回自己,5-2大胜罗马

里芃芃体育
2026-04-06 09:50:10
“当心砸了你儿子的饭碗”,无知母亲晒公务员儿子做农活,被群嘲

“当心砸了你儿子的饭碗”,无知母亲晒公务员儿子做农活,被群嘲

妍妍教育日记
2026-02-24 18:13:37
伊朗打不到美国本土,只能打打美国海外基地,隔靴搔痒而已

伊朗打不到美国本土,只能打打美国海外基地,隔靴搔痒而已

廖保平
2026-04-06 09:10:41
赵樱子曝顶帅男演员被富婆大闹片场

赵樱子曝顶帅男演员被富婆大闹片场

梦醉为红颜一笑
2026-04-03 13:19:34
中美飞船奔月时间对比:猎户座仅需10天,嫦娥六号却要53天

中美飞船奔月时间对比:猎户座仅需10天,嫦娥六号却要53天

今夜繁星坠落
2026-04-05 17:36:39
李讷与王景清正在吃晚饭,地方坐着紧巴巴的,还多舀了三碗出来

李讷与王景清正在吃晚饭,地方坐着紧巴巴的,还多舀了三碗出来

大江
2026-03-16 09:39:28
“中产阶级”及格线诞生!全国只有3320万户,你达标了吗?

“中产阶级”及格线诞生!全国只有3320万户,你达标了吗?

李云飞Afey
2026-01-01 12:52:31
随着穆帅前东家1-0,安塔利亚体育3-0,土超最新积分榜出炉

随着穆帅前东家1-0,安塔利亚体育3-0,土超最新积分榜出炉

侧身凌空斩
2026-04-06 05:06:16
连夜拆车、高管破防!跑完中国后,这帮欧美大佬连夜慌了……

连夜拆车、高管破防!跑完中国后,这帮欧美大佬连夜慌了……

沙雕小琳琳
2026-04-05 07:50:00
面对油价上涨,泰国总理,换了一辆中国电动车上班

面对油价上涨,泰国总理,换了一辆中国电动车上班

大象新闻
2026-04-05 15:45:07
毛主席晚年为何要“批孔”?起初大家都不理解,如今终于明白!

毛主席晚年为何要“批孔”?起初大家都不理解,如今终于明白!

老谢谈史
2026-03-30 12:59:58
西班牙彻底掀桌子 宁弃2026世界杯也要抵制以色列参赛

西班牙彻底掀桌子 宁弃2026世界杯也要抵制以色列参赛

林子说事
2026-04-05 17:04:22
“擦边”冠军吴柳芳突然炸上热搜,爆出大瓜!

“擦边”冠军吴柳芳突然炸上热搜,爆出大瓜!

营销头版
2026-04-03 16:04:56
广东一男子用无人机吊运几百斤的猪羊上山祭祖,引发网友热议!当事人:家里老人多,路不好走且抬不动

广东一男子用无人机吊运几百斤的猪羊上山祭祖,引发网友热议!当事人:家里老人多,路不好走且抬不动

环球网资讯
2026-04-05 14:18:20
2026-04-06 10:07:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
851文章数 29关注度
往期回顾 全部

科技要闻

前同事被蒸馏成Token,AI能否偷走职场经验

头条要闻

伊朗称挫败美军营救行动:美军为遮羞轰炸被击落军机

头条要闻

伊朗称挫败美军营救行动:美军为遮羞轰炸被击落军机

体育要闻

CBA最老球员,身价7500万美元

娱乐要闻

王灿兮否认婆媳不和 晒与杜淳妈合影

财经要闻

118吨!这家央行,大幅抛售黄金!

汽车要闻

家用SUV没驾驶乐趣?极氪8X第一个不同意

态度原创

家居
艺术
本地
数码
公开课

家居要闻

温馨多元 爱的具象化

艺术要闻

江青年轻时罕见照片曝光,书信竟是写给华国锋!

本地新闻

跟着歌声游安徽,听古村回响

数码要闻

未来人类X98W移动“工作站”笔记本电脑上线官网,4月内发售

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版