网易首页 > 网易号 > 正文 申请入驻

为什么你的AI产品一换模型就要重构?缺了这层网关

0
分享至

一个AI SaaS从外面看和别的SaaS没什么两样:登录页、仪表盘、账单页。差别全在底下。每一次请求都可能花掉真金白银,延迟以秒计而不是毫秒,你依赖的是自己控制不了的供应商,客户交给你的是敏感数据。下面按这些问题通常咬人的顺序,拆一遍FastAPI加Next.js产品的关键决策。

前后端要故意分开

Next.js干它擅长的事:渲染、路由、SEO和界面。业务逻辑、数据访问以及每一次对语言模型的调用,都留在后端。FastAPI适合这个角色,因为它是异步的,用Pydantic做类型约束,还能免费产出一份API的OpenAPI描述。这份描述就是契约:前端、文档和测试都可以据此生成或校验。

最省事的一条规则:浏览器永远不直接和模型供应商通信,也永远不持有供应商密钥。所有模型流量都走后端。

认证要扛得住生产环境

早期这里的大部分错误都来自图方便。存短时效的访问令牌,把长时效的刷新令牌放进HttpOnly Cookie,让页面上的脚本读不到它。刷新令牌每次使用都轮换,已经用过的令牌一律拒绝,因为被重放的令牌就是失窃的信号。密码用慢算法哈希,验证邮箱地址,每一条管理路由背后都校验角色,而不是只在界面上把按钮藏起来。

还要早点决定会话归前端框架管还是后端管。两边分摊责任是隐蔽bug的常见来源,比如用户在一侧是登录状态,在另一侧却是登出状态。

有客户之前就定好租户模型

常见形态有三种:单用户各自持有数据、少数人共享的工作区、带角色邀请和账单的组织。给一个按单用户假设设计的产品补租户,意味着动每一张表和每一条查询,所以先选你预期需要的形态。

共享数据库时,给每条租户所属记录加上租户标识,并在一层统一的数据访问层里强制执行,而不是指望每个端点自己记得。然后从攻击者视角测一遍:以租户A成员身份登录,尝试猜标识符去读租户B的记录,每条路由都应该给出拒绝。

在代码和供应商之间放一层LLM网关

网关是一小层内部服务,对聊天和向量化调用提供统一接口,背后是各家供应商。AI特有的那些麻烦都住在这里:

  • 凭证。供应商密钥加密存储,按所属租户划定范围,绝不返回给浏览器。
  • 模型选择。按套餐维护模型白名单,客户不能靠改请求挑一个贵的。
  • 韧性。设置超时、带退避的重试和备用供应商,把各家错误翻译成你自己的一小组错误类型。
  • 记账。每次调用记录模型、输入token和输出token,用供应商返回的用量数字,而不是按文本长度估算。
  • 限额。在这里执行按租户的速率限制和月度配额,任何功能都绕不过去。

没有网关,这些关注点会被复制进每一个功能,第一次换供应商就变成一次重构。

慢活挪到后台任务

一个等二十秒处理文档的Web请求,会在代理后面超时,还占着一个worker。超过几秒的事,比如文档摄取、批量运行、报告生成,都该进队列交给独立的worker。任务要做成幂等的,重试不会把活干两遍;存一个前端能轮询的状态;提前定好任务中途失败怎么办:重试、带原因标记失败,还是通知人。

用量和账单分开记两本账

用量事件记录发生了什么:谁、何时、哪个模型、多少token。账单记录你收了多少钱。事后从一本推导另一本,比从发票反推用量容易得多。支付方发来webhook时,验签、每个事件只处理一次、只在服务端授予权益。浏览器发来的任何关于客户付了什么的值,都不要信。

可观测性和成本控制

给每个请求一个标识符,让它贯穿日志、队列和供应商调用。看延迟分位数而不是平均值,因为用户感知到的是慢的尾部。给供应商支出设预算告警,只在同样的输入保证该得到同样答案的地方做缓存。

部署与密钥

前后端都打成容器,数据库迁移作为显式步骤执行而不是在启动时跑,密钥放在平台的密钥存储里而不是仓库里,在真正需要之前先演练一次从备份恢复。

这些零件没有一个是稀奇的,但凑齐做对要花几个月。想从现成代码库起步的话,用同一组问题去问任何starter:刷新令牌怎么处理,租户隔离怎么强制,供应商密钥放在哪,什么在后台跑,以及哪些没包含在内。BoilerShelf的AI SaaS Core是这样一个起点,SaaS boilerplates分类里列了其他选项。选哪个都行,跑起来自己核对它的答案。

一句话概括:请求从Next.js前端进入,带着短时效访问令牌到达FastAPI后端,校验调用者的角色和租户,再经过内部LLM网关,由它选供应商、施加配额、记录token用量。慢的部分进队列交给worker,结果通过状态端点或事件回报。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

魏家东
2026-11-16 13:28:59
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

不装了——狂砸1000亿,A股下跌的原因竟是它,真相让人心寒

财报翻译官
2026-11-16 15:47:30
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

起点财经
2026-11-16 11:37:48
生父姓泽连斯基!俄媒曝普京小女儿再添一子,近11个月才登记

生父姓泽连斯基!俄媒曝普京小女儿再添一子,近11个月才登记

麓谷隐士
2026-11-16 00:05:08
“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

“国乒全军覆没34岁方博夺冠”登热搜,方博:我不是人中龙凤,但我绝非等闲之辈;曾说打败“獒龙蟒胖”才能打世界杯

新民周刊
2026-11-16 14:43:50
普京胃口越来越大,俄乌仗还没打完,又盯上亚洲一块“聚宝盆”

普京胃口越来越大,俄乌仗还没打完,又盯上亚洲一块“聚宝盆”

健身狂人
2026-11-16 16:31:25
高市早苗参会行程来了!四天跑两国,深圳只是参会,会开完就走

高市早苗参会行程来了!四天跑两国,深圳只是参会,会开完就走

123斯蒂芬
2026-11-16 07:07:34
阿里达摩院很可惜,当年砸1000亿,但如今13个科学家走了9个,很多项目已收缩

阿里达摩院很可惜,当年砸1000亿,但如今13个科学家走了9个,很多项目已收缩

互联网.乱侃秀
2026-11-16 13:19:29
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

大厂财经社
2026-11-16 11:14:16
伊隆·马斯克:香港生率长期位居全球最低之一,未来或将消失

伊隆·马斯克:香港生率长期位居全球最低之一,未来或将消失

风向观察
2026-11-16 16:26:29
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
特朗普:我即将访问中国,期待参加中俄美元首会晤

特朗普:我即将访问中国,期待参加中俄美元首会晤

极目新闻
2026-11-16 15:10:23
江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

黄河新闻网吕梁
2026-11-16 15:00:42
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
2026-11-16 18:39:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
189文章数 88关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
家居
教育
旅游
健康

亲子要闻

宝宝气人但是聪明的4个行为

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

情绪真能让健康人"伤心至死"?

无障碍浏览 进入关怀版