一个AI SaaS从外面看和别的SaaS没什么两样:登录页、仪表盘、账单页。差别全在底下。每一次请求都可能花掉真金白银,延迟以秒计而不是毫秒,你依赖的是自己控制不了的供应商,客户交给你的是敏感数据。下面按这些问题通常咬人的顺序,拆一遍FastAPI加Next.js产品的关键决策。
前后端要故意分开
Next.js干它擅长的事:渲染、路由、SEO和界面。业务逻辑、数据访问以及每一次对语言模型的调用,都留在后端。FastAPI适合这个角色,因为它是异步的,用Pydantic做类型约束,还能免费产出一份API的OpenAPI描述。这份描述就是契约:前端、文档和测试都可以据此生成或校验。
最省事的一条规则:浏览器永远不直接和模型供应商通信,也永远不持有供应商密钥。所有模型流量都走后端。
认证要扛得住生产环境
早期这里的大部分错误都来自图方便。存短时效的访问令牌,把长时效的刷新令牌放进HttpOnly Cookie,让页面上的脚本读不到它。刷新令牌每次使用都轮换,已经用过的令牌一律拒绝,因为被重放的令牌就是失窃的信号。密码用慢算法哈希,验证邮箱地址,每一条管理路由背后都校验角色,而不是只在界面上把按钮藏起来。
还要早点决定会话归前端框架管还是后端管。两边分摊责任是隐蔽bug的常见来源,比如用户在一侧是登录状态,在另一侧却是登出状态。
有客户之前就定好租户模型
常见形态有三种:单用户各自持有数据、少数人共享的工作区、带角色邀请和账单的组织。给一个按单用户假设设计的产品补租户,意味着动每一张表和每一条查询,所以先选你预期需要的形态。
共享数据库时,给每条租户所属记录加上租户标识,并在一层统一的数据访问层里强制执行,而不是指望每个端点自己记得。然后从攻击者视角测一遍:以租户A成员身份登录,尝试猜标识符去读租户B的记录,每条路由都应该给出拒绝。
在代码和供应商之间放一层LLM网关
网关是一小层内部服务,对聊天和向量化调用提供统一接口,背后是各家供应商。AI特有的那些麻烦都住在这里:
- 凭证。供应商密钥加密存储,按所属租户划定范围,绝不返回给浏览器。
- 模型选择。按套餐维护模型白名单,客户不能靠改请求挑一个贵的。
- 韧性。设置超时、带退避的重试和备用供应商,把各家错误翻译成你自己的一小组错误类型。
- 记账。每次调用记录模型、输入token和输出token,用供应商返回的用量数字,而不是按文本长度估算。
- 限额。在这里执行按租户的速率限制和月度配额,任何功能都绕不过去。
没有网关,这些关注点会被复制进每一个功能,第一次换供应商就变成一次重构。
慢活挪到后台任务
一个等二十秒处理文档的Web请求,会在代理后面超时,还占着一个worker。超过几秒的事,比如文档摄取、批量运行、报告生成,都该进队列交给独立的worker。任务要做成幂等的,重试不会把活干两遍;存一个前端能轮询的状态;提前定好任务中途失败怎么办:重试、带原因标记失败,还是通知人。
用量和账单分开记两本账
用量事件记录发生了什么:谁、何时、哪个模型、多少token。账单记录你收了多少钱。事后从一本推导另一本,比从发票反推用量容易得多。支付方发来webhook时,验签、每个事件只处理一次、只在服务端授予权益。浏览器发来的任何关于客户付了什么的值,都不要信。
可观测性和成本控制
给每个请求一个标识符,让它贯穿日志、队列和供应商调用。看延迟分位数而不是平均值,因为用户感知到的是慢的尾部。给供应商支出设预算告警,只在同样的输入保证该得到同样答案的地方做缓存。
部署与密钥
前后端都打成容器,数据库迁移作为显式步骤执行而不是在启动时跑,密钥放在平台的密钥存储里而不是仓库里,在真正需要之前先演练一次从备份恢复。
这些零件没有一个是稀奇的,但凑齐做对要花几个月。想从现成代码库起步的话,用同一组问题去问任何starter:刷新令牌怎么处理,租户隔离怎么强制,供应商密钥放在哪,什么在后台跑,以及哪些没包含在内。BoilerShelf的AI SaaS Core是这样一个起点,SaaS boilerplates分类里列了其他选项。选哪个都行,跑起来自己核对它的答案。
一句话概括:请求从Next.js前端进入,带着短时效访问令牌到达FastAPI后端,校验调用者的角色和租户,再经过内部LLM网关,由它选供应商、施加配额、记录token用量。慢的部分进队列交给worker,结果通过状态端点或事件回报。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.