用户点了停止按钮,浏览器这边的连接确实断了,但模型那边的请求可能还在跑。这不是前端没写好,是整条链路上有三处地方需要各自收尾。用 FastAPI 加 SSE 给 Next.js 做 LLM 流式输出,最短路径是:POST 请求带 prompt,服务端返回text/event-stream,浏览器用 fetch 读流,停止按钮接AbortController。服务端还得负责关掉上游供应商的流。
动手之前先上一个确定性的 mock,把三块拼图都跑通,再接真模型。这样出问题时你能分清是协议、是代理、还是供应商。
为什么是 SSE,不是 WebSocket
聊天回答是单向的,从服务端流向浏览器。SSE 就是普通 HTTP,服务端不需要维护连接状态,通常也能穿过负载均衡。WebSocket 多出来的那套复杂度,只有在浏览器需要在响应过程中反向推数据时才划算,比如实时音频。
FastAPI0.135.0在fastapi.sse里加了EventSourceResponse和ServerSentEvent,下面的例子用的就是它们。版本更老的话,改用StreamingResponse配text/event-stream媒体类型,事件分帧和 keepalive 消息得自己写。
服务端:每个事件一个 delta
把 mock 存成app.py,用uvicorn app:app --reload跑起来,FastAPI 版本不低于 0.135.0。每个事件装一个文本增量,一个 delta 可能是半个词、几个字符,或者一个换行。
- 输入校验和访问控制放在流开始之前做。
- 响应一旦开始,生成失败只能用 error 事件上报。
- tokendoneerror定义为具名事件,生成成功后发 done。
- 客户端断开产生的取消,要让它继续向上传播。
示例里用aclosing包住异步生成器,循环退出时上游流随之关闭;捕获到asyncio.CancelledError直接重新抛出,其他异常记日志后发一个 error 事件再 return。
前端:解析器替你处理跨包记录
装eventsource-parser,让/api/chat/stream通过同源代理接到 FastAPI 的/chat/stream,代理要透传上游响应。路径按你的部署对齐。每次生成新建一个AbortController,把它的 signal 挂到 fetch 上。
拿到响应后先验三件事:response.ok、response.body存在、content-type 去掉分号后缀后等于text/event-stream,任何一项不满足就抛错。然后把 body 依次穿过TextDecoderStream和EventSourceParserStream,拿 reader 循环读。
循环里按事件名分流:done 直接返回,error 抛生成失败,token 则解析 data 里的 token 字段,类型不是字符串就报无效事件。流在 done 之前结束,抛"提前结束"。finally 里 cancel reader 并释放锁。
一条 SSE 记录可能横跨多个网络分片,解析器会处理回车符、重复的 data 字段和心跳注释。连接在 done 之前断掉,界面上要显示中断状态。用户主动停止时,已经收到的文本保留。
把活跃的 AbortController 存在 ref 里,停止按钮和组件清理都调abort()。UI 更新用当前 run ID 做守卫,避免旧流写进新消息。
停止按钮的另一半:关掉上游
把 mock 换成供应商 SDK 文档里的异步上下文管理器或 close 方法。上游流的归属权留在生成任务内部,任务退出时关闭它。如果生成由独立 worker 持有,取消要路由到那个 worker。记录 run ID,把消息状态区分成已完成、已停止、已失败。
三种场景都要验证关闭是否真的发生:点停止、浏览器断开、模型安静时点停止。关闭流并不能说明供应商是立刻停了工作,还是照常计费,这一点得去看供应商的用量记录。
代理缓冲是另一个隐形坑
FastAPI 原生响应会发空闲 keepalive,并设置X-Accel-Buffering: no。每一跳代理都要检查缓冲、压缩、空闲读超时和请求时长上限。Nginx 里proxy_read_timeout量的是两次读之间的静默时间,心跳能帮忙扛过空闲超时;硬性最大时长则要在托管层改。
用curl -N打公开路由,把首个事件的时间跟直连 FastAPI 对比,差异往往就出在某一跳。
还有一个常见误解:内置的EventSource只能发 GET,也设不了请求头,所以带 prompt 的 POST 场景用不了它,只能 fetch 读response.body。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.