网易首页 > 网易号 > 正文 申请入驻

点了停止,模型为什么还在跑?SSE流式输出三个坑

0
分享至

用户点了停止按钮,浏览器这边的连接确实断了,但模型那边的请求可能还在跑。这不是前端没写好,是整条链路上有三处地方需要各自收尾。用 FastAPI 加 SSE 给 Next.js 做 LLM 流式输出,最短路径是:POST 请求带 prompt,服务端返回text/event-stream,浏览器用 fetch 读流,停止按钮接AbortController。服务端还得负责关掉上游供应商的流。

动手之前先上一个确定性的 mock,把三块拼图都跑通,再接真模型。这样出问题时你能分清是协议、是代理、还是供应商。

为什么是 SSE,不是 WebSocket

聊天回答是单向的,从服务端流向浏览器。SSE 就是普通 HTTP,服务端不需要维护连接状态,通常也能穿过负载均衡。WebSocket 多出来的那套复杂度,只有在浏览器需要在响应过程中反向推数据时才划算,比如实时音频。

FastAPI0.135.0在fastapi.sse里加了EventSourceResponse和ServerSentEvent,下面的例子用的就是它们。版本更老的话,改用StreamingResponse配text/event-stream媒体类型,事件分帧和 keepalive 消息得自己写。

服务端:每个事件一个 delta

把 mock 存成app.py,用uvicorn app:app --reload跑起来,FastAPI 版本不低于 0.135.0。每个事件装一个文本增量,一个 delta 可能是半个词、几个字符,或者一个换行。

  • 输入校验和访问控制放在流开始之前做。
  • 响应一旦开始,生成失败只能用 error 事件上报。
  • tokendoneerror定义为具名事件,生成成功后发 done。
  • 客户端断开产生的取消,要让它继续向上传播。

示例里用aclosing包住异步生成器,循环退出时上游流随之关闭;捕获到asyncio.CancelledError直接重新抛出,其他异常记日志后发一个 error 事件再 return。

前端:解析器替你处理跨包记录

装eventsource-parser,让/api/chat/stream通过同源代理接到 FastAPI 的/chat/stream,代理要透传上游响应。路径按你的部署对齐。每次生成新建一个AbortController,把它的 signal 挂到 fetch 上。

拿到响应后先验三件事:response.ok、response.body存在、content-type 去掉分号后缀后等于text/event-stream,任何一项不满足就抛错。然后把 body 依次穿过TextDecoderStream和EventSourceParserStream,拿 reader 循环读。

循环里按事件名分流:done 直接返回,error 抛生成失败,token 则解析 data 里的 token 字段,类型不是字符串就报无效事件。流在 done 之前结束,抛"提前结束"。finally 里 cancel reader 并释放锁。

一条 SSE 记录可能横跨多个网络分片,解析器会处理回车符、重复的 data 字段和心跳注释。连接在 done 之前断掉,界面上要显示中断状态。用户主动停止时,已经收到的文本保留。

把活跃的 AbortController 存在 ref 里,停止按钮和组件清理都调abort()。UI 更新用当前 run ID 做守卫,避免旧流写进新消息。

停止按钮的另一半:关掉上游

把 mock 换成供应商 SDK 文档里的异步上下文管理器或 close 方法。上游流的归属权留在生成任务内部,任务退出时关闭它。如果生成由独立 worker 持有,取消要路由到那个 worker。记录 run ID,把消息状态区分成已完成、已停止、已失败。

三种场景都要验证关闭是否真的发生:点停止、浏览器断开、模型安静时点停止。关闭流并不能说明供应商是立刻停了工作,还是照常计费,这一点得去看供应商的用量记录。

代理缓冲是另一个隐形坑

FastAPI 原生响应会发空闲 keepalive,并设置X-Accel-Buffering: no。每一跳代理都要检查缓冲、压缩、空闲读超时和请求时长上限。Nginx 里proxy_read_timeout量的是两次读之间的静默时间,心跳能帮忙扛过空闲超时;硬性最大时长则要在托管层改。

用curl -N打公开路由,把首个事件的时间跟直连 FastAPI 对比,差异往往就出在某一跳。

还有一个常见误解:内置的EventSource只能发 GET,也设不了请求头,所以带 prompt 的 POST 场景用不了它,只能 fetch 读response.body。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

政知新媒体
2026-11-20 15:26:05
1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

我的护球最独特
2026-11-21 03:30:16
特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

砚底沉香
2026-11-20 09:44:10
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
中国最公平的一件事,是亏钱

中国最公平的一件事,是亏钱

小星球探索
2026-11-20 14:50:05
退役飞机发动机,被马斯克“返聘”了

退役飞机发动机,被马斯克“返聘”了

凤凰网财经
2026-11-20 01:38:23
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

穿透
2026-11-20 18:44:35
2026-11-21 04:24:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
213文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
旅游
亲子
健康
军事航空

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

旅游要闻

登大报恩塔找毕业设计灵感  “去看塔”青年共创营里长出文创新点子!

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版