网易首页 > 网易号 > 正文 申请入驻

队列一满就缩容:LLM自动扩缩容踩了自己的坑

0
分享至

队列里堆着6个请求,扩缩容器却把副本从3个砍回2个。这不是配置写错,是它把"扩容成功"看成了"负载消失"。


一位开发者把自建LLM平台OzAI的扩缩容链路搬进本地Kubernetes集群,用kind跑起来,压测了三轮。第二轮,他在自己的设计里逮到一个bug;第三轮把它修掉。整套实验没碰GPU,因为真正会在生产里出问题的,是扩缩容逻辑本身。

为什么不用CPU和GPU利用率做信号

他的判断很直接:对LLM推理服务来说,CPU和GPU利用率都是糟糕的扩缩容信号。一块跑着vLLM的GPU,服务2个用户和服务20个用户,利用率都显示很高。用户真正感受到的是等待。所以要按服务端队列里排队的请求数来扩缩容。

本地实验里,每个Pod分到2个CPU、2个并行槽位,副本数最少1个、最多3个。压测采用阶梯负载:1个用户跑60秒,8个用户跑240秒,再回到1个用户跑180秒。每2秒采样一次副本数和队列长度。

第一轮:不扩缩容的基线

1个用户时,首字延迟(TTFT)0.05秒,生成速度22个token每秒。8个用户压上来,2个请求被处理,6个在排队,首字延迟中位数飙到35秒。没有一个请求失败,全都只是慢。平台一边返回200 OK,一边让用户等半分钟才看到第一个字。

第二轮:按等待请求数扩缩容,然后它缩容了

队列涨到6个等待请求,扩缩容器在负载开始约17秒后要了第2个副本,约32秒后要了第3个。首字延迟中位数从35秒降到12秒,完成请求数从48涨到83。

但副本时间线出了问题:

  • t=77秒,期望2个、就绪1个、等待6个——8个用户在t=60秒到达
  • t=92秒,期望3个、就绪2个
  • t=197秒,期望2个、就绪2个、等待4个——8个用户还在,它缩容了
  • t=241秒,期望3个、就绪2个、等待6个——又加回来
  • t=362秒,期望2个——负载结束

扩缩容器在全速负载中途撤掉一个副本,用2个副本跑了约44秒,然后把副本加回来。

它为什么缩容:指标在测量自己的修复

扩缩容器的目标副本数大致等于指标值除以阈值再向上取整。代入数字:1个Pod、8个用户时,2个在处理、6个在等待,6除以2等于3,扩容,正确。3个Pod、8个用户时,6个在处理、2个在等待,2除以2等于1,缩容。

加副本会把请求从等待挪进处理,等待数自然下降。对一个只统计等待请求的指标来说,修复和负载消失长得一模一样。60秒的稳定窗口一过,扩缩容器就撤掉一个Pod,队列重新变长,Pod又被加回来。

生产环境的图表里藏着同一个缺陷,只是10分钟的缩容窗口把它盖住了——下跌得持续10分钟才会触发动作。缺陷还在,而在GPU节点上,每一次来回都可能意味着再启动一个节点。

修法:按在途请求数扩缩容

扩缩容器要回答的问题是"这么多请求需要几个副本",而不是"有没有人在等"。指标应该改成系统里的全部请求,处理中加等待中,阈值设成一个Pod的容量。

换成在途指标后,8个用户就是8个在途请求,8除以2等于4,被上限截到3。扩容不会改变这个数字,所以它不会自己撤销自己。第三轮压测里,第2个副本约11秒到位、第3个约25秒到位,整个负载期间稳定在3个副本,负载结束约100秒后回到1个。

扩缩容没解决的事

三轮压测里,首字延迟的p95都停在约36秒,扩不扩容都一样。两个原因,换成vLLM同样成立。

一是已排队的请求不会搬到新Pod。8个用户到达时,Service已经把8个请求全发给那一个Pod:2个在跑,6个在进程里排队。新Pod只接新请求,那6个照旧在老Pod上等,像扩缩容没发生过。生产环境里新副本启动要几分钟而不是2秒,高峰开头那批请求等得更久。扩缩容保护的是下一批请求,不是当前这批。

二是最大副本数就是容量上限,它会直接体现在延迟上。8个用户需要4个各带2槽位的Pod,上限是3,于是永远有2个请求在等,这就是扩容之后p95仍停在24秒的原因。

一个没预料到的结果

1个用户时,Pod每秒产出23.5个token。2个槽位同时忙起来,总共25.4个token每秒,每个用户拿到11个而不是22个。在这套CPU环境里,第二个槽位基本只是把同一份速度分给两个人。

GPU上的vLLM不是这样:解码阶段GPU大部分时间在读模型权重,把更多请求塞进同一次权重读取几乎免费。这正是GPU上要用vLLM的理由,也意味着笔记本上的吞吐数字不能外推成GPU估算,所以他没有做这个换算。扩缩容逻辑可以搬到EKS,吞吐数字不行。

本地实验看不到的部分

冷启动:本地新副本2秒就绪。生产环境要启动GPU实例、节点加入、拉取数GB的vLLM镜像、从S3流式加载16GB的Qwen3 8B权重、GPU预热,是分钟级而不是秒级。他没测,所以不给数字。

缩容到零:0个副本时vLLM不导出任何指标,队列触发器永远不会触发。

还有他自己图表里一个不起作用的设置:扩缩容组件在应用时警告,冷却周期只在最小副本数为0或设置了空闲副本数时才有意义。他的图表设了900秒冷却、最小副本1个,这个设置被忽略,缩容速度实际由HPA的行为配置决定。这个警告只有把清单应用到真实集群才会出现,terraform validate永远看不到。

成本是一道公式,不是一次基准测试

一块NVIDIA L4实例(g6.xlarge,1块GPU,24GB)在us-east-1按需价是每小时0.8048美元。每百万输出token的成本等于小时价除以(每秒token数乘3600)再乘100万。关键词是平均值:GPU大部分时间闲着,峰值吞吐没有意义。最小副本设为1,一块L4全天候跑按需价约每月588美元,哪怕没人发请求。

对小团队来说,真正的成本问题通常不是"vLLM有多快",而是"GPU一天忙几个小时"。这也是缩容到零和竞价实例比最后10%的每秒token数更重要的原因。

四条结论:按每个副本的在途请求数扩缩容,别只看等待数;扩缩容救不了已经排队的请求;最大副本数是一个延迟决策;扩缩容逻辑在本地测,一个下午、零成本,就能在一个已经通过terraform validate和CI的设计里找出两个问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中美俄调动10万兵力需要多久?俄罗斯3天,美国1天,中国呢?

中美俄调动10万兵力需要多久?俄罗斯3天,美国1天,中国呢?

铭记历史呀
2026-11-15 01:40:29
不到20岁!大连英博杨铭锐10天拿2个冠军 北京国安邓捷夫在名帅指导下 打出来

不到20岁!大连英博杨铭锐10天拿2个冠军 北京国安邓捷夫在名帅指导下 打出来

80后体育大蜀黍
2026-11-18 22:12:59
男子认48岁女房东当干妈,每周去其家中蹭饭,酿成一场悲剧

男子认48岁女房东当干妈,每周去其家中蹭饭,酿成一场悲剧

晓艾故事汇
2025-09-08 17:00:17
女人多久能忘记同居过的男友?

女人多久能忘记同居过的男友?

那年秋天
2026-10-12 20:30:52
西部排名又乱了:湖人创NBA奇迹,雷霆收大礼,8队排名互换

西部排名又乱了:湖人创NBA奇迹,雷霆收大礼,8队排名互换

篮球大视野
2026-11-18 18:24:03
克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

山河路口
2026-11-17 19:41:55
和詹姆斯合作12年翻脸!惨遭老詹贴脸开大,自称学乔丹养成坏习惯

和詹姆斯合作12年翻脸!惨遭老詹贴脸开大,自称学乔丹养成坏习惯

你的篮球频道
2026-11-18 09:47:14
国足和U19主教练在新闻发布会,异口同声批评中超

国足和U19主教练在新闻发布会,异口同声批评中超

真理是我亲戚
2026-11-18 13:02:47
网友吵翻了!广州岳母半夜3点半起夜,撞见女婿常在阳台玩手机,女婿背负十多年房贷,该不该提醒?

网友吵翻了!广州岳母半夜3点半起夜,撞见女婿常在阳台玩手机,女婿背负十多年房贷,该不该提醒?

火山詩话
2026-10-30 09:20:13
说到底,身材才是最好的奢侈品

说到底,身材才是最好的奢侈品

疾跑的小蜗牛
2026-11-14 20:23:26
葡媒:C罗时代葡萄牙队进国际大赛比过去更容易

葡媒:C罗时代葡萄牙队进国际大赛比过去更容易

懂球帝
2026-11-18 23:15:11
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
美股存储板块,盘前集体大涨

美股存储板块,盘前集体大涨

中国基金报
2026-11-18 20:28:41
终结马刺!MVP第十!最不受待见的状元郎

终结马刺!MVP第十!最不受待见的状元郎

篮球实战宝典
2026-11-18 22:39:56
创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

捣蛋窝
2026-11-17 17:50:23
民调:63%的美国选民称特朗普将个人利益置于国家利益之上

民调:63%的美国选民称特朗普将个人利益置于国家利益之上

阿尔卑斯瞭望
2026-11-18 17:03:22
榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

你的篮球频道
2026-11-18 10:31:49
听我一句劝,千万不要去看《伟大的长征》,因为看完以后,你会发现第二天去上班只能肿着两只大眼泡,宏大叙事,最戳人的不是硝烟战场

听我一句劝,千万不要去看《伟大的长征》,因为看完以后,你会发现第二天去上班只能肿着两只大眼泡,宏大叙事,最戳人的不是硝烟战场

温柔记事簿
2026-10-19 15:11:16
信任,对巴林比赛半场邵佳一在更衣室亲自为吴曦扎上队长袖标

信任,对巴林比赛半场邵佳一在更衣室亲自为吴曦扎上队长袖标

懂球帝
2026-11-18 21:27:03
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
2026-11-18 23:48:49
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
245文章数 112关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
家居
本地
时尚
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

穿好“长大衣”,这8个细节很重要!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版