网易首页 > 网易号 > 正文 申请入驻

5400转硬盘上跑Proxmox,重启后我收获15分钟502

0
分享至

2026年8月28日,我登不上自家AI代理的仪表盘。查着查着,跑它的那台Proxmox节点自己打完补丁重启了——反倒帮我把真正的问题暴露了出来,问题不在仪表盘。


09:05:37,节点执行了apt-get dist-upgrade。这是我给自己定的打补丁路径,不是意外。Proxmox VE从9.2.2升到9.2.11,顺带拉进来一个新内核。09:09节点重启。没有任何定时器安排这次重启,它是补丁流程带出来的。

然后代理的仪表盘花了大约15分钟才响应一个请求。这整段时间里,挡在它前面的Caddy一直回502。

问题出在盘上

这台节点上所有guest都住在一块盘里:一块931.5G的5400转机械盘。快的Optane只有13G,只够放Proxmox根系统。

重启之后,五个容器同时在这一个主轴上进行冷启动。其中重的几个是:

  • ClickHouse,跑在我的Langfuse容器里
  • MariaDB,外加一个正在跑python manage.py migrate的Django,在3D打印机监控容器里
  • Nextcloud

结果/proc/pressure/io的full avg60冲到81,负载平均值23,iowait 87%。

我检查了存储本身是不是坏了。没有。thin pool只用了7.8%,没有IO错误,device-mapper和ext4都没报故障。这就是纯粹的寻道争抢:一堆东西同时想读一块慢盘上的不同位置。这事没有调优旋钮可拧。机械盘同一时刻只能待在一个地方。

该认的信号

这部分是我真正想记下来的:

  • 对代理的web服务跑systemctl is-active,显示active——但它的端口上没有任何东西在监听
  • 进程处于D状态(不可中断睡眠),wchan显示wait_on_buffer、d_alloc_parallel或dm_thin_find_block

"active"加上"没在监听",看起来像服务挂了。最直觉的动作是重启它。别。带这些等待通道的D状态意味着它在等磁盘。它没崩。重启只会把同样的IO再排一次队,排到所有人后面。

真正缩短了等待的操作

我停掉了Langfuse容器。它纯粹做追踪,没有东西依赖它必须在线,而ClickHouse是那台机器上启动时最重的东西。

仪表盘21秒后就起来了。

等/proc/pressure/io的full avg60降到25以下,我重新启动了Langfuse。这花了260秒。

我刻意没停的是打印机监控容器。它在启动时跑Django数据库迁移,把迁移杀在半路是真能把东西弄坏的。要挑那个又重又不要紧的guest,不是挑最重的那个。

另外值得知道:每个guest都设了onboot: 1,它们确实都会自己回来。有几个只是慢。所以启动后一分钟看到"stopped"不算故障,动手戳之前再看一眼。

启动慢连带弄坏的两件事

启动一慢,那些只因为以前启动快才成立的东西就露馅了。

  1. 网关看门狗恰好在我最需要它的时候死了。我有一个systemd定时器,代理网关挂掉就重启它,在启动后2分钟触发(OnBootSec=2min)。这次启动,2分钟不够root的用户管理器建出/run/user/0,看门狗的systemctl --user调用以"Failed to connect to bus"失败。于是那个负责复活网关的东西,在唯一重要的一次启动里失败了。修法:看门狗脚本现在最多等60秒用户总线(必要时自己启动user@0.service),失败时退出0而不是报错。再加一个带After=和Wants=user@0.service的drop-in。
  2. systemd-journal-flush.service在容器里90秒超时,把容器留在了degraded状态。这个纯属连带伤害,之前每次启动它都正常。等IO平息后跑一次systemctl restart systemd-journal-flush就清掉了。

写这个修复时的一个附带教训

我最初写新看门狗脚本的方式是:heredoc通过ssh进节点,再pct exec进容器,再bash -lc。三层引号。文件里最后留下一个字面量的\$(seq ...),语法错误,unit启动失败。

可行的做法:本地写好文件,base64 -w0,管道送进去在另一头解码。启动unit之前先跑bash -n检查一遍。

我会怎么改

  • 别把所有guest都放在一块机械盘上。我知道。真正的解法是换SSD,这篇文章里没有任何东西能替代它。
  • 风暴来临前先搞清楚哪个guest是你的泄压阀。对我来说是那个追踪容器:够重,而且五分钟没人会想念它。
  • 永远不要靠重启一个D状态进程来"解卡"。先看/proc//wchan
  • 在慢启动上测试你的看门狗。一个只在其他一切正常时才工作的看门狗,算不上看门狗。
  • 打补丁引起的重启也是重启。冷启动时发生的事,你每次给宿主机打补丁都会发生一遍。

这事还有后续。一个月后同一个节点又重启了一次,风暴期间一个插件加载缓慢,让我的Discord机器人离线了一周,期间没有任何东西发现。那篇我单独写了。

你现在还在哪块最慢的盘上跑guest?我那块5400转的,暂时还在。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

特朗普:莫迪是一个非常强硬的人,而高市早苗可能还要更强硬

探索新高度
2026-11-18 08:44:32
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
外媒:荷兰初创公司的导弹参与打击克里米亚大桥

外媒:荷兰初创公司的导弹参与打击克里米亚大桥

参考消息
2026-11-18 12:42:06
河南基本可以“包分配”的3所大学,学生毕业就能到体制内工作!完全不用愁就业!2027届高考生及家长不要错过

河南基本可以“包分配”的3所大学,学生毕业就能到体制内工作!完全不用愁就业!2027届高考生及家长不要错过

高三倒计时
2026-11-18 18:32:55
双预警齐发,中央气象台:内蒙古、黑龙江、吉林、山东等地有小到中雪或雨夹雪,贵州、云南、广西、广东等地有小雨,福建、广西等地有雷暴

双预警齐发,中央气象台:内蒙古、黑龙江、吉林、山东等地有小到中雪或雨夹雪,贵州、云南、广西、广东等地有小雨,福建、广西等地有雷暴

扬子晚报
2026-11-18 21:15:35
高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

高迪曝陈泽大瓜!甩出多张截图,聊天记录不堪入目,陈泽最新回应

杨仔述
2026-11-18 12:57:26
台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

不甜的李子
2026-11-18 06:28:57
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

排面拉满!深圳APEC主持人阵容亮相,央视多位名嘴齐聚鹏城

情感大头说说
2026-11-18 04:48:40
“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

“没人活得比我更爽了!”女孩炫耀从小玩到大,网友:毕业薪资多少?她沉默了

蝴蝶花雨话教育
2026-11-18 00:05:17
黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

新商业派
2026-11-18 19:51:07
山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

臻体育
2026-11-18 22:04:57
《谷雨》港味满满,6位香港演员功不可没,石榴姐、余文乐都老了

《谷雨》港味满满,6位香港演员功不可没,石榴姐、余文乐都老了

娱君坠星河
2026-11-18 13:37:40
李乃文直言演完《伟大的长征》很心虚,自嘲 “张国焘不适合参加创作座谈会”

李乃文直言演完《伟大的长征》很心虚,自嘲 “张国焘不适合参加创作座谈会”

草莓解说体育
2026-11-18 13:20:02
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

同样是抵达马尼拉,中国代表和日本首相的接机规格,差在哪?

爱下厨的阿酾
2026-11-18 03:37:45
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
又一国宣布:加息!金价,重挫!

又一国宣布:加息!金价,重挫!

证券时报
2026-11-18 17:28:04
公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

公交系统终于想通了:与其让一城人抢上车,不如让他们先举手

琴音缭绕回
2026-11-18 12:25:15
真正的思念,总是会无声无息的

真正的思念,总是会无声无息的

疾跑的小蜗牛
2026-11-18 21:04:36
2026-11-18 22:36:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
232文章数 87关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
本地
亲子
旅游
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版