网易首页 > 网易号 > 正文 申请入驻

硬盘坏之前会先报警?开源日志平台把硬件计数器摆到日志旁边

0
分享至

硬盘坏掉之前,其实一直在发信号。问题是,有没有东西在听。


开源日志管理与 SIEM 平台 Logtide 发布 1.7.0 版本,第一次把视线从应用层挪到了机器本身。在此之前,它清楚你的日志、链路和指标,却对承载这一切的硬件一无所知——一块硬盘可能连续几周在重分配扇区,而第一条相关日志,是 Postgres 报出的 I/O 错误。

这个功能的起点是一次聊天。11 月 7 日,作者和朋友聊起一个叫「Logtide Maintenance」的设想:装在一台服务器上,在硬件真正坏掉之前告诉你它要坏了。对方在同一刻想到了同一件事,并给出了更有用的一句:动手之前,先研究清楚到底什么会坏。于是有了一份清单:磁盘、SSD 磨损、ECC 内存、CPU 机器检查与降频、风扇与电源、温度、网口。

第二个问题是,有没有人已经做了。答案是:有,但只做了一部分。

  • Netdata 监控 SMART,并带异常检测;
  • Scrutiny 是很好用的纯磁盘看板;
  • Dell iDRAC 和 HPE InfoSight 能做预测性故障分析,但只限自家服务器;
  • Zabbix、Checkmk 以及配合 smartctl_exporter 的 Prometheus 有 SMART 和 IPMI 模板,走的是固定阈值。

它们都没做的事,是把硬件计数器摆到日志旁边。而很多硬件故障恰恰先在日志里露头:dmesg 里的 ECC 与机器检查错误、I/O 超时、SATA 与 NVMe 链路重置、PCIe AER 错误。Logtide 本来就有日志,这就是切入点。

新版本在 Monitor 下新增了 Hardware 区块,盯的是裸机和 homelab 主机的物理健康。每台主机按组件给出状态、解释该状态的发现项,以及 7 天趋势。虚拟机被识别出来后显示为「无传感器」——虚拟机没有真实数据可报,与其摆一墙空图表,不如直说。

点开一台主机,先看到发现项,再看到每个组件的细节。比如一块 SATA 硬盘一周内重分配了 24 个扇区,而 SMART 仍显示「通过」;再比如一条内存条正在记录可纠正的 ECC 错误。

看趋势,不看阈值

SMART 自带「通过」或「失败」的判定,作为早期预警几乎没用。一块硬盘可以天天重分配扇区却仍报「通过」,因为厂商阈值设得让判定翻转得非常晚。所以规则看的是计数器怎么动,而不只是停在哪:

  • 任何重分配扇区都算警告;7 天内新增十个及以上为严重,即使 SMART 仍说「通过」;
  • 待定扇区和不可纠正扇区只要不为零,就是警告;
  • 过去 24 小时增长的 UDMA CRC 错误算警告——实践中这通常是 SATA 线坏了,不是盘坏了,发现项里会写明;
  • 过去 24 小时增长的可纠正 ECC 错误算警告,一天一百个及以上为严重:那条内存正在快速劣化;任何不可纠正错误都是严重;
  • SSD 寿命到额定磨损的 80% 为警告,95% 为严重;
  • 停止上报的设备本身也是一条发现项。掉出总线的硬盘或被拔掉的电源,不该从页面上凭空消失。

计数器按 24 小时和 7 天两个窗口比较,且比较能扛住计数器重置——比如重启会清掉 EDAC 计数。

有一点需要说清楚:这是早期预警,不是预测。2007 年谷歌针对大样本硬盘的研究,以及 Backblaze 此后公布的数据,都指向同一个结论:相当大一部分硬盘,大约三分之一,在没有任何 SMART 警告的情况下直接坏掉。Hardware Health 能抓住那些会报警的盘,而且比 SMART 自己的判定更早;它抓不住一声不吭就死的盘。备份还是要做。

另一半工作是去抖。一个卡在临界值的温度传感器会每分钟越线又回来,而每分钟给你发告警的监控工具,一天之内就会被静音。更差的状态需要在两次评估中持续至少 3 分钟才算数,回到正常则需要 10 分钟的安静。每次劣化是一个事件、一条事故,而不是每次评估都开一条。

事故、通知与检测包

主机劣化会以新的 hardware 来源开启一条事故,并走和其他事故一样的通知路由:渠道新增 Hardware health 事件类型,支持邮件兜底、PagerDuty 和 webhook(hardware.health.degraded 与 hardware.health.recovered)。主机恢复时,PagerDuty 事故也会被解决,即使你中途把主机静音了。

并非所有硬件问题都是计数器。有些只在 kernel log 里出现:机器检查异常、APEI 错误、磁盘链路重置、NVMe 超时、PCIe AER、来自 BMC 的温度与电源事件。新的 Hardware Health 检测包为这些准备了 21 条 Sigma 规则,对你已经送进 Logtide 的任何 kernel log 都能生效,装不装 agent 都行。

数据来自一个小 agent:单个 Python 文件,只用标准库,Python 3.8 及以上,约 1500 行。它读取 smartctl、EDAC、hwmon、热降频计数器、ipmitool 传感器和 BMC 事件日志,全部以 OTLP 指标发到 Logtide 已有的端点。来自 /dev/kmsg 的硬件行和 BMC 事件,则作为普通日志进入 hardware 服务。每条外部命令都有时间预算,SMART 跑在独立线程里——一块真在垂死的盘能把 smartctl 卡住几分钟,而 agent 在那期间应该继续上报机器其余部分。

agent 起初在主仓库里,发布前搬了出去:logtide-dev/logtide-hw-agent,MIT 许可,版本号从 1.0.0 起独立。核心是 AGPL。一个要装到每台自己拥有的机器上的 agent,应该容易审计、fork 和打包,也应该能在不等待 Logtide 发版的情况下,为某个奇怪的 RAID 控制器单独发修复。

用 Docker 跑:

docker run -d --name logtide-hw-agent --privileged \
-v /sys:/host/sys:ro -v /proc:/host/proc:ro \
-e HOST_ROOT=/host \
-e LOGTIDE_URL=https://api.logtide.dev \
-e LOGTIDE_API_KEY=lp_your_project_key \
logtide/hw-agent:1

如果 Logtide 就跑在同一台机器上,可以用新的 compose profile:设置 HW_AGENT_API_KEY,然后执行 docker compose --profile hardware up -d。对不想跑 Docker 的主机,也提供了 systemd 单元。

其余值得一提的改动:Traces 里的行可点击,点 Operations 行即按该操作过滤,点 trace 行即打开该 trace,Ctrl 或中键在新标签页打开;Operations 列表变短,卡片只显示最慢的 8 个操作并带「显示全部」开关,trace 列表不再被挤出屏幕;已登录状态下打开 /login 不再显示登录表单,而是跳转到仪表盘;新增能力 hardware.max_hosts,默认不限。

升级方式:docker compose pull,然后 docker compose up -d。迁移 079 在启动时运行,新增 hardware_hosts 表和新的 incident 来源,不触碰已有数据。agent 是可选的:不启动它,什么都不会变。

Hardware Health 1.0 有意留了几件事没做,它们也是明显的下一步:通过 NUT 监控 UPS,以及通过厂商 CLI 监控 RAID 控制器健康(电池、虚拟磁盘状态)——两者都在最初那份「什么会坏」的清单上;Redfish,用于 BMC 支持它而 IPMI 更差劲的服务器;按主机设置阈值,给那些天生就运行得热的机器;以及 Windows 和 macOS agent,目前 agent 只支持 Linux。

Logtide 其余部分的待办,是给 uptime 监控加域名到期检查(#280),以及整套栈的水平扩展方案(#221)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
以为是十年真爱,其实是资本做局!波帅上位,藏着格雷泽最冷的算盘

以为是十年真爱,其实是资本做局!波帅上位,藏着格雷泽最冷的算盘

曹老师评球
2026-11-16 20:00:39
为啥说中国军力吓不倒日本?石破茂说得很透彻:日本会重走老路的

为啥说中国军力吓不倒日本?石破茂说得很透彻:日本会重走老路的

乌克兰小静
2026-09-16 08:21:19
中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国

中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国

凉湫瑾言
2026-11-17 00:31:22
凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

钉钉陌上花开
2026-11-16 05:47:06
许绍雄遗作爆冷,内地上映9天,累计票房6751元;导演王晶连夜发文:临时上映,没有宣发费,随缘看看,不合口味,也多谢各位直言

许绍雄遗作爆冷,内地上映9天,累计票房6751元;导演王晶连夜发文:临时上映,没有宣发费,随缘看看,不合口味,也多谢各位直言

南方都市报
2026-11-14 21:07:32
她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

妙知
2026-10-24 15:54:28
蒸苹果火了!医生提醒:补气血是误会,这三类人越吃越伤身

蒸苹果火了!医生提醒:补气血是误会,这三类人越吃越伤身

王二哥老搞笑
2026-11-14 06:02:50
三位NBA年轻人被点名:场均超20分,三分却不足30%

三位NBA年轻人被点名:场均超20分,三分却不足30%

林间小温柔
2026-11-17 01:20:36
浙江兄弟翻修老屋,卧室底下挖出两米长鲜红棺材,老爹当场腿软

浙江兄弟翻修老屋,卧室底下挖出两米长鲜红棺材,老爹当场腿软

江启
2026-11-16 13:24:47
北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

育学笔谈
2026-11-13 13:50:55
打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

巷北楠猫本尊
2026-11-16 15:15:06
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
吃他汀不能碰燕麦?注意:不止燕麦,这5种食物也建议少碰

吃他汀不能碰燕麦?注意:不止燕麦,这5种食物也建议少碰

侯医生谈健康
2026-11-14 00:35:03
华尔街日报直接定性:特朗普所有动作,都是在讨好普京?

华尔街日报直接定性:特朗普所有动作,都是在讨好普京?

老马拉车莫少装
2026-11-17 00:03:50
伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

以色列飛飛
2026-11-16 08:30:21
前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

念洲
2026-11-16 09:38:40
于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

极目新闻
2026-11-16 19:06:52
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-09-08 14:55:50
2026-11-17 01:44:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
242文章数 91关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
房产
数码
游戏
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

传《GTA6》主线约50个小时 全成就大约200个小时

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版