网易首页 > 网易号 > 正文 申请入驻

每天备份却隔天才跑,1.46TiB每次重读一遍

0
分享至

  备份任务明明设的是每天,日志里却只出现在偶数日:11月2日、4日、6日,一路排到11月20日。与此同时,Immich那套1.46 TiB的图库,每个任务要跑大约一个半小时,一晚三个任务。

  

  这两个毛病互相喂养,第三个问题则在同一个下午冒出来——通过 Tailscale 更新一个旧版 Pi-hole 安装时撞上的。三处修复随后连着发了三个版本:v0.1.112、v0.1.113、v0.1.114。

  临时容器让父快照永远对不上

  备份任务每次都从 restic/restic:latest 起一个全新的 docker run --rm 容器,把宿主卷只读挂到 /data:ro,密码通过临时的 0600 --env-file 传入,不出现在 /proc 里。

  去重本身是正常的,S3 和本地仓库都没有存下未变照片的重复副本。问题出在扫描环节:restic 要跳过未改动的文件,得先在仓库里找一个父快照,逐个比对路径、大小和修改时间。默认情况下,它按 (host, paths) 给快照分组。

  而一个全新的 --rm 容器,每次启动都会拿到一个随机的 12 位十六进制容器 ID 当主机名。于是每一轮备份,restic 都拿着一个崭新的主机名去找上一个快照,找不到,只能从头读取并哈希每一个文件。1.46 TiB 的库,就是这么变成每个任务约 1.5 小时全盘 I/O、一晚三次的。

  第一反应是加上 --host myground 就完事。在真实照片服务器上用 restic 0.19.1 一测,第二个坑立刻露头:所有应用卷在容器里都挂在 /data,不同卷和数据库转储在同一个仓库里共享 host=myground 和 paths=["/data"]。只加 --host,restic 会挑中另一个标签下的最新快照当父快照,结果仍然报 files_new=1。

  真正的修复是把主机名和分组键一起定死:

  --host myground

  --group-by host,paths,tags

  同样的测试重跑,父快照选对了,报出 files_unmodified=1。升级后有个预期内的细节:每个仓库的第一次备份仍会完整读一遍文件,因为还没有任何快照带 --host myground;此后每次都能匹配到父快照,跳过未改动文件。

  日更调度被“完成时间”拖成了隔日

  调度器每 60 秒醒一次,调用 should_run_now。内置的 daily、weekly、monthly 预设只在 02:00–02:59 UTC 的静默窗口内触发,并检查距上次运行过了多久。daily 要求间隔 >= 24 小时,乍看完全合理。

  关键在于 last_run_at 记录的是任务结束的时刻,不是开始的时刻。把 1.46 TiB 那个任务代进去看:

  第一天 02:00 UTC 启动。

  第一天 03:20 UTC 结束,写入 last_run_at = 03:20。

  第二天 02:00 UTC 检查,间隔 22 小时 40 分,num_hours() 返回 22,小于 24。

  第二天 02:59 UTC 最后一个 tick,间隔 23 小时 39 分,返回 23,仍小于 24。

  第二天 03:00 UTC,now.hour() 不再是 2,窗口关闭,这一天被整个跳过。

  第三天 02:00 UTC,已过 46 小时,终于又跑了一次。

  周更也是同样的漂移:只要任务在 03:00 UTC 之后结束,就变成每 8 天跑一次,而不是 7 天。

  v0.1.113 的修复只有一行:在比较时从 interval_hours 里减去 12 小时的余量。这样日更任务最多有 12 小时跑完,还能赶上第二晚 2 点的窗口;同一个 02:00–02:59 窗口内的二次触发依然被挡住——哪怕任务在 02:00:05 就完成,到 02:59 也才过去 59 分钟,远低于 12 小时,而且 should_run_now 顶部还有一道 30 分钟的护栏。回归测试 preset_runs_every_window_after_a_long_run 现在同时钉住了日更(已过 22 小时 40 分)和周更(6 天 22 小时 40 分)两种情况,外加 02:59 不重复触发的检查。

  目录定义改了模式,旧安装的代理指向了空端口

  第三个问题当天下午落在 Pi-hole 上。应用挂 Tailscale sidecar 有两种方式:network 模式下应用与 ts-sidecar 共享一个 Docker 桥接网络,ts-serve.json 代理到 compose 服务名 http://pihole:80;sidecar 模式下应用通过 network_mode: service:ts-sidecar 共享 sidecar 的网络命名空间,代理指向 http://127.0.0.1:80。

  2026 年 5 月 3 日的那次提交里,Pi-hole 的目录定义从 network 切到了 sidecar,好让 Tailscale DNS 在 53 端口上干净工作。新装的 Pi-hole 拿到的是带 network_mode: service:ts-sidecar 的新 compose 文件;已装的实例则保留磁盘上原来的 docker-compose.yml,仍然走 ts-net-pihole。

  启动时 regenerate_all_serve_configs 会检查每个已安装应用,发现生成的配置与磁盘上的不一致就重写 ts-serve.json。它把目录定义里的 tailscale_mode 直接传进了 tailscale_proxy_target,看到的是“sidecar”,于是往 ts-serve.json 里写了 http://127.0.0.1:80 并重启代理。旧安装的 sidecar 容器里,127.0.0.1:80 上根本没有东西在听,访问 Pi-hole 管理面板的每个请求都返回 HTTP 502。

  v0.1.114 改成先看实际部署的 docker-compose.yml:如果目录说是 sidecar,但部署的 compose 文件并没有真的设置 network_mode: service:ts-sidecar,就回退到 network,继续代理到 http://pihole:80,直到该应用的 compose 文件被重新生成。

  自己写容器备份脚本时值得抄走的两条

  容器里跑 restic backup 一定要传 --host;如果容器把不同宿主路径挂到同一个挂载点(比如 /data),再加上 --group-by host,paths,tags。看第二次运行的 --json 摘要,确认 files_unmodified 对得上文件数,而不是 files_new。

  固定窗口的日更调度,别用“距上次完成 >= 24 小时”当闸门。要么存任务的开始时间,要么比较日历日期,要么留出余量,免得一个跑过窗口的慢备份把日更悄悄变成隔日更。

  三处修复从 v0.1.114 起都已上线,源码和测试在 backmeupplz/myground(MIT)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

老郭在学习
2026-11-20 16:10:45
每吃一次,大脑萎缩就快一步?提醒:这4物或是老年痴呆“催化剂

每吃一次,大脑萎缩就快一步?提醒:这4物或是老年痴呆“催化剂

芹姐说生活
2026-10-01 22:22:04
老詹请客!詹姆斯邀请76人众将看电影 众人合影布朗波普等人都来了

老詹请客!詹姆斯邀请76人众将看电影 众人合影布朗波普等人都来了

林子说事
2026-11-22 06:59:01
直到罗斯福去世26年后,美国人才明白,当年他为什么拼死也要让中国,成为联合国五常?

直到罗斯福去世26年后,美国人才明白,当年他为什么拼死也要让中国,成为联合国五常?

回京历史梦
2026-11-22 10:30:17
向太陈岚自曝:现在我多想郭碧婷再多生一两个,我都不敢开口

向太陈岚自曝:现在我多想郭碧婷再多生一两个,我都不敢开口

韩小娱
2026-11-22 13:34:14
震惊!武亮回母校演讲提出“吃屎的劲头”去奋斗,台下学生反问:要是拼到41岁人没了,一点福都没享到,这份奋斗还有啥意义?

震惊!武亮回母校演讲提出“吃屎的劲头”去奋斗,台下学生反问:要是拼到41岁人没了,一点福都没享到,这份奋斗还有啥意义?

火山詩话
2026-11-22 14:36:55
中国不伺候了!5亿美元护卫舰订单摆上桌,中国船厂扭头就走

中国不伺候了!5亿美元护卫舰订单摆上桌,中国船厂扭头就走

瓦伦西亚月亮
2026-11-04 16:28:36
20架沙特战机遭击落,其中13架为中国造,它们为美制战机抗下火力

20架沙特战机遭击落,其中13架为中国造,它们为美制战机抗下火力

铁锤侃侃而谈
2026-11-15 09:18:57
蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

LULU生活家
2026-09-02 19:51:47
为什么你不要吹捧胡适

为什么你不要吹捧胡适

明叔杂谈
2026-10-29 01:39:17
9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

观锐器
2026-11-21 17:52:33
曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

嘴角上翘的弧度
2026-11-22 01:51:42
1980年,华国锋根据毛泽东生前安排,增选一位全国人大副委员长

1980年,华国锋根据毛泽东生前安排,增选一位全国人大副委员长

比利
2026-10-25 11:28:19
0-0出线、1-0爆冷、6-0惨案!U17世界杯:亚洲球队球队集体大爆发

0-0出线、1-0爆冷、6-0惨案!U17世界杯:亚洲球队球队集体大爆发

大秦壁虎白话体育
2026-11-23 01:07:54
自曝“家丑”1个月,张家齐传来喜讯,和全红婵哥哥恋爱早有真相

自曝“家丑”1个月,张家齐传来喜讯,和全红婵哥哥恋爱早有真相

料峭春寒洞
2026-11-21 14:16:10
“巨资培养的姐弟俩,只能在家里做饭”,一段窝囊视频,却收获万人羡慕

“巨资培养的姐弟俩,只能在家里做饭”,一段窝囊视频,却收获万人羡慕

熙熙说教
2026-11-20 13:29:12
“新型啃老”全国开始蔓延,孩子不上班、不要钱,只是把门关上,父母却更难受了

“新型啃老”全国开始蔓延,孩子不上班、不要钱,只是把门关上,父母却更难受了

可读
2026-11-20 22:34:37
与朱芳雨离婚后,她带小儿子独自生活,如今在中山大学任教未再婚

与朱芳雨离婚后,她带小儿子独自生活,如今在中山大学任教未再婚

东方不败然多多
2026-11-21 11:16:33
不强硬啦?

不强硬啦?

求实处
2026-11-21 23:59:48
男子故意欠网贷64万不还,5家催收公司上门后均摆手:这账没法收

男子故意欠网贷64万不还,5家催收公司上门后均摆手:这账没法收

罪案洞察者
2025-11-03 14:00:25
2026-11-23 03:20:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
166文章数 84关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

家居
房产
游戏
艺术
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

艺术要闻

印度,一个盛产美女的国家:多元血脉与纱丽风情交织的独特之美

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版