网易首页 > 网易号 > 正文 申请入驻

报表慢了156%,我没加索引就把它救回来了

0
分享至

01 当晚全绿,一早就炸了02 先取证,再说话03 基线一摆,真相露了一半04 凶手找到了:一份数据没跟着搬家05 回滚点,是提前写好的06 复盘清单:下次割接前照着做写在最后

晚上十点整,割接收工。健康检查全绿,应用连接正常,群里有人发了个"收工"的表情,大家收拾东西各回各家。

谁能想到,十个小时之后,"报表比昨天慢"的反馈会一条接一条地砸过来。同一条报表 SQL,从1.8 秒涨到4.6 秒,慢了不止一倍。更戏剧的是最后解决问题的方式:没加索引,没回滚,甚至没改一行 SQL。

今天把这次复核的完整过程拆出来讲,时间线、取证、判断、回滚点全都有,下次你碰到同类情况,可以照着走。

先把时间线摆在桌面上,你会发现问题出得多"刁钻":

  • 22:00,割接完成,健康检查通过,一切正常;
  • 22:30,抽了三条 OLTP 语句做抽查,耗时和基线接近,没毛病;
  • 次日 08:10,报表任务开跑,"比昨天慢"的反馈开始陆续出现;
  • 08:40,拿到第一条样本:同一条报表 SQL,从 1.8 秒涨到了 4.6 秒;
  • 09:00,拉出割接前一周的负载快照,开始做归一化对比;
  • 09:40,确认执行计划从索引扫描变成了全表扫描;
  • 10:10,更新统计信息,重跑,耗时降到 2.4 秒;
  • 10:40,剩下的差距用数据量增长就能解释清楚,复核结束,未回滚。

注意一个细节:晚上抽查的 OLTP 语句全都没问题,炸的全是第二天早上的报表。如果你割接当晚只验证了交易链路就觉得万事大吉,那正好会踩进这个坑——报表时段才是重灾区。

处理线上问题最怕什么?最怕一群人围着说"我觉得是 XX 的问题"。这次复核的第一步,不是动手,而是先拿三样东西:

  • 割接前的负载快照:语句、返回行数、并发、数据总量,全都有;
  • 割接后的同语句样本:同一参数、同一时段,至少跑三次,避免偶然性;
  • 两边的执行计划:不只看耗时,要看访问路径和估算行数。

三样东西缺一样,后面的讨论基本都会变成吵架。你说是索引少了,他说是数据多了,谁也说服不了谁。有了这三样,问题才有得聊。

把割接前后的数据放一张表里,信息量就出来了:



看懂这张表的关键在一行数字:每万行耗时只涨了 13%。

也就是说,把数据量增长的因素归一化掉之后,查询效率其实没怎么变差——大头确实是数据本身涨了 27%,返回行数翻了一倍多。这部分属于"正常变慢",业务能接受。

但有一处不对劲:访问路径真的变了,从索引扫描退化成了全表扫描。这部分不算预期内,必须查。

看最后一行:估算 800 行,实际 27,000 行,偏差 30 多倍。

数据库的执行计划是靠统计信息来"猜"的。猜某张表有多少数据、分布如何,然后决定走索引还是全表扫。割接的时候,数据搬过去了,统计信息却没有一起迁过来,自动收集任务又还没轮到这张表。

于是优化器拿着过时的"地图"做决策:它以为这张表只有八百行,全表扫一下也很快——结果扫了 27,000 行。这就是报表突然慢 156% 的真正原因。

处理顺序也很克制:

  • • 先收集统计信息,重跑同一条语句;
  • • 执行计划回到索引扫描,耗时降到 2.4 秒;
  • • 再对比剩余差距,确认全部由数据量增长解释;
  • 不加索引,不改 SQL,观察一天

整个过程没有任何"顺手优化"。没有把握的时候,少动就是专业。

这次没触发回滚,但回滚条件在割接前就写下来了:

  • • 同语句、同参数、同数据量,归一化之后仍然慢 2 倍以上;
  • • 出现金额、日期、排序结果不一致这类数据正确性问题;
  • • 更新统计信息后计划仍然回不到基线,且业务高峰在逼近。

更关键的是,回滚点记的不是一句轻飘飘的"可以回滚",而是可执行的步骤:切回旧库、应用连接串切换、校验三条核心报表,回滚耗时按 30 分钟预留。

真出事的时候,没人有空现场讨论方案。回滚预案的价值,全在"提前"两个字上。

这次复核沉淀下来的五条,条条都是拿真实教训换的:

  • • 统计信息随数据一起迁移,或者割接完立刻手动收集;
  • • 割接前留一份 Top 20 报表 SQL 的基线和执行计划,放在值班手册旁边;
  • • 割接后第一个晚上,专门安排报表时段的观察,别只盯交易链路;
  • • 回滚点写成可执行步骤,别只写条件;
  • • 复核表固定四列:基线、当前、归一化、结论。

还有一个心得值得单独说:复核报告要写给三天后的自己和下一班值班人看。不能写"已处理",要写处理动作和验证结果;不能写"观察中",要写观察窗口和判断标准。三天后你会忘掉所有判断过程,记录才是唯一的线索。

另外,跟业务对齐也有讲究。业务只关心两件事:什么时候恢复、恢复后数据对不对。所以报告别只堆耗时数字,直接写"哪几条核心报表已恢复、哪几条还要等",业务听得懂这两句,才愿意给你时间做排查。

这次没有加索引,没有回滚,也没有改一行 SQL。真正解决问题的,是"先归一化、再看计划、最后定位统计信息"这个顺序。

割接之后的第一批慢查询,最怕的从来不是慢,而是有人一上来就动手改。慢是现象,改之前先搞清楚"为什么慢",往往十分钟就能省掉后面十天的折腾。

你有没有经历过"割接当晚没事、第二天早上炸锅"的时刻?评论区聊聊你的翻车现场。

(文中数字与场景基于原文公开分享的复核记录整理,仅用于说明排查方法。)

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没有“星链”,乌克兰导弹怎么击中克里米亚大桥?或许永远也修不好了

没有“星链”,乌克兰导弹怎么击中克里米亚大桥?或许永远也修不好了

鹰眼Defence
2026-11-18 16:44:09
普京到访深圳北理莫斯科大学

普京到访深圳北理莫斯科大学

极目新闻
2026-11-18 15:53:16
连续9年利润跑赢营收,波司登逆势增长的"飞轮密码"

连续9年利润跑赢营收,波司登逆势增长的"飞轮密码"

中服
2026-06-29 18:41:19
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

麓谷隐士
2026-11-18 00:05:04
资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

界面新闻
2026-11-18 13:44:43
主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

主持人张泉灵被曝猛料,公司成老赖,离开央视后活成了这样

一窥究竟
2026-11-18 17:23:50
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

澎湃新闻
2026-11-18 17:19:03
“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

农民日报
2026-11-18 08:48:45
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
DeepSeek限额,国产算力紧缺!

DeepSeek限额,国产算力紧缺!

城事堂
2026-11-18 08:59:14
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
19.99万 !特斯拉新车上市!

19.99万 !特斯拉新车上市!

科技堡垒
2026-11-18 08:00:39
泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

泰国总理回到祖籍地广东太激动!飙粤语"猴开森"

看看新闻Knews
2026-11-18 17:20:13
韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

念洲
2026-11-18 18:24:15
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
2026-11-18 19:39:00
千纸鹤安安
千纸鹤安安
大自然的搬运工
211文章数 4关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
本地
时尚
公开课
军事航空

《GTA6》媒体评分解禁!M站99分R星再创巅峰

本地新闻

乌兰察布:以前种土豆,现在种Token

奶瓶界爱马仕,批量收割中产父母

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版