网易首页 > 网易号 > 正文 申请入驻

一个被忽视的 Hive SQL 优化技巧,让查询速度提升 11 倍

0
分享至

Hive SQL 慢起来真是要命。跑一分钟还能忍,一跑十几分钟甚至更久,业务方过来问「你的数据怎么还没出来」,那种感觉,懂的都懂。

最近就遇到这么个真实案例——一个 Hive SQL 脚本,短的时候一分多钟,长的时候能跑到十几分钟,而且极其不稳定。查了一圈,最终只调了两个参数,把 447 秒干到了 39 秒,提升了整整 11 倍。

讲真,这事儿没有多高深,但背后的思路值得聊聊。

别上来就瞎调。第一步永远是看慢在哪里。

Hive 在 Tez 引擎下的执行链路大致是:编译 SQL → 生成物理计划 → 向 YARN 申请资源 → 提交 DAG → 执行 DAG。绝大多数时间都耗在最后一步「Run DAG」上,这是正常的,毕竟计算就在这一步发生。

但有个坑——有时候 YARN 资源紧张,申请 AM 就卡半天。如果不看总体执行日志,你可能会以为是 SQL 本身的问题,实则是在排队等资源。

所以先看日志,确认瓶颈到底在哪一层。

找到瓶颈:MAP1 只开了 8 个 task

我这边的 SQL 主要是一张事实表关联多张维表,union 后写入目标表。通过 explain 拿到执行计划,发现三段子查询分别对应 MAP1、Reducer8 和 Reducer16。

一看运行日志,问题一目了然:

MAP1 耗时 439 秒,但只开了8 个 task。而 Reducer8 和 Reducer16 分别只有 4 秒和 3 秒就跑完了。



所以瓶颈就是 MAP1,原因很简单——并行度不够。说白了,8 个人干的活,你让 8 个人干,你让一堆人等着,能快才怪。

为什么只有 8 个 task?

查了一下主表的元数据:89 个分区,522 个小文件,总行数 2170 万,总数据量约 4.6 GB。

关键问题是小文件太多,522 个文件平均每个才 8MB 左右。虽然 Hive 的 CombineHiveInputFormat 会自动合并小文件,但 Tez 会重新打包数据切片动态调节 task 数量。默认情况下,它觉得这些文件够小了,不需要开太多 task。

解决方案是用和来控制单个切片的大小,从而间接调节 task 数:



调完之后,MAP1 的 task 数从8 个增加到 94 个,并行度直接拉满。



但注意别太贪心。切片太小、task 太多,意味着要申请大量 YARN 容器,不光你的任务自身有开销,还会挤占集群其他人的资源。64MB-128MB 这个区间是我测试下来比较合适的,具体根据你集群的情况来调整。

另一个关键优化:开启向量化

光增加并行度还不够,每个 task 内部的执行效率也要看。

这里就要聊到 Hive 的向量化执行了。传统的行式处理是一条一条地处理数据,CPU 利用率很低;向量化则是批量处理——默认每批 1024 行——能大幅提升 CPU 利用率。

开启方式很简单,加几行配置就行:



但有个坑要注意:向量化要求表格式是 ORC 或 Parquet 这种列式存储,而且有些函数不支持原生向量化。比如instr函数就是不支持的,它会迫使整个执行链路回退到行模式,导致你开了向量化也等于没开。

解决方案:把 instr 换成 like。比如 instr(col, 'something') > 0 可以等价替换成 col like '%something%'。因为 like 有对应的原生向量化版本,差别就在这里。



效果:447秒 → 39秒

两套优化打下去,最终效果:

  • 优化前:447 秒
  • 优化后:39 秒
  • 提速:约11 倍



讲道理,这个优化思路不复杂,但很多同学遇到 Hive SQL 慢的时候第一反应是「是不是数据量太大了?」或者「是不是要上 Spark 了?」——其实不一定。先看看并行度够不够、向量化开没开、有没有函数不支持向量化,这几个点排查下来,大多数场景不用换引擎也能解决问题。

几个可以记在小本本上的点

这次优化过程中还有一些额外的收获,一并分享了:

  1. 裁剪—— 别 select *,只取需要的列,减少 IO
  2. 分区裁剪——where 条件尽量用分区字段,不然全表扫描谁也救不了
  3. 尽早过滤——子查询或 CTE 里先把数据过滤掉,减少中间数据量
  4. 了解你的函数——有些看着无害的函数,可能让你的向量化执行白开了

当然,除了上面这些,还有数据倾斜、Reducer 并行度自动调节等方向可以深入。但以上几点是性价比最高的,花最少的时间拿最大的收益。

你手头的 Hive SQL 遇到过这种情况吗?有没有什么奇技淫巧分享一下?评论区聊聊。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

兴趣知识
2026-11-18 02:59:02
世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

世界领先!新加坡全面拆除公路收费站,改用“卫星定位”隔空扣费

三言四拍
2026-11-18 18:40:16
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

河南农妇为亲人喊冤14年后被抓,全家遭“司法灭门”

塔子山评说
2026-11-18 18:10:50
赖清德终于不再沉默,正式表态了!

赖清德终于不再沉默,正式表态了!

果妈聊娱乐
2026-11-17 12:12:09
中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

中国银行股份有限公司原党委委员、副行长林景臻一审获刑十三年

澎湃新闻
2026-11-18 17:19:03
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

加纳政党代表:社会主义、共产主义思潮正在全球复苏,中国人民正引领这一进程

极目新闻
2026-11-18 14:20:01
如果你是黄仁勋,这三个女人会选谁?

如果你是黄仁勋,这三个女人会选谁?

仕道
2026-11-18 14:14:20
2026年度中央安全生产考核巡查启动

2026年度中央安全生产考核巡查启动

齐鲁壹点
2026-11-18 19:21:10
四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

四川绵阳一游客称花1600元买的烤全羊剥不出1两肉,几乎全是骨架;涉事民宿:火候偏大,整只羊烤干了;当地文旅:相关部门正开展调查核实

扬子晚报
2026-11-18 09:45:49
1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

扶苏聊历史
2026-11-18 13:35:05
清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

清华教师直言“不会上课了”!当大学生通过AI工具,可以高效完成基础学习工作,传统课堂正在被颠覆!

学术眺望
2026-11-18 15:55:03
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
笑死,杨超越海报翻车! “滚滚长江东逝水” 是什么鬼?设计师天塌了

笑死,杨超越海报翻车! “滚滚长江东逝水” 是什么鬼?设计师天塌了

品牌新
2026-11-18 17:27:25
央视又翻车了?

央视又翻车了?

亮见
2026-11-18 15:04:54
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

重磅!英伟达董事会设立国家安全与出口管制监督委员会,英伟达美股盘前突然拉升!市场静待黄仁勋辞职后第一份财报

每日经济新闻
2026-11-18 11:31:11
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
2026-11-18 20:55:00
千纸鹤安安
千纸鹤安安
大自然的搬运工
211文章数 4关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
手机
旅游
本地
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版