网易首页 > 网易号 > 正文 申请入驻

NVIDIA 携手腾讯开发和优化 Spark UCX 实现性能跃升

0
分享至

腾讯网络平台部与数据平台部,联合 NVIDIA 合作开发和优化 Spark UCX,最终实现 Spark Shuffle 稳定加速 15% - 20%,平均降低现网 Spark 任务 8% 的执行时间。

什么是 Spark 平台?

TDW-Spark 是腾讯公司级数据平台,是腾讯海量数据处理平台中最核心的模块,支持百 PB 级的数据存储和计算,业务涉及公司各个 BG,为腾讯公司提供海量、高效、稳定的大数据平台支撑和决策支持,是腾讯公司最大的离线数据处理平台。

Spark 业务所面临的挑战

Spark 网络目前的现状包括大规模部署 QP 连接数不够用,使用 RDMA DC 解决连接数过多的问题;Spark 不同应用场景需要不同的 EP 个数、RPC 调用次数、Spark UCX 线程数、 Block 大小等,需要联合调配;RDMA 和 TCP 混合部署,需要兼容和故障逃生;以及网络带宽低,需要提升带宽,降低延时。

Spark 原始的业务问题包括:

  • 通信耗时占比高:Spark Shuffle 时间占 Spark 运行总时间的 30% - 40%,造成 Spark 任务完成时间长。
  • 业务需求:网络 IO 和磁盘 IO 是 Spark Shuffle 的瓶颈,需要提高通信效 率,提高计算效率。
  • 降本增效:五万张已经部署的 NVIDIA ConnectX-5 网卡需要提高性能利用率,切换到 RDMA,提高业务带宽。

为了应对上述问题及挑战,腾讯进行了 Spark RDMA 大规模部署网络的工作,主要从两个方面着手:Spark RDMA 网络部署和优化,以及 Spark UCX / UCX 性能优化。

Spark RDMA 网络部署和调优

具体部署调优步骤:

  1. 搭建 37 节点 NVIDIA ConnectX-5 网卡和 26 节点 NVIDIA ConnectX-6 网卡 Spark 环境,部署 Spark、Spark UCX、UCX 代码进行长稳调优。
  2. 基于 GroupByTest 和现网 Spark 业务流量,在 UCX、Spark UCX、Spark 三个层次调优对比 DC、RC 和 TCP 效果。
  3. 优化 Spark UCX、UCX 代码,根据 Spark 业务调优网卡和交换机配置。
  4. 通过在 NVIDIA ConnectX-5 和 NVIDIA ConnectX-6 Dx bond 引入 DCT,提升 Spark 业务带宽利用率。
  5. RDMA 和 TCP 网络共存的情况下,保障长稳运行和 RDMA 故障逃生。

图 1:37 节点的 ConnectX-5 机群与 26 节点的 ConnectX-6 机群

RDMA 部署优化完成情况:

  • 大规模:使用 R&D Site Leader, NVIDIA DCT 技术共享 QP 连接,解决了大规模 QP 不够用 的问题。大规模仿真下 Spark 应用 RDMA 网络满足预期。
  • Spark 应用和网络联合调优:实现了最优的网卡和交换机配置,以 及 Spark 任务配置,降低了15% - 20% 左右的读完成时间。
  • 故障逃生:Spark UCX 和 UCX 代码层面实现了 RDMA 和 TCP 通道备份。确保 RDMA 故障逃生 TCP,保证稳定运行。
  • 稳定性保证:开发了驱动版本检测、网卡配置和检测、自动化安装升级检测功能。开发了测试网络性能模块,保证 Spark RDMA 各层带宽和延时满足预期。

Spark UCX 性能优化

1. 参数调优:通过调整 maxReqsInFlight、numListenerThreads 等 Spark / Spark UCX 参数,提升任务执行效率,获得最好传输速率,发挥最大系统效能。

2. CPU 利用率优化:启用 sleep / wakeup 特性,替代 busy waiting 模式。让出 CPU 给 Spark 计算任务,减少了 CPU 浪费,体现了 RDMA 的优势。

3. 网路 IO 优化:网路 IO 由阻塞模型改为非阻塞模型,数据接收由同步等待改为异步通知。避免了因为网路 IO 等待而 阻塞计算任务执行,提高了每个线程的任务吞吐量,提升了收发效率和带宽。

图 2:网络 IO 优化

4. 调度优化:worker 的调度方式改用全局 round-robin (RR) 调度模式,替代原有的按照 thread id 选择 worker 的 方式。避免了 thread id 不连续引起的多个线程选择同一 worker 的问题。

图 3:调度优化

5. 数据竞争优化:将 send / receive / progress 方法打包至独立线程运行,保证每个 worker 资源仅被单个线程 访问 / 修改,避免了数据竞争,提升了线程运行效率。

UCX 性能优化

1. 参数调优:使用 DC 替换 RC 模式,提升传输带宽,减少系统 CPU、内存资源消耗。开启 CQE zipping 和 PCI relax ordering 减少 PCI 负载。调整 UCX_ZCOPY_THRESH、UCX_RNDV_THRESH 和 UCX_RND_SCHEME,获得稳定高速的传输带宽。

2. 网络负载均衡优化:随机化 UDP 源端口取值,减轻由于固定端口,交换机对 5 元组哈希得到相同出端口而引起的 负载不均衡问题,优化网络传输带宽。

“Spark UCX 是 Apache Spark 的高性能 Shuffle Manager 插件,它使用 UCX 支持的 RDMA 和其他高性能传输来加速 Spark 作业中的 Shuffle 数据传输。RDMA DC(动态连接)是一种传输服务,旨在解决大型系统在使用可靠连接时的可扩展性问题。使用 DC,用户可以打开有限数量的资源,无论集群大小如何。这一优势对于 Spark 如此大规模的应用程序来说非常有好处,并且可以提高性能。”

—— Amit Krig

SVP, Software Engineering & Israel R&D Site Leader, NVIDIA

部署调优后性能提升明显

经过部署调优,NVIDIA ConnectX-6 环境 RDMA 传输性能比 TCP 平均有 18% 的提升;NVIDIA ConnectX-5 环境大部分场景 RDMA 传输性能比 TCP 平均有 16% 的提升。考虑到 Spark 任务有计算和本地 write,所以对 Spark 任务整体完成时间大概有 8% 的性能提升。

NVIDIA ConnetX-6 环境 RDMA 性能提升明显(RDMA read 通信 18% 左右提升,整体完成时间 8% 左右提升),可以大规模灰度部署 Spark 业务真实流量。NVIDIA ConnectX-5 环境大部分场景性能平均提升(RDMA read 通信 16% 左右提升,整体完成时间 6% 左右提升),部分场景 RDMA 性能较差还需要调测优化,可以灰度部署 Spark 业务,继续优化还有提升空间。

图 4:ConnectX-6 网卡 26 台规模 RDMA 完成时间比 TCP 低 20% 左右

图 5:ConnectX-5 网卡 37 台规模 RDMA 完成时间比 TCP 低 18% 左右

图 6:20 台规模 Spark 业务灰度测试,RDMA read 平均降低 20% 左右

后期计划

Spark 项目通过远程直接内存访问(RDMA)技术解决网络传输中服务器数据处理延迟问题,为腾讯 Spark 大数据平台业务提供高带宽、低延时的通信。该技术已在二十多台腾讯 Spark 大数据平台服务器完成灰度测试,运行稳定且 Spark Shuffle(数据读取速率)时间平均降低 15% - 18% 左右,减少了 Spark 任务完成时间(大约 8% 左右),节约了服务器资源。计划逐步部署到数千台 Spark 服务器。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
当着全世界的面,中俄美替老杜特尔特,说了一句公道话

当着全世界的面,中俄美替老杜特尔特,说了一句公道话

果妈聊娱乐
2026-11-20 13:42:11
IMF总裁用“海纳百川”喻APEC合作

IMF总裁用“海纳百川”喻APEC合作

新华社
2026-11-19 12:03:31
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

武汉48岁女律师倒在律所,“提成律师”伤亡能否认定工伤?

新京报
2026-11-19 19:45:16
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
别人问你退休金,记住一条铁律:先别报数,先说这 1 句

别人问你退休金,记住一条铁律:先别报数,先说这 1 句

普陀动物世界
2026-11-18 05:34:36
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
苏州一企业家获8000多万拆迁款,18年后被以诈骗罪判14年刑,家属:打击报复

苏州一企业家获8000多万拆迁款,18年后被以诈骗罪判14年刑,家属:打击报复

追月数星
2026-11-19 22:11:49
一位72岁老人的忠告:人这辈子,没有老伴,能熬;没有亲友,能熬;日子清苦,也能熬;但是没有独立住房,儿女再孝顺也过不下去

一位72岁老人的忠告:人这辈子,没有老伴,能熬;没有亲友,能熬;日子清苦,也能熬;但是没有独立住房,儿女再孝顺也过不下去

LULU生活家
2026-11-20 15:49:05
直线拉升!600360,2分钟涨停,封单超106万手

直线拉升!600360,2分钟涨停,封单超106万手

证券时报
2026-11-20 10:28:05
这技术怎么样?克雷桑社媒晒钓鱼照片,手提两条大鱼笑容满面

这技术怎么样?克雷桑社媒晒钓鱼照片,手提两条大鱼笑容满面

懂球帝
2026-11-20 11:47:07
深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

扶苏聊历史
2026-11-19 15:27:26
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
11月22日10时,成都将启动重污染天气黄色预警

11月22日10时,成都将启动重污染天气黄色预警

红星新闻
2026-11-20 16:09:03
官方回复:成都又一家医院,停业了

官方回复:成都又一家医院,停业了

呼呼历史论
2026-11-20 12:54:33
【微特稿】胡塞武装袭击致沙特主权基金大楼受损

【微特稿】胡塞武装袭击致沙特主权基金大楼受损

新华社
2026-11-19 19:38:02
iOS 28 改了,新 CEO 出手!

iOS 28 改了,新 CEO 出手!

哎咆
2026-11-19 15:21:45
赵本山唱慌啥子嘛,网友却说:你是不慌,我车贷房贷能不慌?

赵本山唱慌啥子嘛,网友却说:你是不慌,我车贷房贷能不慌?

蜜桔娱乐
2026-11-19 09:25:18
中俄美深圳和平宣言到底讲了什么?

中俄美深圳和平宣言到底讲了什么?

码头青年
2026-11-20 13:04:21
深圳APEC交通管制,今天几点解除限行!

深圳APEC交通管制,今天几点解除限行!

深圳本地宝
2026-11-20 13:26:59
2026-11-20 17:00:49
NVIDIA英伟达中国 incentive-icons
NVIDIA英伟达中国
英伟达(中国)官方账号
3764文章数 1463关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
健康
教育
本地
手机

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版