异构计算时代需要新的数据处理基准测试

数据基础设施正在经历几十年来最重要的变革。生成式AI和异构加速计算环境的兴起正在重塑现代数据栈的核心需求，这些环境结合了不同类型的硬件。快速且经济高效地处理复杂数据集以支持AI和分析已成为决定运营效率和基础设施投资回报率的关键因素。

历史上，数据处理性能主要由查询规划器的复杂程度和执行引擎的性能决定，并假设底层硬件在各个系统中是相同的。此外，现有的数据处理基准测试（如TPC-DS和TPC-H）旨在在工作负载层面测试系统的性能和效率。

如今的数据中心配备了各种加速计算硬件，包括GPU、TPU和FPGA，数据处理性能和效率越来越受这些硬件组件的影响。曾经标准化的基础设施层已演变为具有不同优势和局限性的异构计算环境。

几乎每个硬件厂商都声称其硬件最适合数据处理，并引用峰值FLOPS、内存带宽和张量吞吐量等规格。但这些规格可能无法直接转化为真实数据处理工作负载的性能。例如，GPU可能标榜28千万亿次浮点运算能力，但其中大部分计算能力位于与ETL任务无关的张量核心中。即使规格相关，实际结果往往依赖于日益复杂的系统级交互，如CPU到GPU的连接、GPU到GPU的数据移动、系统中CPU与GPU的比例、内存容量和内存带宽。

对于负责设计集群和预测吞吐量的运营人员来说，规格表性能与真实工作负载性能之间的差距带来了重大风险：电力使用效率低下、加速器容量闲置以及可能持续数年的次优节点配置。

结果是日益增长的脱节。数据中心运营商被迫基于不完整和误导性的指标做出关键的基础设施决策。正如CoreMark等基准测试帮助标准化CPU在各种任务中的性能一样，显然我们需要一种标准化的方法来测量当今的加速硬件，以确定哪些处理器在核心数据处理任务中表现最佳。

有效现代基准测试的特性

要使这样的基准测试产生影响，它必须准确反映现代基础设施的现实情况，而不是依赖过时的假设。实际上，这意味着要满足几个关键标准：

系统级测量

系统级测量是基础。基准测试必须评估节点内整个系统的性能，而不是评估单个组件。这要求数据集足够大，无法完全放入主机内存，迫使基准测试测量实际的数据移动模式和内存层次结构。这种方法防止具有更大缓存的系统获得不公平的优势，提供更真实的性能评估。

厂商中立

为确保在不同技术和架构之间进行公平比较，基准测试不能绑定到单一厂商。它还必须设计得避免偏向任何特定厂商的技术或方法，允许组织根据其特定需求而不是基准测试优化做出明智决策。

反映现代分布式系统

为准确反映现代分布式计算环境，基准测试应有效评估单节点和横向扩展多节点配置的性能。

覆盖多样化工作负载

ETL、商业智能和生成式AI工作负载各自对数据处理管道的不同方面产生压力。ETL工作负载强调扫描、投影、过滤、聚合和连接等操作，而商业智能工作负载增加了JSON处理、洗牌操作、窗口函数和Top-K查询的复杂性。生成式AI还引入了围绕数据提取、过滤、令牌化和嵌入生成的全新需求。全面的基准测试必须能够考虑所有此类工作负载。甚至可能需要对每个工作负载类别进行单独评估，认识到针对传统商业智能查询优化的系统可能无法在AI数据准备任务中表现良好。

前进之路

基准测试不仅仅是技术练习，它们塑造了企业评估技术和投资解决方案的方式。显然，没有现有的基准测试能够捕捉当今异构计算环境的细节以及各种加速硬件在数据处理方面的优势。

然而，开发这样的基准测试不是任何单一公司能够独自解决的挑战。它需要全行业合作来定义、验证和采用服务于整个生态系统的新标准。硬件厂商、软件开发商、数据中心运营商和最终用户需要协作创建准确反映现代数据处理系统性能特征的基准测试。

对于数据中心运营商来说，风险是显而易见的。数十亿美元正在投资于新的数据中心开发，这些设施的有效规划、设计和运营依赖于准确理解不同加速器在真实数据处理工作负载下的性能表现，而不是合成或面向训练的指标。行业有机会创建一个现代基准测试，提供做出更明智基础设施决策、避免代价高昂的错误步骤以及确保系统针对定义AI和分析未来的工作负载进行优化所需的清晰度。

Q&A

Q1：为什么现有的数据处理基准测试不适用于现代异构计算环境？

A：现有的基准测试如TPC-DS和TPC-H是基于硬件统一的假设设计的，主要测试查询规划器和执行引擎的性能。但现代数据中心包含GPU、TPU、FPGA等多种加速硬件，性能越来越依赖这些异构组件的复杂交互，传统基准测试无法准确反映这种复杂的系统级性能表现。

Q2：硬件厂商宣传的性能规格为什么不能直接反映实际数据处理能力？

A：厂商常引用峰值FLOPS、内存带宽等规格，但这些指标可能与实际工作负载无关。比如GPU的28千万亿次计算能力大部分在张量核心中，对ETL任务没用。实际性能还依赖CPU-GPU连接、数据移动、内存容量等系统级因素，规格表与真实性能存在很大差距。

Q3：新的数据处理基准测试应该具备哪些特性？

A：新基准测试需要满足四个关键标准：系统级测量整个节点性能而非单一组件；厂商中立避免偏向特定技术；反映现代分布式系统的单节点和多节点配置；覆盖ETL、商业智能和生成式AI等多样化工作负载需求，每种工作负载可能需要单独评估标准。