PostgreSQL技术大讲堂 - 第45讲：poc-tpcc测试

PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。

第45讲：POC-TPCC测试

PostgreSQL第45讲：3月2日(周六)19:30，钉钉群（35822460）& 视频号（数据库老陈）直播

内容1：TPC-C介绍

内容2：TPC-C测试部署

内容3：TPC-C报告

TPC背景介绍

TPC组织：

事务处理性能测试委员会TPC(Transaction process performance Council)是一个专门负责制定计算机事务处理能力测试标准并监督其执行的组织，其总部位于美国，针对数据库不同的使用场景TPC组织发布了多项测试标准，其中被业界广泛使用的有TPC-C 、TPC-E，TPC-H和TPC-DS，前两者应用到OLTP，后两者应用到OLAP场景。

OLTP与OLAP区别

联机事务处理OLTP(on-line transaction processing) 主要是执行基本日常的事务处理，比如数据库记录的增删查改。比如在银行的一笔交易记录，就是一个典型的事务。高并发，高性能，且满足事务的ACID特性。

联机分析处理OLAP(On-Line Analytical Processing) 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态的报表系统。对实时性要求不高，数据量大

测试标准-OLTP

OLTP测试模型一直是TPC组织的重点测试标准，TPC-C测试模拟了一个比较复杂的OLTP应用环境， 是一个在线零售公司，此公司对10W种商品进行销售，TPC-E是对TPC-C升级版本，但是目前POC选型时普通使用的仍然是TPC-C标准，先简单介绍两个标准的差异

TPC-C介绍

TPC-C业务数据模型：

tpc-c模拟的是一个在线零售公司，假如以一个仓库为例，仓库对10W种商品进行销售，具备针对用户进行水平扩展的能力，即建立更多的仓库。

每个仓库负责10个区域，每个区域有单独的订单系统，每个区域管理3000个顾客，因此一个仓库负责3W个客户。树状图如下图

TPC-C业务数据模型：

TPC-C 业务涉及到的9张表以及ER图介绍：

1)ITEM 商品信息表：10w条商品信息，保持不变

2)warehouse 仓库表：按需库容，比如上图表示有W个仓库，则有W条记录

3)Stock 库存表:每个仓库有10W条商品的库存信息，因此总数目为W*10w

4)district区域表: 每个仓库管理10个区域，因此有W*10条记录

5) custoer客户表：每个仓库负责10个区域，每个区域管理3000个客户，因此客户数为W*3w

6 ) Order订单表：每次客户下单会生成一条记录，会持续增长，不删除，初始化为每个客户一条订单，因此初始值为W*3w

7) New-Order新订单表：没有发货的订单，发货后即删除，初始值为每个仓库9000条记录，因此为W*9000

8)order-line订单明细表：每个订单会购买5-15件商品(平均为10)，对于每件商品都要记录到这里，因此它的数目约为Order的10倍，会持续增长，不删除，初始值为W*30w

9) history表：历史信息表，没有主键，不需要查询，每次支付的时候生成一条记录，初始值为W*3w条

TPC-C业务数据模型：

TPC-C测试部署

1、安装JAVA (root)

gzip -d jdk-8u40-linux-x64.gz

tar –vxf jdk-8u40-linux-x64 -C /usr/local

2、安装ant (root)

unzip apache-ant-1.9.15-bin.zip

mv apache-ant-1.9.15 /usr/local/

3、配置pg环境变量

export JAVA_HOME=/usr/local/jdk1.8.0_40

export PATH=$JAVA_HOME/bin:$PATH:/usr/local/apache-ant-1.9.15/bin/

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib:/usr/local/apache-ant-1.9.15/lib/ant-launcher.jar

4、解压安装包benchmarksql (pg)

unzip benchmarksql-5.0.zip

cd benchmarksql-5.0/

ant #执行ant命令

5、编辑PG相关运行参数

cd run/

vim props.pg

props.pg文件内容：

db=postgres

driver=org.postgresql.Driver

conn=jdbc:postgresql://localhost:1922/tpcc

user=tpcc

password=123456

//warehouses与后面生成数据时指定的warehouses值要一致，根据客户实际的需求设置

warehouses=10

//并发客户端

terminals=10

runTxnsPerTerminal=0

//运行时长，单位为分钟

runMins=3

limitTxnsPerMin=10000

//Set to true to run in 4.x compatible mode. Set to false to use the

//entire configured database evenly.

terminalWarehouseFixed=true

//The following five values must add up to 100

//The default percentages of 45, 43, 4, 4 & 4 match the TPC-C spec，测试结果要达到下面每张表的交易要求才算通过

newOrderWeight=45

paymentWeight=43

orderStatusWeight=4

deliveryWeight=4

stockLevelWeight=4

6、PG数据库上创建tpcc数据库以及tpcc用户，密码为123456

7、建立测试库，并加载数据

./runDatabaseBuild.sh props.pg

8、运行基准测试

./runBenchmark.sh props.pg

测试结果

07:55:13,970 [Thread-1] INFO jTPCC : Term-00,

07:55:13,970 [Thread-1] INFO jTPCC : Term-00,

07:55:13,970 [Thread-1] INFO jTPCC : Term-00, Measured tpmC (NewOrders) = 3814.05

07:55:13,970 [Thread-1] INFO jTPCC : Term-00, Measured tpmTOTAL = 8499.38

07:55:13,970 [Thread-1] INFO jTPCC : Term-00, Session Start = 2022-01-04 07:52:13

07:55:13,970 [Thread-1] INFO jTPCC : Term-00, Session End = 2022-01-04 07:55:13

07:55:13,970 [Thread-1] INFO jTPCC : Term-00, Transaction Count = 25499

3814.05 TpmC //每分钟处理完成的事务数，该值=第一次统计结果 new-order成功事务数/总运行时间(分钟)

生成html测试结果

1、安装R命令

yum install epel-release

yum install R

2、产生html报告

./generateReport.sh my_result_2022-01-17_094510

3、报告指标

New-Order :新订单

Payment:支付

Order-Status:订单查询

Delivery:发货

Stock-Level :库存

4、html报告(5个仓库)

[transaction percentage]

New-Orders：45.112%(>=45.0%) [OK]

Payment: 42.681% (>=43.0%) [NG]

Order-Status: 4.166% (>= 4.0%) [OK]

Delivery: 4.017% (>= 4.0%) [OK]

Stock-Level: 4.024% (>= 4.0%) [OK]

[response time (at least 90% passed)] //响应耗时指标必须超过90%通过才行

New-Order: 99.481% [OK]

Payment: 99.4% [OK]

Order-Status: 99.97% [OK]

Delivery: 99.99% [OK]

Stock-Level: 99.72% [OK]

Overall tpmC: 4324.00

Overall tpmTotal: 9585.00

4、html报告(10个仓库)

[transaction percentage]

New-Orders：44.687%(<=45.0%) [NG]

Payment: 43.293% (>=43.0%) [OK]

Order-Status: 3.904% (<= 4.0%) [NG]

Delivery: 4.204% (>= 4.0%) [OK]

Stock-Level: 3.912% (<= 4.0%) [NG]

[response time (at least 90% passed)] //响应耗时指标必须超过90%通过才行

New-Order: 99.06% [OK]

Payment: 99.01% [OK]

Order-Status: 99.62%[OK]

Delivery: 99.93% [OK]

Stock-Level: 99.83% [OK]

Overall tpmC: 3975.33

Overall tpmTotal: 8896.00

数据一致性验证

6条验证数据一致性的sql，通过验证仓库和区域收入是否相等来判断数据是否一致，预期以下6条sql结果都为0

第一条：

SELECT distinct w_ytd - ytd_sum

FROM bmsql_warehouse LEFT JOIN

(SELECT d_w_id, SUM(d_ytd) AS ytd_sum

FROM bmsql_district

GROUP BY d_w_id) d

ON w_id = d_w_id;

第二条：

select distinct * from

(SELECT (D_NEXT_O_ID - 1 - max_o_id) as id

FROM bmsql_district LEFT JOIN

(SELECT o_w_id, o_d_id, MAX(o_id) AS max_o_id

FROM bmsql_oorder

GROUP BY o_w_id, o_d_id) o

ON d_w_id = o_w_id AND d_id = o_d_id

ORDER BY d_w_id, d_id) tmp ;

第三条：

select distinct * from

(SELECT D_NEXT_O_ID - 1 - max_o_id

FROM bmsql_district LEFT JOIN

(SELECT no_w_id, no_d_id, MAX(no_o_id) AS max_o_id

FROM bmsql_NEW_order

GROUP BY no_w_id, no_d_id)

no_w_id ON d_w_id = no_w_id

AND d_id = no_d_id

ORDER BY d_w_id, d_id) as tmp;

第四条：

select distinct (count(no_o_id)-(max(no_o_id)-min(no_o_id)+1)) as diff

from bmsql_NEW_order

group by no_w_id,no_d_id;

第五条：

select distinct * from

(SELECT sum_cnt - count_id

FROM

( SELECT o_w_id, o_d_id, SUM(o_ol_cnt) as sum_cnt

FROM bmsql_oorder

GROUP BY o_w_id, o_d_id ) o LEFT JOIN

( SELECT ol_w_id, ol_d_id, COUNT(ol_o_id) count_id FROM bmsql_order_line

GROUP BY ol_w_id, ol_d_id )

ol_w_id ON o_w_id =ol_w_id AND o_d_id = ol_d_id) tmp;

第六条：

SELECT distinct sum_ytd - w_ytd

FROM

( SELECT d_w_id, SUM(d_ytd) AS sum_ytd

FROM bmsql_district

GROUP BY d_w_id) d

LEFT JOIN bmsql_warehouse w ON d_w_id = w_id;

CUUG PostgreSQL技术大讲堂系列公开课第45讲-POC-TPCC测试的内容，往期视频及文档，请联系CUUG。