95.TPC-DS的编译和使用

2022-01-21 本文已影响0人大勇任卷舒

95.1 演示环境介绍

root用户操作
RedHat版本：7.3

95.2 操作演示

1.准备环境

http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp

将下载下来的v2.8.0rc4.zip文件解压至当前目录

[root@ip-186-31-16-68 ~]# unzip v2.8.0rc4.zip

安装TPC-DS编译依赖环境

[root@ip-186-31-16-68 ~]# yum -y install gcc gcc-c++ expect

2.TPC-DS编译

进入解压好的v2.80rc4/tools目录下

[root@ip-186-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools

[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-186-31-16-68 tools]# make

3.建表语句

进入/root/v2.8.0rc4/tools，查看tpcds.sql文件，该文件则是这些数据的基本建表语句

[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-186-31-16-68 tools]# ll *.sql

4.生成测试数据

在tools目录是通过dsdgen命令生成指定量级的测试数据，可以通过并行的方式生成数据，可以指定数据的分隔符等，具体参数可以使用dsdgen –h来查看
进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据
- 这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常
- SCALE：指定生成数据量大小如：100GB、200GB、1TB、100TB

[root@ip-186-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-186-31-16-68 tools]# cd /root/v2.8.0rc4/tools/               
[root@ip-186-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata

查看生成的表数据

[root@ip-186-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-186-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-186-31-16-68 tpcdsdata]# du -sh .

并行生成测试数据

[root@ip-186-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4

5.模板生成查询语句

通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句，TPC-DS默认支持以下模板：db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl，如下使用方式：
- 如使用Oracle来作为示例来生成Oracle的查询语句：

[root@ip-186-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle

在生成query.sql文件时会报错，错误信息如下：

[root@ip-186-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-186-31-16-68 tools]#

需要手动的去修改tempalte_query目录下相应的模板，如query1.sql为例修改：

6.总结

利用TPC-DS工具可以很方便的生成指定数据量的测试数据
在使用建表语句时需要根据测试环境对建表语句作相应的修改
同样99条SQL查询语句也需要根据数据库类型进行相应的修改

95.TPC-DS的编译和使用

95.1 演示环境介绍

95.2 操作演示

猜你喜欢

热点阅读