96.hive-testbench与Hive

2022-01-24 本文已影响0人大勇任卷舒

96.1 演示环境介绍

1.准备环境
clone hive-testbench源码下载：

https://github.com/hortonworks/hive-testbench.git

下载至本地目录

[root@ip-186-31-16-68 ~]# git clone https://github.com/hortonworks/hive-testbench.git

安装hive-testbench编译依赖环境

[root@ip-186-31-16-68 ~]# yum -y install gcc gcc-c++

2.编译hive-testbench并打包
进入hive-testbench目录

[root@ip-186-31-16-68 ~]# cd hive-testbench/
[root@ip-186-31-16-68 hive-testbench]# ll

在hive-testbench目录下执行如下脚本进行编译打包

[root@ip-186-31-16-68 hive-testbench]# ./tpcds-build.sh

3.生成并加载数据

在hive-testbench目录下执行如下脚本生成并加载测试数据
- 10表示生成的数据量大小GB单位
- /extwarehouse/tpcds表数据数据生成的目录，目录不存在自动生成，如果不指定数据目录则默认生成到/tmp/tpcds目录下

[root@ip-186-31-16-68 hive-testbench]# ./tpcds-setup.sh 10 /extwarehouse/tpcds

4.总结
在编译hive-testbench项目时需要有外网环境，在编译的过程会下载Maven的安装包、下载Maven依赖以及TPC-DS的源码通过脚本的方式运行TPC-DS的99条SQL来做Hive、Impala、Presto等服务的基准测试