百问中台：数据中台之数据仓库脚本一键安装

2021-03-23 本文已影响0人 sknfie

概述

数据中台客户这边已经采购阿里这些大厂了，现在都不让提。我们就只能在阿里数据中台的基础上，做这些业务，主要通过数据仓库建模来实现。

安装包

准备安装环境

首先，建立大数据环境，通过一键安装脚本来实现。

//下载脚本
wget https://github.com/MTlpc/automaticDeploy/archive/master.zip

//在/home下创建hadoop目录，用于存放脚本
mkdir /home/hadoop

//解压到/home/hadoop目录下
unzip master.zip -d /home/hadoop
cd /home/hadoop
mv automaticDeploy-master/ automaticDeploy
cd automaticDeploy

1.定义安装包

配置frames.txt，填写安装包全称，以及需要安装的节点

# 通用环境
jdk-8u144-linux-x64.tar.gz true
azkaban-sql-script-2.5.0.tar.gz true
# Node01
hadoop-2.7.7.tar.gz true node01
# Node02
mysql-rpm-pack-5.7.28 true node02
azkaban-executor-server-2.5.0.tar.gz true node02
azkaban-web-server-2.5.0.tar.gz true node02
presto-server-0.196.tar.gz true node02
# Node03
apache-hive-1.2.1-bin.tar.gz true node03
apache-tez-0.9.1-bin.tar.gz true node03
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz true node03
yanagishima-18.0.zip true node03
# Muti
apache-flume-1.7.0-bin.tar.gz true node01,node02,node03
zookeeper-3.4.10.tar.gz true node01,node02,node03
kafka_2.11-0.11.0.2.tgz true node01,node02,node03

2.安装mysql、azkaban，需配置configs.txt，填写相关配置

# Mysql相关配置
mysql-root-password DBa2020*
mysql-hive-password DBa2020*
mysql-drive mysql-connector-java-5.1.26-bin.jar
# azkaban相关配置
azkaban-mysql-user root
azkaban-mysql-password DBa2020*
azkaban-keystore-password 123456

3.脚本设置执行权限

chmod +x hadoop/* systems/*

4.进入systems目录，执行batchOperate.sh脚本初始化环境

/home/hadoop/automaticDeploy/systems/batchOperate.sh

5.进入hadoop目录，选择对应组件的安装脚本，依次进行安装（需要在各个节点执行）

# 安装flume
/home/hadoop/automaticDeploy/systems/installFlume.sh
# 安装zookeeper
/home/hadoop/automaticDeploy/systems/installZookeeper.sh
# 安装kafka
/home/hadoop/automaticDeploy/systems/installKafka.sh

6. 配置host_ip.txt

192.168.2.191 node01 root 123456
192.168.2.192 node02 root 123456
192.168.2.193 node03 root 123456

7. 准备安装包

上传安装包frame.zip并分发到其他两个节点


//在192.168.2.192和192.168.2.193的/home下创建hadoop目录，用于存放脚本
mkdir /home/hadoop

scp -r automaticDeploy/ root@192.168.2.192:/home/hadoop
scp -r automaticDeploy/ root@192.168.2.193:/home/hadoop

安装步骤

系统环境及配置

1. 安装系统环境

每个节点都执行一遍

cd system
./batchOperate.sh

执行完成后，检查一下

ssh node01
ssh node02
ssh node03

2. 安装Hadoop

每个节点都执行一遍

cd hadoop
./installHadoop.sh
//完成后执行
source /etc/profile

初始化namenode，这个只在node01执行

hadoop namenode -format

start-dfs.sh

访问hadoop web界面：

http://192.168.2.191:50070/

hadoop管理portal

3. 安装mysql

在node02安装mysql：

./installMysql.sh

4. 安装hive

在node03安装hive：

./installHive.sh

5. 安装Sqoop

在node03安装Sqoop：

./installSqoop.sh

source /etc/profile

6. 安装Presto

每个节点都安装，主节点node02，因为在配置文件已经配置过主从了：

./installPresto.sh

7. 安装Azkaban