CDH5离线安装步骤

2018-10-18 本文已影响0人 david9

准备

建议最少4台物理机或者虚拟机（一个控制节点，3个数据节点），4核16G，硬盘500G，挂载根目录
如果用于学习，可以4核8G，如果是生产部署，推荐8核32G以上
系统为CentOS7.6，使用root用户登录
CDH版本为5.13.1

配置hosts（所有节点）

假设4个节点IP为：

10.88.36.200
10.88.36.201
10.88.36.202   
10.88.36.203

其中：

10.88.36.200作为控制节点
10.88.36.201-10.88.36.203作为数据节点

在所有节点的/etc/hosts中添加：

10.88.36.200 cdh1
10.88.36.201 cdh2
10.88.36.202 cdh3
10.88.36.203 cdh4

修改hostname（所有节点）

分别登录各个节点，修改hostname为cdh1，cdh2，cdh3，cdh4：

hostnamectl set-hostname YOUR_HOST_NAME

开启ssh免登录（cdh1）

在cdh1节点上执行：

ssh-keygen -t rsa -b 2048

一路回车，并拷贝至所有节点：

ssh-copy-id cdh1
ssh-copy-id cdh2
ssh-copy-id cdh3
ssh-copy-id cdh4

关闭防火墙（所有节点）

在所有节点上执行：

systemctl stop firewalld
systemctl disable firewalld

安装jdk8（所有节点）

在所有节点上执行：

yum install java-1.8.0-openjdk -y

安装mysql（cdh1）

在cdh1节点上安装mysql5.7，建议从官网下载rpm包安装

配置mysql（cdh1）

修改/etc/my.cnf，在末尾添加：

default-storage-engine=INNODB
character-set-server=utf8
collation-server=utf8_general_ci

然后重启mysql：

systemctl restart mysqld

修改mysql密码及权限（cdh1）

在cdh1上，获取mysql临时密码：

cat /var/log/mysqld.log | grep -i password

登录mysql，卸载validate_password插件：

SET PASSWORD = PASSWORD('C@p19U#qfo');
UNINSTALL PLUGIN validate_password;

修改密码及权限：

grant all privileges on *.* to 'root'@'%'  identified by 'C@p19U#qfo';

安装mysql驱动（所有节点）

在官网上下载mysql-connector-java-5.1.47.tar.gz，解压出 mysql-connector-java-5.1.47.jar
执行：

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

下载cloudera资源：

cloudera manager & agent:

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

parcel:

http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parce
http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.13.1/manifest.json

安装cloudera manager（cdh1节点）

解压cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

tar -zxvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz -C /opt

修改agent配置，将host_server修改为master

vim /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

新建 cloudera-scm用户：

useradd --system --home-dir /opt/cm-5.13.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

初始化数据库:

/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p'C@p19U#qfo' --scm-host localhost scm root 'C@p19U#qfo'

初始化parcel（cdh1）

mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel /opt/cloudera/parcel-repo
mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha.1 /opt/cloudera/parcel-repo/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha
mv manifest.json /opt/cloudera/parcel-repo

启动cloudera manager（cdh1）

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server start

安装agent（所有数据节点）

将master节点的/opt/cm-5.13.1目录拷贝至所有控制节点的/opt目录下

scp -r /opt/cm-5.13.1 root@cdh2:/opt
scp -r /opt/cm-5.13.1 root@cdh3:/opt
scp -r /opt/cm-5.13.1 root@cdh4:/opt

在所有数据节点，新建 cloudera-scm用户：

useradd --system --home-dir /opt/cm-5.13.1/run/cloudera-scm-agent --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

启动cloudera agent（所有数据节点）

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

安装cloudera

打开浏览器，访问10.88.36.200:7180（启动比较慢，需要1-2分钟）
默认用户名/密码： admin/admin
按照步骤安装即可（建议选择社区版安装）

问题

如果zookeeper安装错误，提示权限问题或找不到version-2目录，在zookeeper节点上执行：

mkdir -p /var/lib/zookeeper/version-2
chown  -R zookeeper:zookeeper /var/lib/zookeeper 
chmod -R 755 /var/lib/zookeeper

如果其他组件安装错误(如yarn)，提示权限问题，在相关节点上执行：

chown  -R hdfs:hdfs /var/lib/hadoop-hdfs
chown  -R httpfs:httpfs /var/lib/hadoop-httpfs
chown  -R kms:kms /var/lib/hadoop-kms
chown  -R mapred:mapred /var/lib/hadoop-mapreduce
chown  -R yarn:yarn /var/lib/hadoop-yarn
chmod -R 755 /var/lib/hadoop-*