@IT·大数据大数据，机器学习，人工智能Hadoop系

Centos7+CDH5.7.2集群搭建

2019-03-31  本文已影响3人  StoneHeart

Centos7+CDH5.7.2集群搭建

一、前期准备

1、虚拟机配置（本例为3节点）

主节点：8g内存、硬盘120g

从节点：2g内存、硬盘120g

2、软件资源
1.JDK
2.Scala
3.MySQL相关包
4.CDH安装相关包
5.系统CentOS 7版本

相关资源链接如下

3、集群的规划
IP地址 主机名 说明
192.168.75.41 cdh01 主节点、从节点
192.168.75.42 cdh02 从节点
192.168.75.43 cdh03 从节点

二、开始安装前配置和预装软件

1、服务器配置

每台节点服务器的有关配置，包括网络，IP、hostname、selinux，防火墙，DNS等。

在虚拟机安装centos7时选择compute node配置即可

1.1 设置本地虚拟机网络的连接模式及网关

用于集群节点之前的通信及外网访问

虚拟机1.png 虚拟机2.png 虚拟机3.png 虚拟机4.png

1.2 节点的IP配置

cd /etc/sysconfig/network-scripts/
IP1.png 
vi /etc/sysconfig/network-scripts/ifcfg-ens33
IP2.png 虚拟机4.png 
#重启网卡
service network restart
#查看IP地址
ifconfig
IP3.png

1.3 hostname修改

下以节点cdh01为例，其他如下配置改下hostname
此处修改完成需要重启才能生效

vi /etc/sysconfig/network

#配置内容
NETWORKING=yes
HOSTNAME=cdh01

1.4．关闭防火墙

#查看防火墙状态
firewall-cmd --state
#停止防火墙的服务 
systemctl stop firewalld 
#禁止开机启动
systemctl disable firewalld

1.5 selinux关闭

vi /etc/sysconfig/selinux

SELINUX=disabled

重启才能生效，重启后检查。

sestatus -v

SELinux status: disabled #表示已经关闭了。

1.6 免密登录配置

安装过程中master需要各个节点的root免登录密码，先在master上生成公钥：(在每个节点顺序执行以下命令)

ssh-keygen
ssh-copy-id root@192.168.75.41
ssh-copy-id root@192.168.75.42
ssh-copy-id root@192.168.75.43

1.7 ip和主机名映射关系

vi /etc/hosts
#内容如下
127.0.0.1   localhost
::1         localhost
192.168.75.41 cdh01
192.168.75.42 cdh02
192.168.75.43 cdh03

内容如上，保存退出，然后可以使用scp命令将这个配置拷贝给其他主机。

scp /etc/hosts root@192.168.75.42:/etc/hosts

1.8 NTP服务器设置(可选，节点较少，节点时间偏差不大（5分钟内）可不配置)

节点时间同步配置

所有节点都需安装
yum -y install ntp

1.在主节点cdh01执行
vi /etc/ntp.conf
2.注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器
server ntp.sjtu.edu.cn iburst
3.在两个从节点执行
vi /etc/ntp.conf
注释掉所有server *.*.*的指向，新添下面一条把ntp指向master服务器地址(/etc/ntp.conf下)
server cdh01 iburst
4.所有节点启动服务
service ntpd start
5.查看ntp服务状态
ntpq –p
ntp1.jpg

如上图，可以看到offset和jitter都有对应的值，remote中带星号（*）的为ntp挡圈选中的授时服务点，LOCAL表示本机，所以可以看到当前选择的授时服务点即为本机。

2、第三方依赖包

2.1 其他依赖

所有节点执行


yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi

2.2 MySQL connector jar包

这个环节只需要在主节点上进行即可。

1.在cdh01上准备mysql的jar包：
mkdir -p /usr/share/java
2.修改jar包的名字，并拷贝到/usr/share/java/目录：
cp mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar

2.3 安装jdk

这个是所有服务的基础，每个节点都需要安装。

1．卸载jdk
安装之前首先检查一下，你的服务器是否默认安装了OpenJDK，如果系统自带了，就需要卸载，步骤如下：

#检查是否安装
[root@cdh01~]java -version
java version "1.7.0_75"
OpenJDK Runtime Environment     (rhel-2.5.4.2.el7_0-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
#查看需要卸载的包
[root@cdh01~]rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#卸载
[root@cdh01~]yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh01~]yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#再次检查
[root@cdh01~]java -version
bash: /usr/bin/java: No such file or directory
如果没有安装，则可以跳过此步骤。
2．安装jdk
mkdir -p /usr/share/jdk/

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/share/jdk/

vi /etc/profile


#在文件中追加
export JAVA_HOME=/usr/share/jdk/jdk1.8.0_191/
export PATH=$PATH:$JAVA_HOME/bin

#保存退出之后，这里还需要设置一个软连接：
mkdir /usr/java
ln -s /home/software/jdk1.8 /usr/java/default
注：CDH平台安装的时候默认寻找的jdk路径为/usr/java。

2.4 安装Scala

这个是spark服务的基础，每个节点都需要安装。

mkdir -p /usr/scala/
tar -zxvf scala-2.11.0.tgz -C /usr/scala/

vi /etc/profile

#在文件中追加
export SCALA_HOME=/usr/scala/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

2.5 安装mysql

MySQL的安装只需要在主节点进行即可。

1.卸载mariadb
[root@cdh01]rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
2.如存在上述情形，按照下面卸载
[root@cdh01]rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64
3.安装mysql
    3.1创建用户及用户组
        #增加用户组mysql：
        groupadd mysql
        #增加用户mysql，加入mysql用户组：
        useradd -r -g mysql mysql
    3.2安装MySQL
        #安装server：
        rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
        #安装client：
        rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
    3.3添加随机启动
        cp /usr/share/mysql/mysql.server /etc/init.d/mysqld
    3.4启动MySQL
        service mysqld start
    3.5修改密码
        cat /root/.mysql_secret #此密码只能用来修改密码使用。
        mysqladmin -u root -p  password root
    3.6连接测试
        #连接进入mysql，命令如下：
        mysql -u root -p
        root
        #查看mysql的安装运行路径，命令如下：
        ps -ef|grep mysql

2.6 MySQL相关问题

   #打开文件，
   vi /usr/my.cnf 
   #如果此路径下无该文件请用命令
   find / -name my.cnf

   
   #追加配置项，停止权限验证
   skip-grant-tables=1 
   
   #重启mysql服务
    service mysqld restart

3 创建数据库（CDH用）

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4.前置预置环境检查

为了给后续安装减少重装风险，在这里进行预置环境检查。如果后续安装有误，可退回到这一步重新安装。

check1.png check2.png check3.png 
    firewall-cmd --state
    sestatus -v
check6.png check4.png check5.png check7.png check08.png

三 安装Cloudera-Manager

将Cloudera相关的四个包，如下：

cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel

CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1

manifest.json

上传到所有的服务器上，在所有的服务器上执行以下操作。

3.1 安装CM

解压cm tar包到指定目录，先创建目录，命令操作如下：

[root@cdh01 ~]mkdir /opt/cloudera-manager
[root@cdh01 ~]tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager

创建cloudera-scm用户

#创建
[root@cdh01 ~]useradd -r -d /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
#查看
[root@cdh01 ~]id cloudera-scm

3.2 配置

[root@cdh01 ~]/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hcdh01 -uroot -proot --scm-host cdh01 scmdbn scmdbu scmdbp

说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：

mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。

-hcdh01：数据库建立在cdh01主机上面。也就是主节点上面。

-uroot：root身份运行mysql。-proot：mysql的root密码是root。

--scm-host cdh01：CMS的主机，一般是和mysql安装的主机是在同一个主机上。

最后三个参数是：数据库名，数据库用户名，数据库密码。
执行完成命令正常如下：

cm1.png

3.3、启动服务

cm2.png

至此所有节点上的配置安装完毕

四、服务安装

1、web登录

在浏览器中输入192.168.75.41:7180。

出现下图登录界面，默认用户名和密码：admin

web1.png

出现这个界面说明CM已经安装成功了，下面就在这个web界面中部署各种服务了。

2、web引导安装

web2.png web3.png web.png web4.png web5.png

这个地方要注意这个地方有两项没有检查通过

所有节点执行

    echo 0 > /proc/sys/vm/swappiness
    echo never > /sys/kernel/mm/transparent_hugepage/defrag

然后再点击上面的重新运行会发现这次全部检查通过了。

web6.png web7.png web8.png web9.png web10.png web11.png web13.png
上一篇 下一篇

猜你喜欢

热点阅读