玩儿数据 - Centos7 CDH 5.X离线安装

2018-05-23 本文已影响0人怒放的葱花

CDH是一套开源的Hadoop Stack封装，提供开箱即用的Hadoop组件平台，结合Cloudera Manager(CM)工具使得集群的安装、扩展、管理、监控变得非常简单方便，使我们可以忽略繁琐的组件安装和配置过程，在大量减少工作量的同时也帮我们避免了很多可能出现的坑。

cloudera

企业级应用强烈建议使用CDH及CM，较小规模的集群建议按实际情况选择（如单独的Spark计算集群，用CDH反而会变得繁琐），所以说还是根据自身的需求进行架构和选择

环境及资源准备

软硬件环境：

CentOS 7.X
CDH 5.14（其他版本同理，下面所有资源和操作都使用相同版本即可）

节点信息：

192.168.10.10    node10
192.168.10.11    node11
192.168.10.12    node12

在此我们选择node10作为主节点
注意：此处说的主节点并非Hadoop Stack组件的主节点，而是CM的主节点，CM通过该主节点控制各个Agent（即slave），具体组件的集群分布可通过CM进行配置及动态调整

安装文件准备：

因为是完全的离线安装，所以我们需要准备好全部的软件包资源

下载CM Installer：该文件是CM安装程序的引导文件，提供图形界面帮助我们完成安装
下载CM rpm：此目录下的所有文件都需要下载，这些文件即CM组件的软件包和依赖，其中还包含两个JDK，JDK需要使用CM提供的版本，自己安装在系统中的JDK并不能被识别到，会影响后面的Hadoop组件安装和运行
下载CM parcel:parcel是CDH对Hadoop及相关组件封装的打包文件，即Hadoop组件的安装文件，
这里需要下载的文件有3个：
- parcel文件：根据自己的系统版本找到对应的文件，该文件大小在1-3GB不等
- parcel文件对应的sha1签名文件
- manifest.json

至此，您应该已经准备好如下文件：

开始安装

首先，配置各个节点的Host，各节点防火墙。CDH无需进行免密SSH配置

CM Agent安装(所有子节点)

建立目录存放安装文件，如这里使用/root/cdh_5.14，并将对应的安装文件传至该目录，你应该得到：
安装所有rpm软件包

cd /root/cdh_5.14
yum install -y *rpm

CM Master安装

建立目录存放安装文件，如这里使用/root/cdh_5.14，并将对应的安装文件传至该目录
赋予cloudera-manager-installer.bin执行权限：chmod u+x cloudera-manager-installer.bin你应该得到：
建立parcel目录存放离线的hadoop组件安装包，使用CM默认的：/opt/cloudera/parcel-repo，并将parcel文件放至该目录，你应该得到：
安装所有rpm软件包

cd /root/cdh_5.14
yum install -y *rpm

启动CM安装引导程序

cd /root/cdh_5.14
./cloudera-manager-installer.bin

您应该会看到：

此时我们删除/etc/cloudera-scm-server/db.properties文件重新运行./cloudera-manager-installer.bin即可继续安装。安装时可使用CM内嵌的数据库，若在生产环境上安装则需要外部数据库存储CM及相关组件的信息，一般我们使用Mysql存储，可以在安装完成之后进行修改即可
重新执行引导应该能看到：

此时只需要一直下一步进行安装即可，界面会显示安装进度

出现如下界面即表示CM Web UI已安装并启动，接下来的安装可以通过Web UI完成

根据指示访问主节点的http://192.168.10.10:7180即可打开，若无响应稍等刷新即可。使用默认admin账户登录CM，各种License各种同意即可

此处根据自己的需要，选择对应的版本，我们选择免费版

此处搜索我们集群中的各个节点，包括主节点和子节点，成功后将看到

继续安装，将进入镜像选择

我们已经提前准备好了镜像并已经放到了CM默认的目录，继续安装即可，若镜像未在指定目录，通过界面上的更多选项按钮修改即可

由于JDK我们已经完成安装，此处直接继续即可

是否使用单用户模式根据自己的情况决定，说明也指出了单用户和多用户的优劣势

进行镜像分发和解压安装

注意：在这一步的安装过程中发现CM一直不识别该镜像，并且尝试去下载镜像，再三检查确认文件本身并无问题，发现CM开始对镜像的操作使用的是cloudera-scm账户，所以需要把镜像3个文件的归属用户和组都调整为cloudera-scm

cd /opt/cloudera
# 改变文件归属用户和组
chown cloudera-scm:cloudera-scm *

执行该操作后返回第5步，再继续，然后稍等一会儿就可以正常识别了

至此安装CM安装已经完成了，后面根据自己的需要安装组件即可