CDH5.7.0离线安装

2016-04-26 本文已影响0人发条香蕉

系统环境：CentOS 6.5
内存：主节点4G及以上，其他节点2G及以上

准备工作

以下步骤要在所有节点上执行

1.修改hostname

vi /etc/sysconfig/network

2.关闭SELinux

vi /etc/selinux/config
#修改SELinux=disabled

3.关闭防火墙

sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list

4.配置网络

vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no"，ONBOOT="yes"
service network restart
#重启服务
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置静态IP

5.修改Hosts文件

127.0.0.1          localhost

192.168.1.101  master
192.168.1.102   slave1
192.168.1.102   slave2

6.配置ssh免登陆

#生成ssh免登陆密钥
ssh-keygen -t rsa
#执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
#将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost

7.重启主机

reboot -f

下载安装文件

1.下载cloudera-manager.repo

[cloudera-manager]
    # Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
    name=Cloudera Manager
    baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
    gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera    
    gpgcheck = 1

2.下载CM install
3.下载CM rpms
4.下载CDH Parcel文件，只需要下载

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
manifest.json
这三个文件。

注意：.sha1文件后缀更改为.sha，同时把内容只保留hash码部分。

Cloudera Manager安装

以下步骤在所有节点执行：

将cloudera-manager.repo文件拷贝到所有节点的/etc/yum.repos.d/文件夹下
验证repo文件是否起效

yum list|grep cloudera
#如果列出的不是你安装的版本，执行下面命令重试
yum clean all 
yum list | grep cloudera

3.将之前下载的rpms文件拷贝到所有节点下（任意目录）
切换到rpms目录下，执行

yum -y install *.rpm

4.将之前下载的Parcel那3个文件拷贝到/opt/cloudera/parcel-repo目录下（如果没有该目录，请自行创建）
至此，/opt/cloudera/parcel-repo下面有三个文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha

以下步骤请只在主节点上执行：

1.将下载好的bin文件拷贝到主节点任意目录下
2.进入该目录，给bin文件赋予可执行权限，并安装

sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin

CDH集群安装

CM安装成功后浏览器输入http://ip:7180,ip是CM安装的主机ip或者主机名。显示如下界面，用户名和密码都输入admin，进入web管理界面。

1.选择部署的版本，这里我们选择免费版的就可以了。
2.一直继续，在选择添加主机界面。输入主机ip或者主机名，点击搜索。

这里如果选择一系列主机可以输入如下的内容：

192.168.1.[101-105]
slave[1-3].com.cn

勾选要添加的主机，继续下一步
3.选择存储库，选择我们下好的版本就行了,其他全选无, JDK不需要勾选。
4.提供SSH登陆凭据，由于CDH会自动管理所有主机间的SSH通讯，所以我们之前并没有手动配置各个节点间的SSH免密登录。在这里统一设置就行了，设置好密码点继续。
5.集群安装，等就好了。
6.安装Parcel到所有主机上，时间会比较长继续等。
7.主机检查
8.安装服务
CDH5提供了你可能需要的各种服务，需要什么启动什么就行了。这里我选择了自定义，添加HBase，HDFS，MapReduce和ZooKeeper，这里大家按照自己的需求选。

9.角色分配

10.数据库设置
CDH默认内嵌了一个数据库，如果你需要MySQL或者Oracle请选择使用自定义数据库，点击测试连接，成功后点继续。

11.审核更改，默认就行了，到这里集群已经安装部署完成了，CDH会自动对你选择的服务进行初始化设置，你也可以稍后自行开启。

初始化完成后，将进入主页面