CDH安装

在前期准备工作完成的基础上,安装cdh的步骤:
1. 解压cloudera manager安装包, 一定要解压到 /opt 目录下 
2. 将mysql的驱动复制到lib目录下,初始化cdh的元数据库
/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
3. 修改agent配置, 使得  serverhost 指向主节点  
vi  /opt/cm-5.16.1/etc/cloudera-scm-agent/config.ini
serverhost = node01 
4. 使用 scp 命令将cloudera manager软件分发到各个节点上
scp -r /opt/*   root@node02:/opt/
5. 在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6. 将Parcel安装包复制到主节点的/opt/cloudera/parcel-repo/
一定要修改CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1的后缀名,将 sha1 改为 sha 
7. 启动脚本
仅仅server节点启动命令: 
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start 
所有agent节点启动命令: 
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start 
8. 查看启动状态
netstat  -anp  | grep 7180

重新安装cdh的必备准备步骤

1. 停止所有cloudera-scm-agent服务 和cloudera-scm-server服务
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server stop
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent  stop

2. 删除cdh的元数据 cm 数据库

3. 删除cdh中的数据：
rm -rf /opt/cm-5.16.1/lib/cloudera-scm-agent/*

4. 删除大数据组件中的数据, 比如删除 hdfs, yarn 的数据 
rm   -rf   /yarn/
rm   -rf   /dfs/

5. 开始重新安装

关于mysql的注意点

注意点: 
1. 关闭mysql的密码检测机制
2. mysql开启远程连接
具体操作细节在另外一篇博客中:
https://www.jianshu.com/writer#/notebooks/23954014/notes/37925823

#创建hive,monitor,hue,oozie表
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#保证mysql的驱动复制到 /opt/cm-5.16.1/share/cmf/lib 后, 初始化cdh的元数据库
/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

一些bug

bug1 =>
cdh安装hdfs时报错
Failed to deploy client configuration to the cluster.
原因： 
依赖包perl未安装  
解决:
yum install -y perl

bug2  => 
初始化cdh的元数据库的时候总是失败  
原因: 
由于mysql的密码过于简单
解决: 
修改mysql的配置:
1. 关闭mysql的密码检测机制,否则简单密码会导致初始化mysql元数据库失败;
2. 开启mysql的远程登陆机制;