CM+CDH构建企业大数据平台(7)--安装部署Cloudera
安装Cloudera Manager Agent
1、登录CM页面之后首先会看到如下界面:即选择要安装哪种类型Cloudera Express,CM的汉化做的比较好,大家直接按照汉语标注即可判断3者之间的区别,目前我们选择免费版,因为既不用花钱,又可以满足目前学习的需求。所以我们就可以点击”免费”,然后点击”继续”。
2、进入如下界面,我们将看到我们可以选择安装的服务名称,暂时不用做任何的选择,直接点击“继续”即可。
3、 进入如下界面,按照填写主机名的模式提示把要安装CDH的节点的主机名填写到如下会话框中然后点击“搜索”。
4、点击搜索之后,出现3台主机对应的信息之后就表明3台主机已经准备就绪,接下来就可以在这3台主机上安装cdh相关的组件。如果前边的操作没有问题,我们都能看到如下搜索结果,然后点击“继续”即可。
5、 进入如下界面,然后选择“使用Parcel”,然后选择CDH的版本,即CDH5.8.0。
然后选择“自定义存储库”,存储库的地址即为/etc/yum.repos.d/myrepo.repo文件中的baseurl指定的值。这样就可以通过本地yum进行相关的下载。然后点击“继续”。
6、进入如下界面之后,进行JDK的安装,然后点击“继续”。
7、进入如下界面,启用单用户模式,然后点击“继续”。
8、 进入如下界面,进行SSH登录凭据配置,比如输入root用户名和密码,然后点击“继续”即可。
9、进入如下界面之后,即开始相关服务的安装,只要不报错,就一直等着,直到出现下图所示,即表示安装成功,然后点击“继续”。
如果出现以下错误:
rm -rf /tmp/scm_prepare_node.*
rm -rf /tmp/.scm_prepare_node.lock
10、进入如下界面之后,即开始安装选定的Parcel包。只要不报错,就一直等着,直到出现下图所示,这样在对应节点的/opt/cloudera/parcels/目录下就有了相应的CDH包。然后点击“继续”。
11、进入如下界面之后,将进行主机的安全性检查,正常情况下我们会发现有如下两个问题。
可以不用处理,也可以按照建议进行如下处理。即在3台主机上分别执行如下命令即可分别解决这两个问题。本质就是修改对应文件的两个值。
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
以上两个命令在各个节点执行完成之后,点击重新检查,正常情况下,我们将发现前边的两个警告已经消除,然后点击”继续”即可。
11、进入如下界面之后,然后可选择要一键安装CDH服务组合或自定义安装包含的任何组件。如果每个节点的内存够大,比如超过10GB,那么就可以选择一键安装CDH的相关服务组合,如果内存比较小,建议还是一个一个组件进行自定义安装。
12、当然也可以直接点击左上角的Cloudera MANAGER进入主页面进行相关软件的安装。如下图所示。
OK,到此为止,CM和CDH就安装部署成功,接下来就可以通过图形化界面进行相关服务组件的安装。