cdh的在线搭建
1,cdh的介绍
CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
Cloudera作为一个强大的商业版数据中心管理工具,提供了各种能够快速稳定运行的数据计算框架,如Apache Spark;使用Apache Impala做为对HDFS,HBase的高性能SQL查询引擎;也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化,提高运行效率;同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理,配置和监控Hadoop以及其它所有相关组件,并有一定的容错容灾处理;Cloudera作为一个广泛使用的商业版数据中心管理工具更是对数据的安全决不妥协!
CDH 提供:
灵活性 - 存储任何类型的数据,并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
集成 - 在一个可与广泛的硬件和软件解决方案配合使用的完整Hadoop平台上快速启动并运行。
安全 - 过程和控制敏感数据。
可扩展性 - 启用广泛的应用程序并进行扩展和扩展,以满足您的需求。
高可用性 - 充满信心地执行关键业务任务。
兼容性 - 利用您现有的IT基础设施和资源。
2,cdh的安装
1,准备工作:
需要搭建的服务器,将这几台服务器的yum是好的,可以ping通外网,自己可以相互ping通
都安装有scp(发送ssh的时候使用),免密登陆
其中yum源的挂载就不在这说了。
配置host(10.0.4.101 cdh001)
关闭防火墙
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
下载安装在线安装的文件(cloudera-manager-installer.bin)
因为不知道怎么放到这个上面,需要的话可以私聊发给你的(个人的微信也是可以的maochentingqiang)
2,配置服务器之间的免密登录
这是配置免密登录的一种,还有其他的方法也是可以的。这里为了方便只介绍这一种
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# scp ~/.ssh/authorized_keys slave1:/root/.ssh/
# scp ~/.ssh/authorized_keys slave2:/root/.ssh/
3,cdh的前期安装
1,改变 cloudera-manager-installer.bin 的执行权限
一般都是给777的权限
2,执行 cloudera-manager-installer.bin
./cloudera-manager-installer.bin
3.按照cloudera-manager的README 来安装
4.阅读Cloudera Manager Express License,然后按照提示选择YES来确定接受授权(license)
5.读取 Oracle 二进制 Code 授权许可协议,然后安装
6.当安装完成,Cloudera Manager 管理控制台会提供一个完成的url包括默认端口7180
到这里,整个cdh的搭建已经成功率一半了
4,cdh的后期安装
由于这种方法使用的是在线搭建的,如果网速不是很快的话,整个过程会特别的慢。不要着急,耐心等待一下就可以了
接下来cdh会让你选择安装的版本
选择你需要的版本就可以了
合适cdh的安装包中已有的软件包
选择需要安装的主机。每个主机一行就行了。点击继续一直到这一步
使用默认的安装,一直点击继续到安装界面
这个地方会遇到一个问题
解决方法(mv /usr/bin/host /usr/bin/host.bak)
在每个节点上执行这就话之后,重新安装
这是安装完成的最后界面
在安装完成后,需要选择安装服务。根据自己的需要和集群的配置,选择适合自己的服务
选择不同的安装服务,数据库的连接也是不一样的。可以参考下面的
需要选择安装的数据库。如果选择mysql的话,是需要给所有的服务器下发送觉得不错的jar才行
在点击下一步之前,一定要有测试连接。对于测试连接会有很多的问题,下篇文章会更新到,可以看下篇文章
到这里,整个就安装完成了
以上就是笔者在使用在线安装cdh的酥油步骤了,下篇文章会更新到所有出现的问题。
如果有问题的话,可以在下方评论或是私聊我。(个人微信也可以maochentingqiang)
cdh的在线搭建