cloudera集群搭建2：parcels方式安装

2017-06-02 本文已影响0人逆流而上kiss

cloudera

前言： cloudera集群的搭建，采用parcels方式安装，在真实IBM服务器环境下成功安装

cloudera集群搭四部曲：

一、集群服务器配置
二、外部数据库安装
三、安装cloudera manager
四、安装CDH

部署环境

操作系统：RedHat 6.4
cloudera manager版本：5.6.0
CDH版本：5.6.0
parcels版本：5.6.0
三个节点：
10.143.222.8 master
10.143.223.4 datanode1
10.143.223.12 datanode2

软件包下载地址

cloudera manager：https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.6.0/
CDH：https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.6.0/
parcels:https://archive.cloudera.com/cdh5/parcels/5.6.0/

parcels只需要下载三个文件
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1
manifest.json

注意：将CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1后缀名改为sha

一、集群服务器配置

1.1 设置主机名

$ vim /etc/sysconfig/network

分别设置三个节点主机名

HOSTNAME=master
HOSTNAME=datanode1  
HOSTNAME=datanode2

$ hostname master
$ hostname datanode1
$ hostname datanode2

1.2 编辑/etc/hosts

$ vim /etc/hosts

10.143.222.8   master
10.143.223.4   datanode1
10.143.223.12  datanode2

然后用scp把hosts文件拷贝到其它节点

1.3 关闭iptables

$ service iptables stop
$ chkconfig iptables off

1.4 关闭SELINUX

$ vim /etc/selinux/config
$ SELINUX=disabled

1.5 httpd服务

master节点：
将redhat6.4、cloudera manager、CDH和parcels上传到/var/www/html目录下

目录结构：
/var/www/html/cloudera-manager/5.6.0
/var/www/html/cloudera-cdh5/5.6.0
/var/www/html/redhat6.4
/var/www/html/parcels/5.6.0

如果安装包路径下没有repodata和RPMS目录则执行$> createrepo .例如：

$ cd /var/www/html/cloudera-manager/5.6.0
$ createrepo .
$ cd /var/www/html/cloudera-cdh5/5.6.0
$ createrepo .

注意：cloudera 5.6.0版本、redhat6.4和parcels不需要重新创建

启动httpd服务

$ service httpd start
$ chkconfig httpd on

1.6 创建yum源

$ vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]  
name=cloudera manager  
baseurl=http://master/cloudera-manager/5.6.0  
enabled=1
gpgcheck = 0

$ vim /etc/yum.repos.d/cloudera-cdh5.repo

[cloudera-cdh5]  
name=cloudera cdh5  
baseurl=http://master/cloudera-cdh5/5.6.0
enabled=1
gpgcheck = 0

$ vim /etc/yum.repos.d/rhel-source.repo

[rhel-source]  
name=Red Hat Enterprise Linux $releasever - $basearch - Source  
baseurl=http://10.143.222.8/redhat6.4/  
enabled=1  
gpgcheck=0

将文件同步到datanode1和datanode2

$ scp /etc/yum.repos.d/* datanode1:/etc/yum.repos.d/  
$ scp /etc/yum.repos.d/* datanode2:/etc/yum.repos.d/

重新生成yum缓存

$ yum clean all
$ yum makecache

1.7 ntp时间同步服务

1.7.1 修改时区

将时区修改为上海

$ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

1.7.2 修改/etc/sysconfig/clock文件

$ vim /etc/sysconfig/clock

ZONE="Asia/Shanghai" 
UTC=false 
ARC=false

1.7.3 设置当前时间

根据当前时间进行设置，例如：

$ date -s "2016-09-14 11:58:00"

1.7.4 修改master节点ntp.conf配置文件

$ vim /etc/ntp.conf

将下面这行

restrict default kod nomodify notrap nopeer noquery

改成：

restrict default kod nomodify notrap nopeer

将下面三行

server 0.rhel.pool.ntp.org  
server 1.rhel.pool.ntp.org  
server 2.rhel.pool.ntp.org

修改为：

server 127.127.1.0  
fudge 127.127.1.0 stratum 8

1.7.5 修改其他节点ntp.conf配置文件

$ vim /etc/ntp.conf

将下面三行

server 0.rhel.pool.ntp.org  
server 1.rhel.pool.ntp.org  
server 2.rhel.pool.ntp.org

修改为：

server 10.143.222.8

所有节点：

$ service ntpd start
$ chkconfig ntpd on

手动同步，例如：

$ ntpdate -u 10.143.222.8

二、外部数据库安装

2.1 安装mysql

这里采用mysql数据库，具体安装方法请看cloudera集群搭建1:准备步骤之mysql数据库搭建

2.2 创建所需要的数据库和用户

mysql> create database scm default character set utf8;
mysql> grant all on scm.* TO 'scm'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

mysql> create database amon default character set utf8;
mysql> grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

mysql> create database rman default character set utf8;
mysql> grant all on rman.* TO 'rman'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

mysql> create database metastore default character set utf8;
mysql> grant all PRIVILEGES on metastore.* TO 'hive'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

mysql> create database sentry default character set utf8;
mysql> grant all PRIVILEGES on sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456'  WITH GRANT OPTION;

mysql> create database nav default character set utf8;  
mysql> grant all PRIVILEGES on nav.* TO 'nav'@'%' IDENTIFIED BY '123456'  WITH GRANT OPTION;  

mysql> create database navms default character set utf8;
mysql> grant all PRIVILEGES on navms.* TO 'navms'@'%' IDENTIFIED BY '123456'  WITH GRANT OPTION;  
 
mysql> flush privileges;

三、安装cloudera agent和cloudera manager

3.1 安装JDK

所有节点：

$ yum install oracle-j2sdk1.7

配置Java环境变量，执行：

$ ln -s /usr/java/jdk1.7.0_67-cloudera  /usr/java/default  
$ echo -e 'export JAVA_HOME=/usr/java/default' >> /etc/profile   
$ echo -e 'export PATH=$JAVA_HOME/bin:$PATH'>> /etc/profile  
$ echo -e 'export CLASSPATH=.:$JAVA_HOME/lib'>> /etc/profile  
$ source /etc/profile

3.2 安装cloudera manger agent

所有节点：

$ yum -y install cloudera-manager-agent

修改 cloudera-manager-agent配置文件,将server_host修改为master

$ vim /etc/cloudera-scm-agent/config.ini

server_host=master

3.2 安装cloudera manager server

master节点:

$ yum install cloudera-manager-server cloudera-manager-deamons

将parcels复制到/opt/cloudera/parcel-repo

$ cp /var/www/html/parcels/5.6.0/*.* /opt/cloudera/parcel-repo

3.3 需要访问mysql的节点上安装mysql-connector-java.jar

将数据库驱动mysql-connector-java.jar放到/usr/share/java目录下，用于cloudera manager连接mysql数据库

注意： 下载的mysql驱动要改名为mysql-connector-java.jar或者用ln命令建立链接

3.4 为cloudera manager配置外部数据库

$ /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm 123456

3.5 启动服务

所有节点：

$ service cloudera-scm-agent start

master节点：

$ service cloudera-scm-server start

3.6 禁用大页

$ echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
$ echo never > /sys/kernel/mm/transparent_hugepage/enabled
$ echo never > /sys/kernel/mm/transparent_hugepage/defrag

在/etc/rc.local中添加

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag  
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

3.7 swappiness设置为0

$ vim /etc/sysctl.conf

在sysctl.conf中添加：

 vm.swappiness = 0

然后执行：

$ sysctl -p

四、安装CDH

地址：http://master:7180
账号：admin
密码：admin

4.1 选择安装集群的版本

这里选择试用版

选择试用版

4.2 选择需要安装CDH的节点

选择需要安装CDH的节点

4.3 选择parcels方式

点击更多，设置URL
本地地址：/opt/cloudera/parcel-repo
远程地址：http://10.143.222.8/parcels/5.6.0/

parcels安装方式

4.4 检查主机正确性

在parcels安装完后就到了这里
如果检查出现任何潜在问题，你可以到集群中进行修复，修复后点击“重新运行”
解决所有问题后，点击“继续”

检查主机正确性

]

4.5 选择要安装的服务

自定义服务：HDFS和YARN
之后如果还需要其他服务再另外添加

选择要安装的服务

4.6 选择具体分配的角色

NameNode：master节点
SecondaryNameNode：datanode1节点
DataNode选择所有主机
其他默认选择master节点，然后点击“继续”

按主机查看分配角色

分配角色

4.7 数据库设置

数据库设置

4.8 审核更改

默认值，点击“继续”

4.9 启动集群

完成后点击“继续”
如果没有错误就完成了安装

cloudera集群搭建2：parcels方式安装

cloudera集群搭四部曲：

部署环境

软件包下载地址

一、集群服务器配置

1.1 设置主机名

1.2 编辑/etc/hosts

1.3 关闭iptables

1.4 关闭SELINUX

1.5 httpd服务

1.6 创建yum源

1.7 ntp时间同步服务

1.7.1 修改时区

1.7.2 修改/etc/sysconfig/clock文件

1.7.3 设置当前时间

1.7.4 修改master节点ntp.conf配置文件

1.7.5 修改其他节点ntp.conf配置文件

二、外部数据库安装

2.1 安装mysql

2.2 创建所需要的数据库和用户

三、安装cloudera agent和cloudera manager

3.1 安装JDK

3.2 安装cloudera manger agent

3.2 安装cloudera manager server

3.3 需要访问mysql的节点上安装mysql-connector-java.jar

3.4 为cloudera manager配置外部数据库

3.5 启动服务

3.6 禁用大页

3.7 swappiness设置为0

四、安装CDH

4.1 选择安装集群的版本

4.2 选择需要安装CDH的节点

4.3 选择parcels方式

4.4 检查主机正确性

4.5 选择要安装的服务

4.6 选择具体分配的角色

4.7 数据库设置

4.8 审核更改

4.9 启动集群

猜你喜欢

热点阅读