完全分布式HBase环境搭建【主要流程记录】

2018-11-03 本文已影响45人涛O_O

本文记录了完全分布式Hbase数据库安装过程中的主要流程以及遇到的问题。
若要查看详细操作步骤可以参考文末的资料。

1 安装HDFS

架构

3台虚拟机，名字分别为master，hadoop-2，hadoop-3。其中master为NameNode，其余机器为DataNode。

系统环境

Ubuntu 18.04操作系统

Hadoop版本

2.7.7

流程

(1/6) 先创建一台主机，完成基础配置，避免重复的工作

使用Vmware软件，虚拟出1台主机，命名为master，作为Master节点，并安装Ubuntu18.04操作系统。
在这台机器中，配置 hadoop 用户、安装 SSH server、安装 Java 环境、设置环境变量、安装必要的软件(vim,curl,wget等)。

(2/6) 克隆主机，修改网卡，修改hosts文件

克隆两个副本，分别命名为hadoop-2和hadoop-3。
开机前先修改副本的网卡地址（Mac地址），开机后确保ip互不相同。
修改主机名，修改hosts文件使主机名与ip地址对应。【127.0.0.1 localhost】一项需保留，文件IPv4部分的其他已有条目可删除。

hosts.jpg

(3/6) 配置ssh，使master可无密码登录至所有节点

在master中生成密钥，将生成的id_rsa.pub文件追加到authorized_keys文件中；
将master中生成的id_rsa.pub文件拷贝到hadoop2和hadoop3节点中，分别追加至authorized_keys文件中；
使用ssh测试能否从master节点无密码登录master、hadoop2、hadoop3节点。

(4/6) 在master中安装Hadoop，修改配置文件

解压hadoop文件至/usr/local文件夹，使用 chown -R 命令修改文件所属；
修改/usr/local/hadoop/etc/hadoop 中的5个配置文件：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
具体内容如下：

slaves

hadoop-2
hadoop-3

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

hdfs-site,xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

(5/6) 将master中的hadoop复制到其他节点中

打包hadoop文件夹中所有文件，拷贝到hadoop-2、hadoop-3中；
在hadoop-2、hadoop-3中分别解压，到/usr/local目录下，修改所属用户。

(6/6) 运行hadoop，验证是否安装成功

格式化，在master运行：hdfs namenode -format
启动hadoop：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过web查看运行状态：http://master:50070；
关闭hadoop：

stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

至此，HDFS就安装成功了，可以在其上面运行MapReduce任务等操作。

2 安装HBase

HBase 版本

1.3.2

架构

Node Name	Master	ZooKeeper	RegionServer
master	yes	yes	no
hadoop-2	backup	yes	yes
hadoop-3	no	yes	no

流程

(1/4) 在master中安装HBase，修改配置文件

解压HBase文件至/usr/local文件夹，使用 chown -R 命令修改文件所属；
修改/usr/local/hbase/conf下的配置文件：regionservers，backup-masters，hbase-site.xml
具体内容如下：

regionservers

hadoop-2
hadoop-3

backup-masters (若没有，需要手动创建)

hadoop-2

hbase-site.xml

<configuration>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,hadoop-2,hadoop-3</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>
</configuration>

(2/4) 在hadoop-2中，进行中安装Hadoop的第3步，使得hadoop-2可以无密码登录所有节点

进行这一步的原因是hadoop-2作为master的备份，也需要访问的其他节点权限。具体步骤参考安装Hadoop的第3步。

(3/4) 将hbase文件夹复制到其他节点中

打包hbase文件夹中所有文件，拷贝到hadoop-2、hadoop-3中；
在hadoop-2、hadoop-3中分别解压，到/usr/local目录下，修改所属用户。

(4/4) 运行hbase，验证是否安装成功

启动hbase：start-hbase.sh；
使用jps查看进程，按照以上步骤安装后，正常情况下的输出结果为 (id可以不同)：

master
26721 NameNode
31985 HMaster
31906 HQuorumPeer
26981 SecondaryNameNode
34088 Bootstrap
36489 Jps
27148 ResourceManager
27437 JobHistoryServer

hadoop-2
19968 Jps
15056 DataNode
18802 HMaster
18506 HQuorumPeer
15228 NodeManager
18653 HRegionServer

hadoop-3
12592 NodeManager
14946 HRegionServer
12422 DataNode
14792 HQuorumPeer
16090 Jps

进入hbase命令行：hbase shell；
完成基本的创建表，查询，删除等操作。若能正常运行，则说明安装成功；
通过web查看HBase运行状态：http://master:16010
停止hbase：stop-hbase.sh

这样，HBase 就安装成功了。

关机时，要先关闭HBase ，再关闭yarn和hdfs。不正确的关闭顺序可能导致下次HBase 无法正常启动

3 遇到的问题

1. 启动Hadoop或HBase 时，提示JAVA_HOME没有设置，但实际上已经在/etc/profile中设置了。

解决：分别在hadoop的 hadoop-env.sh文件和hbase的hbase-env.sh 文件中，再次设置JAVA_HOME即可。

2. 重新格式化HDFS后，再次启动hadoop失败

解决：在格式化之前，需要删除每个节点hadoop文件夹下的tmp文件夹和logs文件夹，以删除之前的数据和日志。

3. HBase 启动失败

解决：导致HBase 启动失败的原因有很多，我遇到的主要有以下几个：

在配置文件中指定的zookeeper存放目录，没有访问权限。需要将其所有者设置为当前用户
hosts文件配置错误，或者有不必要的项目
检查主节点master和备份主节点hadoop-2能否无密码登录所有节点，包括自身

如果尝试过很多方案都没有效果，那么最好的办法是重装一遍，避免浪费更多的时间。

4. 安装curl失败，原因是curl的某个依赖包在本地已存在一个更高的版本。

解决：尝试使用aptitude完成降级安装，但遇到新的错误。最终我是将那个已安装的依赖包删除，才装上了curl。
警告：装好后过了一段时间，这台主机莫名其妙的断网并且无法进入图形界面，不知道是不是和我删除了那个依赖包有关。因此不推荐删除依赖包的方法。

参考资料(有详细步骤)

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
HBase 官方文档