Hadoop三节点集群搭建

2019-11-08 本文已影响0人 HideOnStream

Mac下利用vmware fushion安装centos服务器，然后搭建Hadoop集群。

准备工作

安装好三台 Linux 虚拟机，配置好静态ip，关闭防火墙，关闭selinux，更改主机名，同步时间，配置好hadoop用户，并设置免密登录，最好安装好JDK。详细参考：Zookeeper三节点集群搭建。
安装过程中涉及到的软件：
hadoop-2.6.0-cdh5.14.2.tar.gz，下载地址

安装过程

上传hadoop安装包，进行解压
mac命令行中执行：

cp hadoop-2.6.0-cdh5.14.2.tar.gz hadoop@node01:/kkb/soft
ssh hadoop@node01
cd /kkb/soft
tar -xzvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /kkb/install

配置hadoop环境变量

配置环境变量

vim /etc/profile
# 增加：
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
# PATH增加：
$HADOOP_HOME/bin:$HADOOP_HOME/sbin

验证环境变量

source /etc/profile
hadoop version

配置hadoop-env.sh

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hadoop-env.sh
# 找到JAVA_HOME，并设置为：
export JAVA_HOME=/kkb/install/jdk1.8.0_141

配置core-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/core-site.xml
# 修改其内容为：
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
    </property>
    <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
         <value>10080</value>
         <description>检查点被删除后的分钟数。 如果为零，垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。           如果垃圾箱被禁用服务器端，则检查客户端配置。 如果在服务器端启用垃圾箱，则会使用服务器上配置的值，并忽略客
         户端配置值。
         </description>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>0</value>
        <description>垃圾检查点之间的分钟数。 应该小于或等于fs.trash.interval。
        如果为零，则将该值设置为fs.trash.interval的值。 每次检查指针运行时，
        它都会从当前创建一个新的检查点，并删除比fs.trash.interval更早创建的检查点。
        </description>
    </property>
</configuration>

配置hdfs-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/hdfs-site.xml
#  修改其内容为：
<configuration>
    <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
    <!--   集群动态上下线 
    <property>
        <name>dfs.hosts</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/accept_host</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/deny_host</value>
    </property>
     -->
     <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node01:50090</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
    </property>
    <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
    </property>
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/mapred-site.xml
# 修改其内容为：
<!--指定运行mapreduce的环境是yarn -->
<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
</configuration>

配置yarn-site.xml

vim /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/yarn-site.xml
# 修改其内容为：
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
         <name>yarn.log.server.url</name>
         <value>http://node01:19888/jobhistory/logs</value>
    </property>
    <!--多长时间聚合删除一次日志 此处-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
    </property>
    <!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
    </property>
    <!--指定文件压缩类型用于压缩汇总日志-->
    <property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
    </property>
    <!-- nodemanager本地文件存储目录-->
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/yarn/local</value>
    </property>
    <!-- resourceManager  保存最大的任务完成个数 -->
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
    </property>
</configuration>

编辑slaves
此文件用于配置集群有多少个数据节点,我们把node2，node3作为数据节点,node1作为集群管理节点.
配置/kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop目录下的slaves

vim slaves
# 将localhost这一行删掉，并且增加：
node01
node02
node03

mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

远程复制hadoop到集群各个机器

分发hadoop安装文件到node02，node03

cd /kkb/install
scp -r hadoop-2.6.0-cdh5.14.2 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 node03:$PWD

分发全局环境配置文件/etc/profile到node02，node03

sudo scp /etc/profile node02:/etc/profile
sudo scp /etc/profile node03:/etc/profile

使集群中所有机器的环境变量生效

ssh node02
source /etc/profile
hadoop version
exit
ssh node03
source /etc/profile
hadoop version
exit

格式化hadoop
注意格式化hadoop只用在namenode上进行，也即node01上进行。

hdfs namenode -format

启动集群

在node01上启动hadoop集群

start-all.sh
# 启动完成后，可以执行 jps查看进程
jps

在浏览器界面中输入：http://192.168.2.100:50070/，查看namenode的web界面。

namenode

运行hello, world!

mapreduce程序(行话程为词频统计程序(中文名),英文名：wordcount)，就是统计一个文件中每一个单词出现的次数，也是我们学习大数据技术最基础，最简单的程序，入门必须要会要懂的第一个程序，其地位和java，php，c#，javascript等编程语言的第一个入门程序HelloWorld(在控制台打印“hello world！”等字样)程序一样，尤为重要,不同的是它们是单机应用程序，我们接下来要运行的程序(wordcount)是一个分布式运行的程序，是在一个大数据集群中运行的程序。wordcount程序能够正常的运行成功，输入结果，意味着我们的大数据环境正确的安装和配置成功

hdfs dfs -ls /
# 在hadoop目录下创建测试文件
hdfs dfs -mkdir /test
# 在本地创建一个文件
touch words
vim words
# 编辑内容如下：
i love you
you love him
# 将测试文件上传到hadoop上的测试目录
hdfs dfs -put words /test
#/ test/words 是hdfs上的文件存储路径 /test/output是mapreduce程序的输出路径，
# 这个输出路径是不能已经存在的路径，mapreduce程序运行的过程中会自动创建输出路径
# 数据路径存在的话会报错
hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/words /test/output
# 查看运行结果：
hdfs dfs -cat /test/output/part-r-00000

停止集群

stop-all.sh