本节主要内容：

单namenode节点HDFS环境部署

1.系统环境：

OS：CentOS Linux release 7.5.1804 (Core)

CPU：2核心

Memory：1GB

运行用户：root

JDK版本：1.8.0_252

Hadoop版本：cdh5.16.2

2.集群各节点角色规划为：

172.26.37.245 node1.hadoop.com namenode

172.26.37.246 node2.hadoop.com datanode

172.26.37.247 node3.hadoop.com datanode

一.安装

1.namenode节点

       # yum install hadoop-hdfs-namenode -y

2.datanode节点

     # yum install  hadoop-hdfs-datanode -y

二.配置文件

1.core.xml(namenode,datanode),所有namenode节点和datanode节点的core配置文件一样。

     # vi /etc/hadoop/conf/core-site.xml

     configuration增加以下内容

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://node1.hadoop.com:8020</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/tmp</value>

  </property>

  <property>

    <name>dfs.name.http-address</name>

    <value>0.0.0.0:50070</value>

  </property>

</configuration>

2.hdfs-site.xml(namenode,datanode),所有namenode节点和datanode节点的core配置文件一样。

     # vi /etc/hadoop/conf/hdfs-site.xml

     configuration变更为以下内容

<configuration>

<property>

  <name>dfs.namenode.name.dir</name>

  <value>file:///data/hdfs/name</value>

</property>

<property>

  <name>dfs.datanode.name.dir</name>

  <value>file:///data/hdfs/data</value>

</property>

</configuration>

3.每个节点创建相对应的文件夹

     # mkdir -p /data/hdfs/name

     # mkdir -p /data/hdfs/data

     # mkdir -p /home/hadoop/tmp

4.设置权限

     # chown -R hdfs:hdfs /data/hdfs/name

     # chown -R hdfs:hdfs /data/hdfs/data

     # chown -R hdfs:hdfs /home/hadoop/tmp

5.datanode节点启动

     # systemctl start hadoop-hdfs-datanode

     # systemctl status hadoop-hdfs-datanode

6.namenode节点初始化hdfs

     #sudo -u hdfs hdfs namenode -format

7.namenode节点启动

     # systemctl start hadoop-hdfs-namenode

     # systemctl status hadoop-hdfs-namenode

8.namenode节点上测试hdfs

     #sudo -u hdfs hadoop fs -mkdir /tmp    ####创建tmp文件夹

     #sudo -u hdfs hadoop fs -chmod -R 1777 /tmp  #### 修改权限

     #sudo -u hdfs hadoop fs -ls /          #### 查看文件

9.通过管理页面查看节点情况

访问页面http://172.26.37.245:50070

三.配置文件补充说明

1./etc/hadoop/conf/core-site.xml配置文件说明

fs.defaultFS

默认文件系统的名称。一个URI和权威确定文件系统实现的方案。

uri的计划决定配置属性(fs.SCHEME.impl)命名文件系统实现类。

uri的权威是用来确定主机、端口等对于一个文件系统

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://node1.hadoop.com:8020</value>

  </property>

2./etc/hadoop/conf/hdfs-site.xml配置文件说明

dfs.name.dir

指定hdfs中namenode的存储位置

如果这个参数设置为多个目录，那么这些目录下都保存着元信息的多个备份。

  <property>

    <name>dfs.name.dir</name>

    <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value>

  </property>

dfs.data.dir 

指定hdfs中datanode的存储位置

我们可以将这个参数设置为多个分区上目录，即可将HDFS建立在不同分区上。

<property>

    <name>dfs.data.dir</name>

    <value>/dev/sda3/hadoopdata/,/dev/sda1/hadoopdata/</value>

</property>