HDFS系统的搭建

2017-10-20 本文已影响135人陈_志鹏

系统搭建之前必须要有 java运行环境、关闭防火墙、集群之间要互相ping通！

我的机器有1个NameNode节点,3个DataNode节点

ip:192.168.56.104 NameNode

192.168.56.105 DataNode1

192.168.56.106 DataNode2

192.168.56.107 DataNode3

还有就是一些简单的Linux命令要会使用，下面开始搭建步骤。

1、解压hadoop

2，配置hadoop的java运行环境

hadoop的java运行环境

编辑hadoop-env.sh这个文件配置上java的环境地址

3、在Linux中配置hadoop环境

vim /etc/profile

为了在Linux环境中能使用hadoop命令编辑profile加入以下以下环境变量。

wq 保存后输入hadoop 按回车出现以下内容安装完毕

4、每台hadoop节点都必须要配上自己所属NameNolde，并且设置DataNode数据存放的地方

编辑core-site.xml

vim hadoop/hadoop-2.7.3/etc/hadoop/core-site.xm

5、为了方便启动使用SSH免密登录、这里不多讲可以参考以下链接

为了能使用一个命令启动整个HDFS集群，修改slaves文件

vim hadoop/hadoop-2.7.3/etc/hadoop/slaves

(大家注意！！！：我这里是错误的！ HDFS域名不能有下划线，这是昨天截的图所以没改)

这里主要是在NameNode 配置属于他的DataNode，这些域名要通过修改hosts文件说简单点换成IP也行。

6、在NameNode节点格式化HDFS

输入命令 hdfs namenode -format

修改 hdfs-site.xml 文件

vim hdfs-site.xml

在configuration标签里加入以下内容：

6、启动HDFS集群

输入命令：start-dfs.sh

等待一下下整个集群就能成功了，如果启动失败可以再logs文件夹中查看失败日志

如果能成功启动输入命令：jps你会看到节点都能起来如下：

又或者可以打开游览器输入 NameNode的ip端口为：50070

比如我访问：http://192.168.56.104:50070，你会看到NameNode带着3个DataNode

7、创建文件

NameNode节点输入：hadoop fs -mkdir /FirstFile

你会看见多了一个你刚刚创建的文件

8、上传文件到HDFS系统中

NameNode节点输入：hadoop fs -put/要上传的文件路径 /HDFS文件存放路径

你会看到这个文件已经分块上传到了HDFS系统中了。

当然啦还有很多很多的命令，我也是刚刚初学，用到的的时候可以查文档。