大数据04-Hadoop 基础

下载hadoop-2.7.5进行演示

1、解压

2、配置

配置文件在$HADOOP_HOME/etc/hadoop/目录下

hadoop-env.sh
修改他的 JAVA_HOME

core-site.xml
配置默认文件系统和临时目录

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop-2.7.5/data</value>
</property>

hdfs-site.xml
配置副本数

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

vim slaves
修改域名

namenode 格式化

在$HADOOP_HOME/bin 目录下

./hdfs namenode -format

namenode 格式化成功

启动 Hadoop

在 $HADOOP_HOME/sbin 目录

先启动 hdfs

./start-dfs.sh

之后一路 yes 加上 Linux 的密码

使用 jps查看下

dfs 启动

可以看到 NameNode 、DataNode和SecondaryNameNode 都成功启动了

浏览器输入 http://192.168.31.122:50070/,可以看到

image

搭建 Yarn

进入$HADOOP/etc/hadoop/目录
拷贝一份mapred-site.xml进行配置

 cp mapred-site.xml.template mapred-site.xml

配置 yarn 作为 MapReduce 的调度框架

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

启动 yarn,进入$HADOOP_HOME/sbin/目录

./start-yarn.sh

查看启动 yarn

可以浏览器打开 http://192.168.31.122:8088

image

测试

测试 HDFS

测试 yarn
进入目录 $HADOOP_HOME/share/hadoop/mapreduce

image
执行

hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 2 3

可以同时浏览http://192.168.31.122:8088/cluster

image
image

到此为止 Hadoop 环境基本成功