Hadoop单机部署2019-03-11
Hadoop单机部署
1. Hadoop介绍
Hadoop是一个能够对海量数据进行分布式处理的系统架构。
Hadoop框架的核心是：HDFS和MapReduce。
HDFS分布式文件系统为海量的数据提供了存储，
MapReduce分布式处理框架为海量的数据提供了计算。
2. Hadoop安装
2.1 安装java
Hadoop是使用JAVA写的，所以需要先安装JAVA环境。
本次安装的是hadoop-2.7.0，需要JDK 7以上版本。
查看是否安装jdk：java -version
# yum install java-1.7.0-openjdk
# yum install java-1.7.0-openjdk-devel
安装后确认# java –version
2.2 需要ssh和rsync（远程数据同步工具）
查看ssh有没有安装：rpm -qa|grep ssh
若没有则安装：yum -y install openssh openssh-client openssh-server openssh-askpass
查看ssh服务状态：service sshd status
重启ssh服务：service sshd restart
查看rsync有没有安装：rpm -qa|grep rsync
若没有则安装：yum -y install rsync
rsync的用法：https://www.cnblogs.com/noxy/p/8986164.html
Linux系统一般都已经默认安装了，如果没有，yum安装。
2.3 下载Hadoop
从官网下载Hadoop最新版2.7.0
# cd /usr/local/
#wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
将hadoop解压到/usr/local/下
# tar zxvf hadoop-2.7.7.tar.gz
2.4 设置环境变量
设置hadoop和JAVA的环境变量.
JAVA_HOME是JDK的位置
查看jdk的路径：
进入目录：cd /usr/lib/jvm
查看jdk：ll
找到java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64
将jdk的路径配置到环境变量/etc/profile中
查看hadoop路径,进入hadoop的bin目录：cd/usr/local/hadoop-2.7.7/bin
查看目录路径：pwd 将pwd的结果/usr/local/hadoop-2.7.7/bin配置到/etc/profile中
2.4.1# vi /etc/profile
Export PATH=/usr/local/hadoop-2.7.7/bin:$PATH
Export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64
//请根据个人计算机安装情况，设置本机的JAVA_HOME
让设置生效：# source /etc/profile
2.4.2设置Hadoop的JAVA_HOME
# cd /usr/local/hadoop-2.7.7/
# vi etc/hadoop/hadoop-env.sh
Export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64
2.4.3关闭linux系统的防火墙(centos6)
[root@djt002 ~]# service iptables status
[root@djt002 ~]# chkconfig iptables off //永久关闭防火墙
[root@djt002 ~]# service iptables stop //临时关闭防火墙
[root@djt002 ~]# service iptables status
iptables: Firewall is not running. //查看防火墙状态
//Centos7的方法如下
systemctl status firewalld//查看防火墙的状态
systemctl stop firewalld//关闭防火墙
2.5关闭SELinux
SELinux一共有3种状态，分别是Enforcing，Permissive和Disabled状态。第一种是默认状态，表示强制启用，第二种是宽容的意思，即大部分规则都放行。第三种是禁用，即不设置任何规则。只能通过setenforce命令来设置前面两种状态，而如果想修改为disable状态，需要修改配置文件，同时重启系统。我们先看修改，Enforcing状态的值是1，permissive状态是0，因此设置为permissive，命令就是：
setenforce 0
查看一下SELinux的状态: getenforce
设置SELinux为permissive：setenforce 0
将selinux的状态设置成disabled
vi /etc/selinux/config
SETLINUX=disabled
到此，Hadoop的安装就算完成了，接下来进行部署和使用。
3. 单机部署
这种模式是，1个节点上运行，HDFS daemon的 NameNode 和 DataNode、YARN daemon的 ResourceManger 和 NodeManager，分别启动单独的java进程，主要用于调试。
3.2.1 修改设定文件
# vi etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
# vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.2.2 设定本机的无密码ssh登陆
# ssh-keygen -t rsa
截图如下：
[root@localhost hadoop-2.7.7]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:M83eJALeKFPvO6awt28JpubVxiC87s6RYGLUKqlqex0 root@localhost
The key's randomart image is:
+---[RSA 2048]----+
| |
| . |
| . . o |
|.... o = o |
|+oo = + S + . |
|+o . Eo= = + |
|. *oo.=.. . |
|.. +o*..=. |
|o.o=B.o*o. |
+----[SHA256]-----+
再执行下面的命令
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3.2.3 执行Hadoop job
MapReduce v2 叫做YARN，下面分别操作一下这两种job
3.2.4 执行MapReduce job
3.2.4.1 格式化文件系统
# hdfs namenode -format
3.2.4.2 启动名称节点和数据节点后台进程
# sbin/start-dfs.sh
在localhost启动一个1个NameNode和1个DataNode，在0.0.0.0启动第二个NameNode
3.2.4.3 确认
jps
3.2.4.4 访问NameNode的web页面
http://localhost:50070/
3.2.4.5 创建HDFS
# hdfs dfs -mkdir /user
# hdfs dfs -mkdir /user/test
3.2.4.6 拷贝input文件到HDFS目录下s
1# hdfs dfs -put etc/hadoop /user/test/input
确认，查看
1# hadoop fs -ls /user/test/input
3.2.4.7 执行Hadoop job
1#hadoop jar /usr/local/hadoop-2.7.7/share/hadoop-mapreduce-examples-2.7.7.jar grep /user/test/input output 'dfs[a-z.]+'
3.2.4.8 确认执行结果
1# hdfs dfs -cat output/*
[root@localhost mapreduce]# hdfs dfs -cat output/*
6 dfs.audit.logger
4 dfs.class
3 dfs.logger
3 dfs.server.namenode.
2 dfs.audit.log.maxbackupindex
2 dfs.period
2 dfs.audit.log.maxfilesize
1 dfs.log
1 dfs.file
1 dfs.servers
1 dfsadmin
1 dfsmetrics.log
1 dfs.replication
[root@localhost mapreduce]#
hdfs dfs -help |less /hdfs 查看帮助命令
或者从HDFS拷贝到本地查看
# bin/hdfs dfs -get hadoop中的文件路径 output
# cat output/*
3.2.5.1 修改设定文件
# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
# vi etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
# vi etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.2.5.2 启动ResourceManger和NodeManager后台进程
[root@localhost hadoop-2.7.7]# sbin/start-yarn.sh
截图
[root@localhost hadoop-2.7.7]# jps
截图
3.2.5.4 访问ResourceManger的web页面
http://localhost:8088/
3.2.5.5 执行hadoop job
1# hadoop jar /usr/local/hadoop-2.7.7/share/hadoop/mapreduce
/hadoop-mapreduce-examples-2.7.0.jar grep /user/test/input output 'dfs[a-z.]+'
3.2.5.6 确认执行结果
1# hdfs dfs -cat output/*
执行结果和MapReduce job相同
3.2.5.7 停止daemon
1# sbin/stop-yarn.sh
3.2.5.8 问题点
1. 单节点测试情况下，同样的input，时间上YARN比MapReduce好像慢很多，查看日志发现DataNode上GC发生频率较高，可能是测试用VM配置比较低有关。
2. 出现下面警告，是因为没有启动job history server
1java.io.IOException: java.net.ConnectException: Call From test166/10.86.255.166 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused;
启动jobhistory daemon
1# sbin/mr-jobhistory-daemon.sh start historyserver
确认
1# jps
访问Job History Server的web页面
http://localhost:19888/
3. 出现下面警告，DataNode日志中有错误，重启服务后恢复
1java.io.IOException: java.io.IOException: Unknown Job job_1451384977088_0005
3.3 启动/停止
也可以用下面的启动/停止命令，等同于start/stop-dfs.sh + start/stop-yarn.sh
1# sbin/start-all.sh
1# sbin/stop-all.sh
