Hadoop读书笔记：CentOS装Hadoop集群
HADOOP集群搭建
1.集群简介
Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode。
YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager / NodeManager。
本集群搭建案例，以3节点为例进行搭建。
2.服务器准备
本案例使用虚拟机服务器搭建HADOOP集群，所用软件及版本：
VMware® Workstation 12 Pro 12.5.6
CentOS 6.5 64 bit
JDK 1.8 linux 64bit
Hadoop 2.8.1
3.网络环境配置
采用NAT方式联网、网关地址自定如：192.168.220.1、3个节点IP地址如（192.168.220.128, 192.168.220.129， 192.168.220.130）、子网掩码：255.255.255.0
话不多说开始在VMware装CentOS系统
先打开VMware,我之前已经装好了再重新装个CentOS系统
图一
在导航栏点击编辑 选择虚拟网络编辑器 就可以设置网段和网关
图二：设置网络
图三：设置网络
然后创建新的虚拟机（我之间已经创建了一个master虚拟器现在再建个master2）
图四：创建虚拟机
图五：创建虚拟机
图六：创建虚拟机
图七：创建虚拟机
图八：创建虚拟机
图九：创建虚拟机
图十：创建虚拟机
图十一：创建虚拟机
图十二：创建虚拟机
安装CentOS系统
图一：安装CentOS系统
图二：安装CentOS系统
图三：安装CentOS系统
图四：安装CentOS系统
图五：安装CentOS系统
图六：安装CentOS系统
图七：安装CentOS系统
图八：安装CentOS系统
图九：安装CentOS系统
图十：安装CentOS系统
图十一：安装CentOS系统
图十二：安装CentOS系统
图十三：安装CentOS系统
图十四：安装CentOS系统
图十五：安装CentOS系统
图十六：安装CentOS系统
图十七：安装CentOS系统
图十八：安装CentOS系统
图十九：安装CentOS系统
图二十：安装CentOS系统
图二十一：安装CentOS系统
图二十二：安装CentOS系统
图二十三：安装CentOS系统
图二十四：安装CentOS系统
图二十五：安装CentOS系统
图二十六：安装CentOS系统
图二十七：安装CentOS系统
恭喜你已经成功安装好CentOS系统！
4.准备SSH连接工具
Xshell SecureCRT（我用着这个）
SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，简单地说是Windows下登录UNIX或Linux服务器主机的软件。
查看用户的IP地址：
图一：IP地址
用SecureCRT工具连接虚拟机只要配置下IP地址 用户名和密码就可以，具体细节就不介绍。
SSH连接虚拟机
修改主机名及其对应的IP地址
sudo vi /etc/hosts（之前配过一次就把之前的master信息拿过来）
需要在slave01和slave02机子上弄同样的配置
（还需要ping一下看能不能同如：ping slave01）
配置主机名及对应IP地址
修改用户权限
先切换到root用户 su root
修改 /etc/sudoers 文件，找到下面两行
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
加上一行比如我的用户是hadoop所以：hadoop ALL=(ALL) ALL
每台机子关闭防火墙
关闭虚拟机防火墙：
关闭命令： service iptables stop
永久关闭防火墙：chkconfig iptables off
两个命令同时运行，运行完成后查看防火墙关闭状态
service iptables status
1 关闭防火墙-----service iptables stop
2 启动防火墙-----service iptables start
3 重启防火墙-----service iptables restart
4 查看防火墙状态--service iptables status
5 永久关闭防火墙--chkconfig iptables off
6 永久关闭后启用--chkconfig iptables on
先查看防火墙状态
service iptables status（需要换root用户或前面加上sudo）
查看防火墙状态
永久关闭selinux： vi /etc/selinux/config（普通用户前面加个sudo）
找到SELINUX 行修改成为：SELINUX=disabled:
永久关闭selinux
关闭防火墙-----service iptables stop（普通用户加个sudo），sudo chkconfig iptables off 重启后生效
重启后再查看状态sudo service iptables status
关闭防火墙
防火墙状态
配置JDK
下载jdk就不多说了我下的是（jdk-8u131-linux-x64.tar.gz）
安装在哪个路径下可以自己定（我装下/home/hadoop（用户） 路径下 mkdir java 也可以装下别的路径下）
SFTP传送JDK
put（空） +文件路径 上传
上传JDK
查看上传JDK包
解压 tar -zxvf jdk-8u131-linux-x64.tar.gz
修改配置文件：sudo vi /etc/profile
在这行下面加上：export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置文件
重启：source /etc/profile 然后查看 java -version
重启查看
配置SSH免密登录
进入.ssh目录 （ ll -a 才能看见）
进入.ssh目录
ssh-keygen -t rsa 一路回车 生成两个文件一个公钥一个私钥：cp id_rsa.pub authorized_keys
生成公钥和私钥
修改authorized_keys权限：chmod 644 authorized_keys
此时重启ssh服务：sudo service sshd restart
ssh master 第一次连接要输入yes
本机实现无密登录
与其它节点实现免密登录
把master节点中把authorized_keys分发到各个结点上(会提示输入密码)：
scp /home/hadoop/.ssh/authorized_keys slave01:/home/hadoop/.ssh
scp /home/hadoop/.ssh/authorized_keys slave02:/home/hadoop/.ssh
然后在各个节点对authorized_keys执行(一定要执行该步，否则会报错)：chmod 644 authorized_keys
ssh slave01
其它节点实现免密登录
装Hadoop
同样用sftp，先在/home/hadoop目录下创建hadoop文件
解压
修改配置文件：
进入hadoop-2.8.1/etc/hadoop目录下
hadoop-env.sh：
export JAVA_HOME=/home/hadoop/java/jdk1.8.0_131 (jdk安装的路径 如果不知道 echo $JAVA_HOME)
配置hadoop-env.sh
core-site.xml：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/hadoop-2.8.1/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
配置core-site.xml
hdfs-site.xml：
<configuration>
<property>
<name>dfs.namenode.secondary.http.address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/hadoop-2.8.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/hadoop-2.8.1/tmp/dfs/data</value>
</property>
</configuration>
hdfs-site.xml配置
mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
<property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
yarn-site.xml配置
slaves：
master
slave01
slave02
系统配置文件：sudo vi /etc/profile 修改后 source /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop/hadoop-2.8.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
系统配置修改
将hadoop分发到各个节点
scp -r /home/hadoop/hadoop slave01:/home/hadoop
scp -r /home/hadoop/hadoop slave02:/home/hadoop
(再配置系统配置，就是把HADOOP环境变量配下）
在master节点格式化hdfs
hdfs namenode -format
格式化
启动HDFS
start-dfs.sh
启动YARN
start-yarn.sh
分别在各个主机上执行 jps 查看服务情况
master
slave01
slave02
web 访问页面
http://master:50070/
成功
恭喜成功了！
这是第二遍配置总结下第一遍配置遇到的一些坑：
1.第一遍配置讲每个主机的普通用户都设置不一样SSH无密连接老是不成功，需要将每个主机普通用户设为一样
2.防火墙忘记关掉
3.生成秘钥的那个权限需要修改
4.我第一次将hadoop目录放在/usr下 用户权限是root的 一些操作老是不成功 改放在/home目录下权限是普通用户的就成功了
