hadoop完全分布式处理

使用root登录，

添加组groupadd hdgroup

添加用户useradd -g hdgroup hduser

设置密码 passwd hduser

chmod 777 /etc/sudoers

gedit /etc/sudoers

在 root     ALL=(ALL) ALL后加一行

  hduser ALL=(ALL) ALL

chmod 440 /etc/sudoers

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙  chkconfig iptables off

重启该虚拟机系统 使用hduser登录

安装jdk

sudo rpm -ivh jdk-7u67-linux-x64.rpm

一般在/usr/java/jdk1.7.0_67这个路径下

修改配置文件 sudo gedit /etc/profile

加入找到 后保存

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hduser/hadoop   

export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 生效

测试 java -version

  14  cd ~

  15  tar -zxvf hadoop-2.6.0.tar.gz

  16  mv hadoop-2.6.0 hadoop

  17  sudo gedit /etc/profile

  18  source /etc/profile

另外再克隆两台节点node

更改主机名：

sudo gedit /etc/sysconfig/network

分别更改

NETWORKING=yes

HOSTNAME=node1

在root登录模式下，如果不是使用su - root 切换到root模式

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙  chkconfig iptables off

重启三台节点

主机名解析

打开配置文件 sudo gedit /etc/hosts

例如

192.168.37.131 node1

192.168.37.132 node2

192.168.37.133 node3

免密码登录其他电脑   

在node1服务器主机中生成公/私钥对   

ssh-keygen -t rsa -P ""

将node1服务器主机中的钥匙发给其他slave从机

ssh-copy-id  localhost

ssh-copy-id  node1                                                         

ssh-copy-id  node2

ssh-copy-id  node3

注意ssh远程登录到那个主机，环境和权限是那个主机的环境并非本机的环境，也并非本机的权限，可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口

拷贝配置文件

  19 

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/

  20 

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/

  21  cd ~/hadoop    换位置

  28  bin/hdfs namenode -format  格式化一下

  32  cd ~/hadoop

  33  sbin/start-dfs.sh

  34  jps

http://node1:50070/

  35  sbin/start-yarn.sh

  36  jps

  37  bin/hdfs dfsadmin -report

http://node1:8088/cluster/nodes

  43  history