hadoop2.6.4伪分布式环境搭建
2019-03-27 本文已影响0人
不积小流_无以成江海
1、准备Linux环境 1.0先将虚拟机的网络模式选为NAT
- 1.1:修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=liuzuwei
- 1.2修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"
- 1.3修改主机名和IP的映射关系
vim /etc/hosts
172.21.0.4 liuzuwei
- 1.4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
- 1.5 修改sudo
su root
vim /etc/sudoers
给hadoop用户添加执行的权限
- 1.6重启Linux
reboot
2、安装JDK
- 先解压JDK
- 再将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
3、安装hadoop2.6.4
- 第一个:hadoop-env.sh
#第27行
export JAVA_HOME=/usr/jdk1.8.0_191
- 第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://liuzuwei:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.4/tmp</value>
</property>
- 第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>liuzuwei:50090</value>
</property>
- 第四个:mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 第五个:yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>liuzuwei</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>liuzuwei:8080</value>
</property>