linux hadoop伪分布式环境搭建
2017-07-29 本文已影响0人
Flygar
1.进入linux创建目录用来存放软件与安装(我这是普通用户，非root用户)
sudo mkdir -p /opt/tools
sudo mkdir -p /opt/modules
- 修改文件夹权限为flygar
sudo chown flygar: /opt/tools/
sudo chown flygar: /opt/modules/
-
连上Transmit,将下载好的hadoop-2.8.0.tar.gz，jdk-8u144-linux-x64.tar.gz拖入/opt/tools
-
ip与主机名映射
vim /etc/hosts
192.168.0.128 flygar
- 关闭防火墙
sudo chkconfig iptables off
- 关闭selinux
vim /etc/sysconfig/selinux
SELINUX=disabled
- 配置visudo(命令模式99gg的地方插入)
sudo visudo
flygar ALL=(root) NOPASSWD:ALL
2.安装jdk
- 检查并卸载自带的openjdk
yum list installed | grep 'java'
java-1.6.0-openjdk.x86_64
java-1.7.0-openjdk.x86_64
tzdata-java.noarch 2012j-1.el6 @anaconda-CentOS-201303020151.x86_64/6.4
sudo yum remove java-1.6.0-openjdk.x86_64 -y
sudo yum remove java-1.7.0-openjdk.x86_64 -y
sudo yum remove tzdata-java.noarch -y
- 解压并安装到 /opt/modules
tar -zxvf /opt/tools/jdk-8u144-linux-x64.tar.gz -C /opt/modules/
- 配置环境变量
sudo chmod o+w /etc/profile
vim /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
- 刷新环境变量
source /etc/profile
3.安装hadoop
- 解压并安装到 /opt/modules
tar -zxvf /opt/tools/hadoop-2.8.0.tar.gz -C /opt/modules/
- 修改配置jdk
Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/hadoop-env.sh 鼠标右键Edit in Transmit 第25行修改为绝对路径：export JAVA_HOME=/opt/modules/jdk1.8.0_144保存并退出
Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/mapred-env.sh 鼠标右键Edit in Transmit 第16行修改为(#删掉)：export JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出
Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/yarn-env.sh 鼠标右键Edit in Transmit 第26行修改为绝对路径：JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出
-
修改配置HDFS
Transmit连接进入 /opt/modules/hadoop-2.8.0/etc/hadoop/
修改core-site.xml
指定访问地址与存储目录把flygar修改为你的hostname
修改hdfs-site.xml
指定保存副本文件个数为1指定保存副本文件个数为1
修改slaves
删除第一行的loaclhost，换成你的hostname
4.格式化
/opt/modules/hadoop-2.8.0/bin/hdfs namenode -format
5.修改配置yarn
重命名 mapred-site.xml.templatable 为 mapred-site.xml 并修改指定mapreduce运行在yarn上
修改yarn-site.xmlsuccessful
8088
successful
