在centos7虚拟机上搭建伪分布式hadoop
学习hadoop搭建开发环境篇
1，安装jdk1.8
由于Hadoop是java写的，依赖java环境，搭建hadoop开发环境之前，需要安装jdk。
版本选择：hadoop2.9.0， jdk：1.8
网上有很多centos系统安装jdk的方法，这里我选择最简单的yum安装
安装之前先检查一下系统有没有自带open-jdk
命令：
rpm -qa |grep java
rpm -qa |grep jdk
rpm -qa |grep gcj
如果没有输出信息表示没有安装。
如果安装可以使用rpm -qa | grep java | xargs rpm -e --nodeps批量卸载所有带有Java的文件
安装1.8.0的所有文件
yum install java-1.8.0-openjdk* -y
检查是否安装成功
java -version
输出版本信息表示安装成功
2，下载hadoop
到官网hadoop.apache.org下载2.9.0版本的hadoop-2.9.0.tar.gz，然后移动到/opt目录解压
tar -xzf hadoop-2.9.0.tar.gz
vi etc/hadoop/hdfs-site.xml
配置ssh免密码登陆
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
格式化namenode
bin/hdfs namenode -format
启动
sbin/start-dfs.sh
启动的过程中碰到一个报错：WARN util.NativeCodeLoader: Unable to load native-Hadooplibrary for your platform... using builtin-Javaclasses where applicable
我是在log配置文件中将其报错隐藏->在etc/hadoop/log4j.propertie最底部加
浏览器访问
http://localhost:50070/
