Hadoop （一） hdfs 伪分布式安装
hadoop 版本：2.6.5
jdk 版本：1.7
系统版本：centos 6.5
前置条件 ：
1、安装jdk、配置环境变量
2、免秘钥
一、创建目录并安装
1、mkdir -p /opt/zp
2、tar xf hadoop-2.6.5.tar.gz -C /opt/zp/
二、配置环境变量
vi + /etc/profile
录入:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/opt/zp/hadoop-2.6.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
最后使环境变量生效
. /etc/profile
验证：
start-dfs.sh TAB是否可以读出
三、配置hadoop配置文件
1、得到javahome
echo $JAVA_HOME
/usr/java/jdk1.7.0_67
2、进入配置文件目录
/opt/zp/hadoop-2.6.5/etc/hadoop
3、修改3个env文件的javahome
hadoop-env.sh
mapred-env.sh
yarn-env.sh
四、配置core-site.xml (角色分配)
#fs.defaultFS 主节点
#hadoop.tmp.dir 临时目录
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/zp/hadoop/local</value>
</property>
五、配置hdfs-site.xml
注：
replication 副本数
secondary namenode
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
</property>
六、配置slaves文件
配置从节点
vi slaves node1
七、格式化hdfs
hdfs namenode -format
八、启动集群 以及验证
start-dfs.sh
角色进程查看：jps
帮助： hdfs
hdfs dfs
查看web UI: IP:50070
创建目录：hdfs dfs -mkdir -p /user/root
查看目录: hdfs dfs -ls /
上传文件： hdfs dfs -put hadoop-2.6.5.tar.gz /user/root
停止集群：stop-dfs.sh
