hadoop的windows伪分布式环境部署

一、 需要的软件

windows模拟linux 环境：winutils-master
hadoop编译后的包：hadoop-2.7.3.tar.gz
windows的hadoop配置：hadoop_windows.zip
hadoop的配置：hadoop_conf.tar

二、前提：需要修改通知级别

三、压缩文件解压顺序及方法

1 解压hadoop-2.7.3.tar.gz，到C盘的某个目录下；
2 解压winutils-master.zip，将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3\bin目录下，注意，千万别覆盖bin目录下的其他文件；
3 解压hadoop_conf.tar， 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3\etc\hadoop目录下；
4 解压hadoop-window.zip，然后将解压的hadoop文件夹内的内容做修改后，替换到hadoop-2.7.3\etc\hadoop；

四、在WINDOWS上配置环境变量

1）HADOOP_HOME

2）把hadoop的bin和sbin配置到path环境变量里

;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

五、设置hadoop配置文件

core-site.xml

hdfs-site.xml

maprd-site.xml

yarn-site.xml

hadoop-env.cmd

把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录

六、测试hadoop命令

win10支持Linux命令的工具：windows powershell 工具

打开cmd输入set查看设置的环境变成是否生效 输入hadoop version查看hadoop的版本

七、格式化namenode

hadoop namenode -format

八、启动hdfs

start-dfs.cmd 之后弹出两个窗口

namenode datanode

之后在电脑上的c盘就能看到tmp目录，里面有namenode文件和datanode文件

启动成功之后就可以查看hdfs的web页面

九、启动yarn

start-yarn.cmd之后弹出两个窗口

resourceManager nodeManager 查看yarn的web界面

十、测试hdfs是否好用

十一、开启和关闭

start-all.cmd开启hadoop
stop-all.cmd关闭hadoop