大数据云计算

windows下配置hadoop环境

2017-10-19  本文已影响0人  dravenxiaokai

下载 hadoop

hadoop-2.2.0版本下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
备注:高版本的hadoop在windows下,因为没有同步的hadoop-common-bin-master版本,所以部署伪分布式有点问题。这里能够下到 hadoop-common-2.2.0-bin-master ,为了保持版本同步,windows下采用 hadoop-2.2.0 版本

安装 hadoop

解压hadoop安装包到指定目录,我的安装目录是 C:\myprogram\hadoop-2.2.0,安装其实就是解压出来

配置环境变量

  1. 新建系统变量
    变量名:HADOOP_INSTALL
    变量值:C:\myprogram\hadoop-2.2.0
  2. 在编辑系统变量 Path
    在变量值前面追加(windows下以英文分号隔开):
    %HADOOP_INSTALL%\bin;%HADOOP_INSTALL%\sbin;

查看 hadoop 版本

Microsoft Windows [版本 10.0.15063]
(c) 2017 Microsoft Corporation。保留所有权利。

C:\Users\Administrator>hadoop version
Hadoop 2.2.0
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
This command was run using /C:/myprogram/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

配置伪分布模式

参照我之前写的文章 在Ubuntu下配置伪分布模式
C:\myprogram\hadoop-2.2.0\etc\hadoop目录下的*-site.xml修改

  1. core-site.xml
  2. hdfs-site.xml
  3. yarn-site.xml
  4. mapred-site.xml

格式化名称节点

/* 运行cmd */
hadoop namenode -format
/*这时发现C:\tmp下多了hadoop-Administrator目录*/

启动

start-all.cmd
启动时如果发现有错误,这里windows比较诡异,
需要把 %HADOOP_INSTALL%\bin\*.cmd 
所在目录中所有的cmd文件中的 call 前面的空格删掉

修改后重复上述格式化步骤再启动
可以先删除 C:\tmp\hadoop-Administrator 再格式化
启动成功后会弹出四个命令行窗口
如果觉得很乱不方便可以拖到其他桌面

我是 win10 的系统
1. win + tab 新建一个桌面
2. 将暂时不用访问的命令行窗口可以拖到桌面2中
这也 win10 一个比较贴心的小功能吧

关闭

stop-all.cmd
上一篇 下一篇

猜你喜欢

热点阅读