Mac 单机安装 Hadoop

下载解压

phttps://hadoop.apache.org/releases.html

配置环境变量

export HADOOP_HOME=...
export PATH=$PATH:$HADOOP_HOME/bin

测试一下：

$ hadoop version

# 结果信息
Hadoop 2.6.5
Subversion https://github.com/apache/hadoop.git -r e8c9fe0b4c252caf2ebf1464220599650f119997
Compiled by sjlee on 2016-10-02T23:43Z
Compiled with protoc 2.5.0
From source with checksum f05c9fa095a395faa9db9f7ba5d754
This command was run using /Users/tools/hadoop/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5.jar

修改配置文件

1. hadoop-env.sh

修改JAVA_HOME为绝对路径，指定配置目录：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/tools/hadoop/hadoop-2.6.5/etc/hadoop

2. core-site.xml

先创建一个 tmp 目录，用来指定hadoop运行时产生文件的存放位置。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Users/tools/hadoop/hadoop-2.6.5/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

创建一个 data 目录，用来存放Hadoop数据。
创建一个 name 目录，用来存放namenode数据。

<configuration>
  <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
       
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/Users/tools/hadoop/hadoop-2.6.5/name</value>
  </property>
   
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/Users/tools/hadoop/hadoop-2.6.5/data</value>
  </property>
</configuration>

4. mapred-site.xml

此文件是从mapred-site.xml.template复制出来的。

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

启动

格式化文件系统：

hdfs namenode -format

启动namenode和datanode：

sbin/start-dfs.sh

启动yarn:

sbin/start-yarn.sh

查看界面：

http://localhost:8088/cluster