Mac单机安装Hadoop
环境：
Mac: 10.14.2
Hadoop: 2.9.2
Java: 1.8.0_144
1. 下载并解压
从官网下载解压到Mac目录中。并设置环境变量。
export HADOOP_HOME=/Users/Cyan/coding/hadoop/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
运行
hadoop version
查看是否安装成功。
Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
2. 修改hadoop配置
2.1 修改hadoop-env.sh文件
直接设置 JAVA_HOME 的路径，不要用$JAVA_HOME 代替，因为 Hadoop 对系统变量的支持不是很好（未验证）。
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/wh/hadoop/hadoop-2.9.2/etc/hadoop
2.2 修改 core-site.xml 文件
设置 Hadoop 的临时目录和文件系统，localhost:9000 表示本地主机。在 core-site.xml 文件里作如下配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录自己创建-->
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/wh/server/hadoop-2.9.2/tmp</value>
</property>
</configuration>
2.3 修改 hdfs-site.xml 文件
hdfs-site.xml 的配置修改如下，注意 name 和 data 的路径都要替换成本地的路径：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--不是root用户也可以写文件到hdfs-->
<property>
<name>dfs.permissions</name>
<value>false</value> <!--关闭防火墙-->
</property>
<!--把路径换成本地的name所在位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/wh/server/hdfsdata/name</value>
</property>
<!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/Users/wh/server/hdfsdata/data</value>
</property>
</configuration>
2.4 修改 mapred-site.xml 文件
由于根目录下 etc/hadoop 中没有 mapred-site.xml 文件，所以需要创建该文件。但是目录中提供了 mapred-site.xml.template 模版文件。我们将其重命名为 mapred-site.xml，然后将 yarn 设置成数据处理框架：
<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration
2.5 修改 yarn-site.xml 文件
配置数据的处理框架 yarn：
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
至此需要修改和配置的文件都已经没有问题了。
3 运行hadoop
3.1 格式化文件系统
hdfs namenode -format
注意：显示SHUTDOWN_MSG其实是成功的状态。
3.2 启动Namenode和Datanode服务
sbin/start-dfs.sh
运行时需要Remote Login权限，需要在Mac的系统设置Share中开启。
启动成功后可访问： http://localhost:50070/
3.3 启动yarn
sbin/start-yarn.sh
成功后可访问：http://localhost:8088/
3.4 查看运行中的服务
jps
可查看当前运行中的hadoop程序。
