Mac上Hadoop的环境搭建和踩的坑
终于把Hadoop搭建完了，开心开心开心。把过程记录下，以备将来忘记和复习使用。
macOS 10.12.6
hadoop：2.8.4
jdk：1.8.0_144
1，首先去 下载链接下载对应的Hadoop版本，我下载Hadoop-2.8.4，顺便把对应的源码也下载下来，即Hadoop-2.8.4-src。我将hadoop-2.8.4放入了资源库（/Library）中，将对应的源码放入了hadoop-2.8.4文件夹内。
2，java必须安装，我已经安装，但是我的Mac是用jenv管理的多个版本的java，所以在这上面需要使用命令：jenv global java 1.8指定下全局版本的java版本，参考链接。配置文件 .bash_profile 如下所示：
3，配置SSH，这一步我是参考了 2，配置SSH 进行配置。
4，修改hadoop的配置文件，参考 修改配置文件 ，按此教程的启动命令是 start-all.sh。但是执行完后会提示已过时，现在的启动命令是：start-dfs.sh;关闭命令是：stop-dfs.sh。这些命令是在 hadoop-2.8.4文件夹下执行的，教程里的 hdfs namenode -format也是同样，以后不特殊说明均是。
5， 测试 http://localhost:50070 hdfs管理页面；http://localhost:8088 hadoop进程管理页面，如果打开说明安装完成。
6，接下来按教程去做即可
说一下踩过的坑：
1，在创建目录时，出现了
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
的错误。
解决方法是：重新编译hadoop-2.8.4-src的源码，教程里也有提到。下面说一下我的解决过程：需要安装maven、cmake，zlib,openssl，protobuf，强调需要protobuf-2.5.0版本.
1️⃣，在网上需要找到protobuf-2.5.0 版本的源码进行配置，源码链接 密码: q2uw，然后在终端内protobuf-2.5.0文件下进行配置，配置过程如下：
(1)设置编译目录：
./configure --prefix=/User/King-pan/software/tools/protobuf
其中/User/King-pan/software/tools/protobuf 为自己设定的编译安装目录。
(2)安装：
make
make install
(3)配置环境变量:
sudo vi .bash_profile
(4)添加配置文件:
export PROTOBUF=/Users/King-pan/software/tools/protobuf
export PATH=$PROTOBUF/bin:$PATH
source .bash_profile（这一步很重要）
(5)测试：
protoc --version
当跑完第五步测试后，出现protobuf-2.5.0的版本即算完成。
-----------------------------------------------------------------------------------------------
出现
Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...... @ 5:137 in /Users/lishengda/Downloads/hadoop-2.7.0-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
的错误。
2️⃣ 需要设置OpenSSL， 在.bash_profile 内设置
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2k
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2k/include
在这一步，查看OpenSSL的安装路径，可以通过brew info openssl，因为我的有多个openssl，不知道是不是因为有多个openssl，编译出现错误，我最后卸载了所有的openssl，又brew install openssl 重新安装，此处需要说明的是，/openssl/1.0.2k的k根据你安装的openssl版本确定，我的是o_1.
3️⃣此时编译通过了，并且将编译后的文件
将编译出的native library复制到下载的二进制版本的hadoop-2.8.4相应目录中
编译出的native library库的位置为
hadoop-2.8.4-src/hadoop-dist/target/hadoop-2.8.1/lib/native
拷贝到二进制版本的hadoop-2.8.4的目录
hadoop-2.8.4/lib/native
也修改了 hadoop-2.8.4/etc/hadoop/hadoop-env.sh
export HADOOP_OPTS=”$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/hadoop-2.8.4/lib/native”
重启hadoop，命令建立文件夹，还是出现错误，
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
此时的解决办法是：
在.bash_profile中添加
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_HOME=/Library/hadoop-2.8.4
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
并在终端source .bash_profile
并将上述相同配置添加到/hadoop-2.8.4/etc/hadoop/hadoop-env.sh文件末尾
此时就不会再报错了。这段过程参考了 参考链接
4️⃣。在上传文件时，出现错误：
WARN hdfs.DataStreamer: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/dongheng/input/file.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).
，无法上传，此时是因为（详细原因请看参考链接1和2）：多次使用了hdfs namenode -format命令.
解决办法是：找到/hadoop-2.8.4/tmp/hdfs/data/current/下的 VERSION文件，删掉，重新hdfs namenode -format命令，即可。
5️⃣，/hadoop-2.8.4/etc/hadoop/文件下只有
mapred-site.xml.template
没有mapred-site.xml的问题
解决办法：直接复制mapred-site.xml.template文件，修改后缀名，即去掉template即可。
