最近想接触大数据，因为感觉太火了，默默往数据开发跨一小步。大数据比较基础也很核心的框架就是Hadoop啦。
转载或摘取劳烦添加引用，每个作者整理都不容易，而且写免费博客本身为了提高自己知名度，多谢。本文档永不取消发布，请放心mark 🙏give me five

概念

Hadoop

• 开源的大数据框架
• 分布式计算解决方案
• Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)

HDFS

• 数据块
  • 抽象块，真正存储在HDFS的单元，而非单个文件
  • 默认大小64MB，一般设置128M，备份X3
• NameNode（主）
  • 管理文件系统的命名空间，存放文件元数据
  • 维护着文件系统的所有文件和目录，文件与数据块的映射
  • 记录每个文件中各个数据块所在数据节点的信息
• DataNode（存）
  • 存储并检索数据块
  • 向NameNode更新所存储模块的列表
• 优点
  • 适合大文件存储，支持TB、PB级别的数据存储，有备份策略
  • 可以构建在廉价机器上，有一定的容错和恢复机制
  • 支持流式数据访问，一次写入，多次读取，效率高
• 缺点
  • 不适合大量小文件的存储
  • 不适合并发写入，不支持文件随机修改
  • 不适合随机读等低延时的访问方式

MapReduce

• 编程模型，编程方法，抽象理论
• '分而治之'的思想
• 编程模型核心
  • 输入一个大文件，通过split，将其分割为多个分片
  • 每个文件分片由单独机器去处理，map方法
  • 将各个机器的结果进行汇总，并得到最终结果，reduce方法

YARN

• 资源管理器
• 负责整个集群的资源管理和调度
• 概念
  • ResourceManager
    • 分配和调度资源
    • 启动并监控ApplicationMaster
    • 监控NodeManager
  • ApplicationMaster
    • 为MapReduce类型程序申请资源，并分配给内部任务
    • 负责数据的切分
    • 监控任务的执行及容错机制
  • NodeManager
    • 管理单个节点的资源
    • 处理来自ResourceManager的命令
    • 处理来自ApplicationMaster的命令

macOS系统下的安装

楼主安装的版本如下：

• hadoop 3.1.0 🌟
• python 3.7
• homebrew 1.7.1
• java 1.8.0

1. 安装Homebrew

Homebrew的官方解释是 The missing package manager for macOS。Homebrew是一款Mac OS平台下的软件包管理工具，拥有安装、卸载、更新、查看、搜索等很多实用的功能。

官网：https://brew.sh/

安装命令

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

常用命令

# 查看帮助
$ brew -help

# 查询仓库相关软件版本
$ brew search python3

# 安装软件
$ brew install python3

# 安装指定版本
$ brew install python@3

# 查看已安装的软件
$ brew list

# 更新软件
$ brew upgrade python3

# 卸载软件
$ brew uninstall python3

tips: Homebrew会自动注入相关命令的路径到$PATH变量中，非常方便

2.打开本地电脑的ssh登录方式

因为楼主喜欢gitlab，所以早早早就根据gitlab教程在电脑生成了SSH公钥，教程地址：https://gitlab.com/help/ssh/README#generating-a-new-ssh-key-pair

# 生成公钥
$ ssh-keygen -t rsa -C "your.email@example.com" -b 4096

# 一路默认

# 拷贝
$ cat ~/.ssh/id_rsa.pub

# 拷贝至电脑信任列表
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

系统设置(System Preferences) -> 共享(sharing) -> 勾选☑️远程登录(Remote Login)

最后可以在终端(Terminal)测试下

$ ssh localhost

3. 使用Homebrew安装Hadoop

$ brew install hadoop

目前安装的默认是3.1.0版本，跟3.0.0版本有差异，楼主踩过坑了，后续再更新版本，如有向前不兼容的部分，建议翻墙找找，，，最稳妥就是安装对应版本而非最新。安装时间有点久，耐心等待⌛️

4. 检测安装路径

Tips: command + shift + G 快速打开go to folder

5. 修改配置文件

Hadoop有三种安装模式：单机模式，伪分布式模式，分布式模式。Homebrew生成的默认是单机模式，单机和分布式楼主暂时未研究，后续补充到本博客，下面只涉及伪分布式配置。

首先用任意的ide打开刚刚的hadoop文件夹，楼主使用的是vscode。
我们需要修改的文件都在/usr/local/Celler/hadoop/3.1.0/libexec/etc/hadoop目录下, 并且都是在对应xml下configuration添加属性，无改删

• 修改core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories</description>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• 修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9010</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
</configuration>

• 修改hdfs-site.xml

<configuration>
  <!-- 伪分布式配置 -->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

• yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 集群配置 -->
  <!-- <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property> -->
</configuration>

• 修改hadoop-env.sh

# 打开注释
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home"

# 打开注释
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug"

# 打开注释
export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}

# 不动
case ${HADOOP_OS_TYPE} in
  Darwin*)
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.kdc= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf= "
    export YARN_HOME=$HADOOP_HOME
  ;;
esac

详情看棉花糖do的博客https://www.jianshu.com/p/4a65fd034871写的很好，后续楼主详细了解了，完善此博客，暂时不拷贝其他作者撰写的解释，以免有纰漏。

6. 初始化NameNode（只需要第一次,玩崩了也可以再执行下）
   注意⚠️建议不要往~/.bash_profile里PATH变量添加hadoop相关的路径，楼主遇到过坑，每次在终端打开/usr/local/Celler/hadoop/3.1.0/
   2018/08/05 这样配置可以使用
   19.03.14 add: ~/.bash_profile需要添加 export HADOOP_COMMON_HOME=$HADOOP_HOME

$ ./bin/hdfs namenode -format 

7. 启动

• 启动NameNode和DataNode

$ ./sbin/start-dfs.sh

启动完毕即可登录：http://localhost:9870

• 启动Yarn(ResourceManager和NodeManager)

$ ./sbin/start-yarn.sh

启动完毕即可登录：http://localhost:8088

Tips: 可以在终端任意位置使用jps查看启动的java应用程序，理论启动完毕其中会包括：NameNode, DataNode, NodeManager, ResoureManager四个java程序

简单应用

常用命令

# 打开文件执行位置
$ cd /usr/local/Cellar/hadoop/3.1.0/bin

# 查看已启动内容
$ jps

# 查看信息
$ hdfs dfsadmin -report

# 创建文件夹
$ hdfs dfs -mkdir /test

# 查看文件夹下文件
$ hdfs dfs -ls /

# 查看所有命令
$ hdfs dfs -help

# 查看文件内容
$ hdfs dfs -cat /test/mk.txt

# 拷贝至hdfs
$ hdfs dfs -copyFromLocal /Users/goddy/repo/hadoop/hdfs-file/mk.txt /test/

# 拷贝至本地
$ hdfs dfs -copyToLocal /test/mk.txt /Users/goddy/repo/hadoop/hdfs-file/mk2.txt 

# 更改文件权限
$ hdfs dfs -chmod 777 /test/mk.txt 
[https://blog.csdn.net/u013197629/article/details/73608613?locationNum=10&fps=1]

# 执行
$ hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files '/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py,/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py' -reducer 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py'
# 执行
$ /usr/local/Cellar/hadoop/3.1.0/bin/hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files 'hdfs_map.py,hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper '/usr/local/bin/python3 hdfs_map.py' -reducer '/usr/local/bin/python3 hdfs_reduce.py'

//FIXME: 2018/09/04 待添加例子，准备用慕课网课程的例子，实操可实现...提前发布下文章，以免有人用hadoop 3.1.0遇坑

Appendixes

• macOS Hbase 1.2.6.1 安装：
  • https://www.jianshu.com/p/4f5683e65ef3
  • http://debugo.com/hbase-params/
  • https://www.jianshu.com/p/b5ae4d7f6f0a
  • https://www.jianshu.com/p/510e1d599123
• docker 安装hadoop集群
  • • https://hub.docker.com/r/uhopper/hadoop/

  • https://bitbucket.org/uhopper/hadoop-docker

  • https://blog.csdn.net/zhangruhong168/article/details/80794572

• macOS Hive 3.1.0 安装：
  • https://www.jianshu.com/p/2633be68177f
  • https://hk.saowen.com/a/8679d2976faba88459ae78b0930ff451bac17070b2ee52228bc06c49d09bd50b
  • https://www.cnblogs.com/ToDoToTry/p/5349753.html
  • https://stackoverflow.com/questions/34189756/warning-about-ssl-connection-when-connecting-to-mysql-database

Reference

感谢🙏各位作者，摘取了大家博客的部分片段，只是想汇总下，不作商业用途，感谢、！

• https://www.imooc.com/video/16291
• https://www.jianshu.com/p/4a65fd034871
• https://www.jianshu.com/p/de6f1d2d37bf
• https://mathsigit.github.io/blog_page/2017/11/16/hole-of-submitting-mr-of-hadoop300RC0/
• https://www.wars.cat/blog/index.php/archives/19/