1.Hadoop是什么

Apache基金会所开发的分布式系统基础架构

2.Hadoop解决什么

海量数据的存储和海量数据的分析计算问题。

3.Hadoop生态圈

我们一般指Hadoop并不单单指这个基础框架，而是指基于这个框架的整个生态圈。

image

4.Hadoop 发展历史

• Lucene - 实现了类似Google的全文检索引擎，包括完整的查询引擎与索引引擎。

• 2001年底成为Apache子项目。

• 对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难、检索速度慢！

• 学习模仿Google解决问题的办法：微型版Nutch

• 可以说Google是Hadoop的思想之源。

• 2003-2004年，Google公开了部分GFS(google file system)和MapReduce思想的细节，以此为基础，Nutch实现了DFS和MapReduce机制，Nutch性能飙升。

• 2005年，Hadoop作为Lucene的子项目，Nutch的一部分，正式引入Apache。

• 2006年，Map-Reduce和Nutch Distributed File System（NDFS）分别被纳入成为Hadoop的项目中。

• 名字来源于作者Doug Cutting儿子的顽疾大象。

5.Hadoop的优势

• 高可靠 - Hadoop底层维护多个副本(最低3)，所以即使某个计算元素或存储出现故障，也不会导致数据丢失

• 高扩展 - 在集群分配任务数据，可方便的扩展数以千计的节点(动态添加和删除节点)

• 高效性 - 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

• 高容错 - 能自动将失败的任务重新分配。

6.Hadoop的组成

• Hadoop 1.x的组成

  • HDFS - 数据存储

  • MapReduce - 计算+资源调度(cpu、内存、磁盘)

  • Common - 辅助工具

• Hadoop 2.x的组成

  • HDFS - 数据存储

  • Common - 辅助工具

  • MapReduce - 计算

  • Yarn - 资源调度

注意这里 1.x和2.x的明显区别

在Hadoop1.x时代 MapReduce同时处理业务逻辑计算与资源调度，耦合性较大，在Hadoop2.x时代，增加Yarn，Yarn只负责资源调度，MapReduce只负责计算。

6.1 HDFS 架构概述

• NameNode(nn)

  存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。

  <u style="box-sizing: border-box;">可以理解这是一个所有数据的目录</u>

• <u style="box-sizing: border-box;">DataNode(dn)</u>

  <u style="box-sizing: border-box;">在本地文件系统存储文件块数据，以及块数据的校验和。</u>

  <u style="box-sizing: border-box;"><u style="box-sizing: border-box;">具体的数据文件</u></u>

• <u style="box-sizing: border-box;">Secondary NameNode(2nn)</u>

  <u style="box-sizing: border-box;">用于监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS的元数据快照。</u>

  <u style="box-sizing: border-box;">****<u style="box-sizing: border-box;">辅助NameNode工作</u>****</u>

  <u style="box-sizing: border-box;">****6.2 Yarn（雅恩）的架构概述****</u>

  <u style="box-sizing: border-box;">**** image

  ****</u>

  • <u style="box-sizing: border-box;">****ResoureManager 整个集群中，资源管理的老大****</u>

  • <u style="box-sizing: border-box;">****NodeManager 单个节点的资源老大****</u>

  • <u style="box-sizing: border-box;">****AppMstr 任务执行的保证，申请资源等****</u>

  • <u style="box-sizing: border-box;">****Container 将资源封装，按照任务进行分配，如VM在你的电脑分配N个虚拟机运行你的系统****</u>

  <u style="box-sizing: border-box;">****6.3 MapReduce架构概述****</u>

  <u style="box-sizing: border-box;">****MapReduce将计算过程分为两个阶段：Map和Reduce****</u>

  • <u style="box-sizing: border-box;">****Map - 并行处理输入数据****</u>

  • <u style="box-sizing: border-box;">****Reduce - 对Map的结果进行汇总****</u>

  <u style="box-sizing: border-box;">****[图片上传失败...(image-f1228c-1589938830278)]****</u>

  <u style="box-sizing: border-box;">****7.大数据技术的生态体系****</u>

  <u style="box-sizing: border-box;">**** image

  ****</u>

  <u style="box-sizing: border-box;">****8.大数据应用举例****</u>

  <u style="box-sizing: border-box;">**** image

  ****</u>

  <u style="box-sizing: border-box;">****用户购买一个产品->服务器接收请求，生成订单、日志等->日志采集模块收集整理->推送到HDFS存储->SparkStreaming实时计算(多维度，用户属性、产品属性、相关性等一系列算法)->生成分析结果->由推荐系统将用户购买的产品相关的产品推送给用户。****</u>