Hadoop-interview-questions

一 Hadoop常用端口号

1. dfs.namenode.http-address : 50070
2. dfs.datanode.http-address : 50075
3. SecondaryNameNode辅助名称节点端口号 : 50090
4. dfs.datanode.address : 50010
5. fs.defaultFS : 8020 | 9000
6. yarn.resourcemanager.webapp.address : 8088
7. 历史服务器web访问端口 : 19888

---

二 Hadoop配置文件以及简单的Hadoop集群搭建

（1）配置文件：
  core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
  hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves
（2）简单的集群搭建过程：
  1. JDK安装;
  2. 配置SSH免密登录;
  3. 配置hadoop核心文件;
  4. 格式化namenode;

---

三 HDFS读流程和写流程

（1）HDFS读流程

读流程图示 （2）HDFS写流程 写流程图示

---

四 MapReduce的Shuffle过程及Hadoop优化

1️⃣Shuffle

Shuffle图示 2️⃣Hadoop优化
  1）HDFS小文件影响
  （1）影响NameNode的寿命，因为文件元数据存储在NameNode的内存中
  （2）影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务
  2）数据输入小文件处理：
  （1）合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文件。
  （2）采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景。
  （3）对于大量小文件Job，可以开启JVM重用。
  3）Map阶段
  （1）增大环形缓冲区大小。由100m扩大到200m
  （2）增大环形缓冲区溢写的比例。由80%扩大到90%
  （3）减少对溢写文件的merge次数。
  （4）不影响实际业务的前提下，采用Combiner提前合并，减少I/O。
  4）Reduce阶段
  （1）合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。
  （2）设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
  （3）规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
  （4）增加每个Reduce去Map中拿数据的并行数
  （5）集群性能可以的前提下，增大Reduce端存储数据内存的大小。
  5）IO传输
  （1）采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZOP压缩编码器。
  （2）使用SequenceFile二进制文件
  6）整体
  （1）MapTask默认内存大小为1G，可以增加MapTask内存大小为4-5g
  （2）ReduceTask默认内存大小为1G，可以增加ReduceTask内存大小为4-5g
  （3）可以增加MapTask的cpu核数，增加ReduceTask的CPU核数
  （4）增加每个Container的CPU核数和内存大小
  （5）调整每个Map Task和Reduce Task最大重试次数

3️⃣压缩

提示 : 一般采用的压缩方式为Snappy，特点速度快，缺点无法切分;如果在链式调用中可以在Reduce输出端使用bzip2或者LZO以便于后续的map任务对数据进行split;

4️⃣切片机制
 1）简单地按照文件的内容长度进行切片
 2）切片大小，默认等于Block大小
 3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
 提示：切片大小公式：max(0,min(Long_max,blockSize))

---

五 Yarn的Job提交流程

Yarn-Job提交流程  1.Mr程序提交到客户端所在的节点;
 2. 申请一个Application;
 3. 返回Application资源提交路径和Application_Id;
 4. 提交Job运行所需的资源;
 5. 资源提交完毕,申请运行MrAppMaster;
 6. 将用户的请求初始化为一个Task;
 7. 领取到Task任务;
 8. 创建容器Container;
 9. 下载Job资源到本地;
 10. 申请运行MapTask容器;
 11. 领取到任务创建容器;
 12. 发送程序启动脚本;
 13. 向RM申请2个容器,运行ReduceTask程序;
 14. Reduce向Map获取相应分区的数据;
 15. 程序运行完后,MR会向RM注销自己;

---

六 Yarn的默认调度器、调度器分类、以及他们之间的区别

1️⃣Hadoop调度器主要分为三类：
 FIFO : 队列调度器;
 Capacity Scheduler : 容量调度器;
 Fair Sceduler : 公平调度器;
 Hadoop2.7.2默认的资源调度器是容量调度器;
2️⃣调度器区别
 1. FIFO调度器：先进先出，同一时间队列中只有一个任务在执行;

队列调度器  2. 容量调度器：多队列；每个队列内部先进先出，同一时间队列中只有一个任务在执行。队列的并行度为队列的个数 容量调度器  3.公平调度器：多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数 公平调度器  提示 : 生产环境中不会使用的FifoScheduler

---

七 支持LZO压缩

 Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置.

---

八 Hadoop参数调优

 1️⃣在hdfs-site.xml文件中配置多目录，最好提前配置好否则更改目录需要重新启动集群;
 2️⃣NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作;
dfs.namenode.handler.count=20 * log2(Cluster Size),比如集群规模为10台时此参数设置为60;
 3️⃣编辑日志存储路径dfs.namenode.edits.dir设置与镜像文件存储路径dfs.namenode.name.dir尽量分开达到最低写入延迟;
 4️⃣服务器节点上YARN可使用的物理内存总量默认是8192（MB）注意 : 如果你的节点内存资源不够8GB则需要减小这个值,而YARN不会智能的探测节点的物理内存总量 : yarn.nodemanager.resource.memory-mb
 5️⃣单个任务可申请的最多物理内存量默认是8192（MB） : yarn.scheduler.maximum-allocation-mb

---

九 Hadoop的基准测试

 搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下;

---

十 Hadoop宕机排查思路

 1️⃣如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）;
 2️⃣如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上;