大数据-简书spark大数据

大数据面试杀招——Hadoop高频考点，正在刷新你的认知！

2020-11-05  本文已影响0人  刀哥说Java

一、什么是Hadoop？

    这是一个看着不起眼，实则“送命题”的典型。往往大家关于大数据的其他内容准备得非常充分，反倒问你什么是Hadoop却有点猝不及防，回答磕磕绊绊，给面试官的印象就很不好。另外，回答这个问题，一定要从事物本身上升到广义去介绍。面试官往往通过这个问题来判断你是否具有最基本的认知能力。

    Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理。主要包括三部分内容：*Hdfs，MapReduce，Yarn*

    Hadoop在广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如HBase，Hive，Spark，Zookeeper，Kafka，flume…
image.png

二、能跟我介绍下Hadoop和Spark的差异吗？

    被问到也不要惊讶，面试官往往通过你对于不同技术的差异描述，就能看出你是不是真的具有很强的学习能力。
Hadoop Spark
类型 基础平台，包含计算，存储，调度 分布式计算工具
场景 大规模数据集上的批处理 迭代计算，交互式计算，流计算
价格 对机器要求低，便宜 对内存有要求，相对较贵
编程范式 MapReduce，API 较为底层，算法适应性差 RDD组成DAG有向无环图，API较为顶层，方便使用
数据存储结构 MapReduce中间计算结果存在HDFS磁盘上，延迟大 RDD中间运算结果存在内存中，延迟小
运行方式 Task以进程方式维护，任务启动慢 Task以线程方式维护，任务启动快

三、Hadoop常见的版本有哪些，分别有哪些特点，你一般是如何进行选择的?

    这个完全就是基于个人的经验之谈的，如果平时没有细致研究过这些，这个问题一定是答不好的。

    由于Hadoop的飞速发展，功能不断更新和完善，Hadoop的版本非常多，同时也显得杂乱。目前市面上，主流的是以下几个版本：

四、能简单介绍Hadoop1.0，2.0，3.0的区别吗？

    一般能问出这种问题的面试官都是“狠人”，基本技术都不差，他们往往是更希望应聘者能在这些“细节”问题上脱颖而出。

    Hadoop1.0由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。在Hadoop1.0中容易导致单点故障，拓展性差，性能低，支持编程模型单一的问题。

    Hadoop2.0即为克服Hadoop1.0中的不足，提出了以下关键特性：

五、说下Hadoop常用的端口号

    Hadoop常用的端口号总共就那么几个，大家选择好记的几个就OK了

六、简单介绍一下搭建Hadoop集群的流程

    这个问题实在基础，这里也简单概述下。

    在正式搭建之前，我们需要准备以下6步：

准备工作

  1. 关闭防火墙
  2. 关闭SELINUX
  3. 修改主机名
  4. ssh无密码拷贝数据
  5. 设置主机名和IP对应
  6. jdk1.8安装

搭建工作:

七、介绍一下HDFS读写流程

    这个问题非常基础，同时出现的频率也是异常的高，但是大家也不要被HDFS的读写流程吓到。相信看到这里的朋友，应该不是第一次背HDFS读写繁多的步骤了，菌哥在这里也不建议大家去背那些文字，这里贴上两张图，大家要学会做到心中有图，万般皆易。
在这里插入图片描述

八、介绍一下MapReduce的Shuffle过程，并给出Hadoop优化的方案(包括：压缩、小文件、集群的优化)

    MapReduce数据读取并写入HDFS流程实际上是有10步
在这里插入图片描述 
    其中最重要，也是最不好讲的就是 shuffle 阶段，当面试官着重要求你介绍 Shuffle 阶段时，可就不能像上边图上写的那样简单去介绍了。

    你可以这么说：

    1) Map方法之后Reduce方法之前这段处理过程叫**Shuffle**

    2) Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段**快排**；溢写产生大量溢写文件，需要对溢写文件进行**归并排序**；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。

    3）每个Reduce拉取Map端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入Reduce方法前，可以对数据进行分组操作。

讲到这里你可能已经口干舌燥，想缓一缓。
但面试官可能对你非常欣赏：
小伙几，看来你对MapReduce的Shuffle阶段掌握很透彻啊，那你跟我再介绍一下你是如何基于MapReduce做Hadoop的优化的，可以给你个提示，可以从压缩，小文件，集群优化层面去考虑哦~

image.png

可能你心里仿佛有一万只草泥马在奔腾，但是为了顺利拿下本轮面试，你还是不得不开始思考，如何回答比较好：

1）HDFS小文件影响

2）数据输入小文件处理

3）Map阶段

4）Reduce阶段

5) IO 传输

6) 整体

7) 压缩

    压缩，可以参考这张图

[图片上传失败...(image-91591f-1604558885350)]

    **提示**：如果面试过程问起，我们一般回答压缩方式为Snappy，特点速度快，缺点无法切分（可以回答在链式MR中，Reduce端输出使用bzip2压缩，以便后续的map任务对数据进行split）

九、介绍一下 Yarn 的 Job 提交流程

    这里一共也有两个版本，分别是详细版和简略版，具体使用哪个还是分不同的场合。正常情况下，将简略版的回答清楚了就很OK，详细版的最多做个内容的补充：

[图片上传失败...(image-9b8096-1604558885350)]

    其中简略版对应的步骤分别如下：
  1. client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等
  2. ResourceManager启动一个container用于运行ApplicationMaster
  3. 启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳
  4. ApplicationMaster向ResourceManager发送请求,申请相应数目的container
  5. 申请成功的container，由ApplicationMaster进行初始化。container的启动信息初始化后，AM与对应的NodeManager通信，要求NM启动container
  6. NM启动container
  7. container运行期间，ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息
  8. 应用运行结束后，ApplicationMaster向ResourceManager注销自己，并允许属于它的container被收回

十、介绍下Yarn默认的调度器，调度器分类，以及它们之间的区别

    关于Yarn的知识点考察实际上在面试中占的比重并的不多，像面试中常问的无非就Yarn的Job执行流程或者调度器的分类，答案往往也都差不多，以下回答做个参考：

    1）Hadoop调度器主要分为三类：

十一、了解过哪些Hadoop的参数优化

    前面刚回答完Hadoop基于压缩，小文件，IO的集群优化，现在又要回答参数优化，真的好烦啊(Ｔ▽Ｔ)如果你把自己放在实习生这个level，你 duck 不必研究这么多关于性能调优这块的内容，毕竟对于稍有工作经验的工程师来说，调优这块是非常重要的

    我们常见的**Hadoop参数调优**有以下几种：

dfs.namenode.handler.count=20 * log2(Cluster Size)


    比如集群规模为10台时，此参数设置为60

十二、了解过Hadoop的基准测试吗?

    这个完全就是基于项目经验的面试题了，暂时回答不上来的朋友可以留意一下：

    我们搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。

十三、你是怎么处理Hadoop宕机的问题的?

    相信被问到这里，一部分的小伙伴已经坚持不下去了

[图片上传失败...(image-c6c351-1604558885350)]

    但言归正传，被问到了，我们总不能说俺不知道，洒家不会之类的吧٩(๑❛ᴗ❛๑)۶下面展示一种回答，给大家来个Demo。

    如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）。

    如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上。

十四、你是如何解决Hadoop数据倾斜的问题的，能举个例子吗?

    **性能优化**和**数据倾斜**，如果在面试前不好好准备，那就准备在面试时吃亏吧~其实掌握得多了，很多方法都有相通的地方。下面贴出一种靠谱的回答，大家可以借鉴下：

    1）提前在map进行combine，减少传输的数据量

    在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。

    如果导致数据倾斜的key 大量分布在不同的mapper的时候，这种方法就不是很有效了

    2）数据倾斜的key 大量分布在不同的mapper

    在这种情况，大致有如下几种方法：

JobConf.setNumReduceTasks(int)
上一篇下一篇

猜你喜欢

热点阅读