大数据hadoop面试经典题
0.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A）
A、 TextInputFormat
B、 KeyValueInputFormat
C、 SequenceFileInputFormat
1. 下面哪个程序负责 HDFS 数据存储？（C）
A.NameNode
B.JobTracker
C.DataNode
D.SecondaryNameNode
E.tasktracker
2.HDFS 中的 block 默认保存几份？（A）
A.3 份
B.2 份
C.1 份
D.不确定
3.下列哪个程序通常与 NameNode 在一个节点启动？（D）
A.SecondaryNameNode
B.DataNode
C.TaskTracker
D.JobTracker
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个.
SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和 NameNode 运行在不同的机器上。
JobTracker对应于NameNode,TaskTracker对应于DataNode.
DataNode和NameNode是针对数据存放来而言的.JobTracker和TaskTracker是对于MapReduce执行而言的.
mapreduce中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：
jobclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将已经配置参数打包成jar文件的应用存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即 MapTask 和 ReduceTask） 并将它们分发到各个TaskTracker服务中去执行。
2、JobTracker是一master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务。task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。 TaskTracker 都需要运行在HDFS的DataNode上。
4.关于 SecondaryNameNode 哪项是正确的？（C）
A.它是 NameNode 的热备
B.它是内存没有要求
C.他的目的使帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
D. SecondaryNameNode 应与 NameNode 部署到一个节点
5、HDFS 默认 BlockSize 是（B）
A.32MB
B.64MB
C.128MB
6、下列哪项通常是集群的最主要瓶颈（C）
A.CPU
B.网络
C.磁盘 IO
D.内存
7、 下列哪项可以作为集群的管理？（ABC）
A.Puppet
B.Pdsh
C.ClouderaManager
D.Zookeeper
8、Client 端上传文件的时候下列哪项正确？（BC）
A.数据经过 NameNode 传递 DataNode
B.Client 端将文件切分为 Block，依次上传
C.Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
9、下列哪个是 Hadoop 运行的模式？（ABC）
A.单机版
B.伪分布式
C.分布式
10、列举几个hadoop生态圈的组件并做简要描述
Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。
Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统.
Hive:基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。
Sqoop:将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。
11、Hadoop中需要哪些配置文件，其作用是什么？
1>.Core-site.xml：
(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径 。
(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 。
2>.Hadoop-env.sh: 只需设置jdk的安装路径，如：export JAVA_HOME=/usr/local/jdk 本机j位置
3>.Hdfs-site.xml：
(1) dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为3个。
(2) dfs.data.dir:datanode节点存储在文件系统的目录 。
(3) dfs.name.dir:是namenode节点存储hadoop文件系统信息的本地系统路径 。
4>.Mapred-site.xml：
(1)mapred.job.tracker:是jobtracker的主机和端口配置 。
12、 请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?
a) NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有 metadate.
b).SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。
c)DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存
储数据的节点运行一个datanode守护进程。
d)ResourceManager（JobTracker）JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。
e) NodeManager（TaskTracker）执行任务
f) DFSZKFailoverController高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。
g) JournalNode 高可用情况下存放namenode的editlog文件.
13、 HDFS的存储机制？
写入HDFS过程：
Client调用DistributedFileSystem对象的create方法，创建一个文件输出流（FSDataOutputStream）对象，通过DistributedFileSystem对象与Hadoop集群的NameNode进行一次RPC远程调用，在HDFS的Namespace中创建一个文件条目（Entry），该条目没有任何的Block，通过FSDataOutputStream对象，向DataNode写入数据，数据首先被写入FSDataOutputStream对象内部的Buffer中，然后数据被分割成一个个Packet数据包，以Packet最小单位，基于Socket连接发送到按特定算法选择的HDFS集群中一组DataNode（正常是3个，可能大于等于1）中的一个节点上，在这组DataNode组成的 Pipeline上依次传输 Packet， 这组 DataNode 组成的 Pipeline反方向上，发送 ack，最终由 Pipeline 中第一个 DataNode 节点将 Pipeline ack发送给Client，完成向文件写入数据，Client 在文件输出流（FSDataOutputStream）对象上调用close方法，关闭流.调用DistributedFileSystem对象的complete 方法，通知 NameNode 文件写入成功.
读取文件过程：
使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会视情况返回文件的部分或全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode,那么将从本地直接获取数据.读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表。读取完一个block都会进行 checksum 验证，如果读取 datanode 时出现错误，客户端会通知 Namenode，然后再从下一个拥有该 block 拷贝的 datanode 继续读。
14、HDFS的存储机制是什么
客户端通过把请求发送给NameNode active，NN会把文件切成1个到N个固定大小的block（一般默认为128M）并上传到DN中。当所有block拷贝结束时，NN会立即通知客户端上传结果。但此时上传的流程还未结束。DN还需要根据配置信息的副本数量，在不同的机架节点上通过局域网作数据拷贝工作。
15、Hadoop 是由哪几个组件组成
hadoop 是一套处理大数据的生态系统，包括文件存储HDFS ，计算框架MapReduce调度框架Yarn，数据库Hbase ，数据仓库Hive，协调与锁服务zookeeper，关系型数 据库与Hbase转换工具sqoop，工作流模块Oozie,机器学习模块mahout.
16、hadoop 节点动态上线下线怎么操作?
节点上线操作：
当要新上线数据节点的时候，需要把数据节点的名字追加在 dfs.hosts 文件中
一，关闭新增节点的防火墙
二，在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname
三，在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname
四，在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作
五，在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,
六，在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes
七，在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加
到 slaves 文件中
八，启动 DataNode 节点
九，查看 NameNode 的监控页面看是否有新增加的节点
节点下线操作：
一，修改/conf/hdfs-site.xml 文件
二，确定需要下线的机器，dfs.osts.exclude 文件中配置好需要下架的机器，这个是阻
止下架的机器去连接 NameNode
三，配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个
操作的作用是在后台进行 block 块的移动
四，当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集
群上连接的节点，正在执行 Decommission，会显示：
Decommission Status : Decommission in progress 执行完毕后，会显示：
Decommission Status : Decommissioned
五，机器下线完毕，将他们从 excludes 文件中移除。
17、Hadoop 中 job 和 task 之间的区别是什么？
JobTracker 是一个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job
的每一个子任务 task 运行于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新
运行它。一般情况应该把 JobTracker 部署在单独的机器上。
TaskTracker 是运行在多个节点上的 slaver 服务。TaskTracker 主动与 JobTracker 通信，
接收作业，并负责直接执行每一个任务11.Hadoop 中通过拆分任务到多个节点运行来实现并行计
算，但某些节点运行较慢会拖慢整个任务的运行，Hadoop
采用何种机制应对这个情况？
答: 推测执行机制是 Hadoop 对“拖后腿”的任务的一种优化机制，当一个作业的某些任务
运行速度明显慢于同作业的其他任务时，Hadoop 会在另一个节点 上为“慢任务”启动一
个备份任务，这样两个任务同时处理一份数据，而 Hadoop 最终会将优先完成的那个任务
的结果作为最终结果，并将另一个任务杀掉。
18、mapred.job.tracker 命令的作用
连接jobtrack服务器的配置项，默认不写是local，在本地运行，默认 map 数1，reduce数1。
19、如何决定一个job的map和reduce的数量?
splitSize=max{minSize,min{maxSize,blockSize}}
map数量由处理的数据分成的block数量决定default_num = total_size / split_size;
reduce的数量job.setNumReduceTasks(x);x 为reduce的数量.
在这里我为大家介绍一个大数据的交流群，615997810 大家有兴趣的话可以加进来，每周每晚都有大数据基础与项目实战的课程更新，也可以和大家一起相互学习交流讨论，群里的这些我整理了一些，可以加群直接找群主免费领取哦、
