2020-12-08 尚硅谷 hadoop 知识点记录

1.通过-setrep设置的hdfs的文件副本数量只是记录在namenode的元数据中，是否真的会有这么多的副本还要看datanode的数量。因为目前只有三台设备，最多也就三个副本，只有节点数增加到10台，副本数才到10.
2.hdfs 参数设置的优先级（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的默认配置
3.hdfs写数据流程：

image.png

4.副本机架选择策略

image.png
5.hdfs读数据流程
image.png
6.namenode工作日志
image.png

7.Fsimage中没有记录块所对应DataNode，为什么？
在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。
8、NameNode如何确定下次开机启动的时候合并哪些Edits？
最新的那个。
9.datanode工作机制

image.png
10.黑名单上强制节点退出后，该节点上的数据会拷贝到其他节点，如果数据不均衡，可以通过命令 ./start-balancer.sh 实现集群的再平衡
11.datanode也可以配置成多个目录，每个目录存储的数据不一样，不是备份。