1.家庭成员

家庭成员

2.HDFS概述

1.HDFS结构

Paste_Image.png

元数据就是除了文件数据之外的数据，如文件名。实际上，元数据在磁盘中也有备份，只是启动时加载到内存中。

2.HDFS运行机制

Paste_Image.png

3.HDFS优缺点

• 优点：

Paste_Image.png

• 缺点：

Paste_Image.png

小文件越多，则元数据越多，与数量有关，与大小无关。
不能修改。

4.HDFS架构

Paste_Image.png

上图中黑色虚线有问题，应该是client操作datanode。
从图中可以看出：

• 客户端向namenode请求读写服务。
• 每个datanode中的存储单元称为“块”，见下图。

Paste_Image.png

• 每个块都在其他datanode中存有副本。
  下图显示了HDFS的设计思想：

Paste_Image.png

解读：一个文件有50G，假设被分成4个block，则每个block都有3个副本，这3个副本一定要存放在不同的节点上。假如有一个节点坏了，导致block1只有2个副本了，那系统会自动复制一份副本添加到比较空闲的节点上。

3.HDFS三种节点解读

1.NameNode（NN）

Paste_Image.png

edits解读：
如果新增或删除一个文件，edits会记录对metadata的操作日志，但不会马上写入fsimage。每隔一段时间，会把edits与fsimage内容进行合并，这件fsimage中才会记录是新增了还是删除了文件。

2.SecondaryNameNode（SNN，面试会问）

1.意义

Paste_Image.png

因为namenode的主要功能是接收客户端的读写服务，而合并edits会占用大量时间，这时SecondaryNameNode就可以协助namenode合并edits log。

2.合并流程

Paste_Image.png

解读：

• SecondaryNameNode有可能在另外一个节点上，交付工作可能会跨节点。
• edits交付到SecondaryNameNode之前，会拷贝一份新edits，来继续它的工作。
• 在SecondaryNameNode中，edits和fsimage进行合并，完成后传回namenode，成为新的fsimage。
• SecondaryNameNode能做备份就体现在，它存放着namenode的一份合并之前的edits和fsimage的副本。但没有保存edits.new，也就说当namenode坏了，只能通过SecondaryNameNode找回大部分元数据。
• 所以尽量把这两种namenode放在不同的节点上。

3.datanode（DN）

1.意义

Paste_Image.png

解读：
是namenode主动向datanode发送心跳。

2.Block副本放置策略

Paste_Image.png

解读：

• 因为不同机架的电源往往不同，一台机架电源断了，机架内所有节点的文件都丢失。
• 不同机架，保证安全。
  相同机架，保证速度。

4.HDFS读/写流程（面试会问）

1.读流程

Paste_Image.png

解读：

• client通过DFS的open方法去请求NameNode，得到block的位置信息
• 再通过FSDataInputStream流去读每个block的副本中的一个，把这些block还原成文件
• 关闭流

2.写流程

Paste_Image.png

解读：

• client用DFS的create方法请求NameNode，NameNode再返回给应该分成多少block、放在哪个DataNode上等信息
• 通过FSDataOutputStream流去把每个block的一个副本写在DataNode里，DataNode再创建线程把block的副本写到其他datanode里（client和datanode有可能很远，但是datanode间很近，这样是为了保证速度），写完的信息返回给namenode
• 关闭流

5.HDFS文件权限

Paste_Image.png

解读：
不需要密码认证，不会检查你的身份是不是本人。

6.HDFS安全模式

启动HDFS时，首次进入的模式就是安全模式。尽量不要退出安全模式，会导致数据的丢失。

Paste_Image.png