HDFS详解

可以在http://master:50070上访问hdfs的web页面。
本文章主题如下：

• HFDS结构

• NameNode

• DataNode

• Secondary NameNode

• Block

• Block副本管理

• 机架感知策略

• HDFS结构

HDFS结构.png

Hadoop分布式系统 —— HDFS，它是一个块结构文件系统，它的每个文件都被分割成许多预定大小的块。这些块被存储在集群中的一台或多台机器上。HDFS遵循主／从结构，集群中拥有一台单独的NameNode（主节点），其它节点都是DataNode（从节点）。

• NameNode

NameNode.png

NameNode维护并管理着DataNode上的block。
以下是NameNode的功能：

1. 维护并管理着DataNode节点；

• 记录着集群中所有文件的元数据（metadata）信息，比如：block的存储位置，文件的大小，权限，层级关系等。有两个文件关联着元数据（metadata）：

• FsImage: 记录着文件系统命名空间（namespace）自从上一次启动之后的完整状态。

• EditsLog：记录着相对于最近的FsImage，客户端对文件系统所有修改的信息。

  • 记录着文件系统中元数据所发生的所有变化，比如：HDFS中的某个文件被删除，NameNode立即在EditLog中进行记录。
  • 定期从集群中的所有DataNode接收心跳和块报告，用来确认DataNode是否宕机。
  • 保存着HDFS中所有块的记录，以及这些块位于哪个节点。
  • 负责处理所有块的副本。
  • 在DataNode宕机的情况下，NameNode会为副本选择新的DataNode，平衡磁盘的使用量，管理DataNode间的通信流量。

• DataNode

DataNode是HDFS中的从节点，它是将数据以ext3或者ext4这种文件格式，存储在本地的块服务器。
以下是DataNode的功能：

1. 处理文件客户端的低级读写请求。

• 向NameNode定期发送心跳汇报HDFS总体的健康状况，默认情况下，每3秒发送一次。

• Secondary NameNode

它的职责是辅助NameNode工作，而不是备用节点。

Secondary-NameNode.png

它的功能如下：

1. 合并来自NameNode的FsImage和EditLog，并将合并之后的FsImage文件拷贝给NameNode。

• Block

存储在DataNode磁盘上的文件块，默认大小是128M（1.x默认大小是64M）,可通过hdfs-site.xml 文件配置dfs.blocksize 属性来制定block大小。block文件可以在DataNone的
{dfs.datanode.data.dir}/data/current/XXX/current/finalized/xx/目录下找到。如果block块太小，将会导致一个文件将会被分割成非常多的块，以至于会有非常多mateData数据，浪费内存以及硬盘空间。

HDFS-File-Block.png

• Block副本管理

Block默认是3个，

Replication-Management.png

以在配置文件中设置。

• 机架感知策略

HDFS的存放策略（机架感知策略）是将一个副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上

Rack-Awareness.png

机架感知策略的有点：

1. 提高网络性能：这种策略减少了机架间的数据传输，这就提高了写操作的效率，数据块只放在两个（不是三个）不同的机架上，因此减少了读取数据时需要的网络传输总带宽。

• 避免数据丢失：副本分布在不同机架上不同节点上，不会因为某个机架或者节点宕机而导致数据丢失。

• HDFS元数据管理机制

文献：https://www.edureka.co/blog/apache-hadoop-hdfs-architecture/?utm_source=quora&utm_medium=crosspost&utm_campaign=social-media-edureka-ab
http://zheming.wang/blog/2015/07/24/17505A21-0204-48AB-8EBE-EAC911B22821/