HDFS元数据管理机制

本文章的主题如下：

• 什么是元数据？

• 元数据管理机制

• Checkpoint操作

• 元数据

元数据.png

• 元数据管理

  1. 客户端上传文件的时候，NameNode先往edit log中记录这条操作；
  • 客户端根据NameNode分配的位置信息往DataNode中写入数据，数据成功完成上传之后，NameNode将刚刚写入edit log中的那条记录写入内存，便于读取数据，此条记录就是元数据；
  • 当edit log达到特定条件时，SecondaryNameNode会通过checkpoint操作将edit log文件合并到FsImage文件中；
• 在某个时间点上，内存中的元数据跟FsImage中的元数据是相同的；
• edit log 文件只能追加，不能修改；
• 元数据的读写时分离的，内存中的元数据负责读。

• Checkpoint操作

Checkpointing creates a new fsimage from an old fsimage and edit log.png

1. Checkpoint触发条件：
   • 旧版本：

• edit log达到特定大小（默认64M，可通过fs.checkpoint.size属性配置）

• 达到特定时间间隔（默认1小时，可通过fs.checkpoint.period属性配置）
  - 2.X版本：（下面讲述的checkpoint过程都是建立在新版本上的）

• 达到特定时间间隔 （默认1小时，可通过dfs.namenode.checkpoint.period属性配置）

• edit log达到特定的为checkpoint的事务数量（默认1百万条，可通过dfs.namenode.checkpoint.txns属性配置）

  2. Checkpoint过程

• 使用 Standby NameNode实现Checkpoint

当NameNode配置了HA机制，那么就是Standby NameNode来进行Checkpoint操作
详细过程如下：
1. Standby NameNode检查是否满足checkpoint的先决条件；
- Standby NameNode将它的命名空间（namespace）保存到一个新的fsimage，并且命名为fsimage.ckpt_(fsimage.ckpt_txid)，其中txid是edit log中的最新一条事务ID（transaction ID ）。然后Standby NameNode为该fsimage创建一个MD5文件，并且将fsimage重命名为fsimage_(fsimage_ckpt)。在此期间，大多数Standby NameNode的操作会被停止，例如NameNode的故障切换或者访问Standby NameNode的webui；
- Standby NameNode发送一条Http GET请求给active NameNode的GetImageServlet 中的 /getimage?putimage=1方法，URL参数中还包含txid，Standby NameNode hostname 和HTTP port；
- active NameNode 接收到请求之后，用接收到的信息反过来发送给 Standby NameNode的GetImageServlet。新的fsimage传输给active NodeName之后，也是先命名为fsimage.ckpt_，为它创建MD5文件，然后重命名为fsimage_。

Checkpointing with NameNode HA configured.png

• 使用 Secondary NameNode实现Checkpoint

如果没有配置HA，那么就需要通过Secondary NameNode来实现Checkpoint操作
详细过程如下：
1. Secondary NameNode检查是否满足checkpoint的先决条件，并且通过PRC到NameNode中获取最近编辑日志的事务ID (NamenodeProtocol#getTransactionId)；
- Secondary NameNode停止NameNode往当前的edit log中写数据，并且给NameNode重新创建一个日志文件edit.new，用来记录新的日志，同时Secondary NameNode将压缩NameNode中的旧edit log。此步骤同样会返回当前fsimage和旧edit log的事务ID；
- 获取到以上的两个事务ID，Secondary NameNode通过Http GET请求从NameNode中下载fsimage和edit log，Secondary NameNode可能包含一些来自上一次checkpoint的文件（比如当前fsimage文件）;
- 如果需要，Secondary NameNode从新下载来的fsimage中重新加载其namespace；
- Secondary NameNode 同HA模式下Standby NameNode一样更新fsimage；
- Standby NameNode 发送请求让NameNode来下载新的fsimage；
- NameNode保存MD5文件，并且重命名fsimage，已经edit.new。

Time diagram of 2NN and NN with annotated steps.png Secondary NameNode checkpoint.png

文献：http://blog.cloudera.com/blog/2014/03/a-guide-to-checkpointing-in-hadoop/