HDFS-Secondary NameNode(Checkpoi

2019-01-24  本文已影响0人  渭小粉

hadoop的hdfs组件,为了能够增加故障恢复能力,保障数据的安全,采取了读写日志的方式,当对文件进行修改或其它操作的时候,NameNode会将操作信息写入到edit.log文件当中,并且达到一定时间或事务的时候,会将edit.log中的内容合并到fsimage, 当hdfs启动的时候从fsimage文件当中读取最新状态,关于合并的操作自然是由second namenode来进行的咯,毕竟人家主要的namenode可是大老板,没有功夫来做这些事情的。

合并条件是达到一定时间或达到一定的事务次数之后,会执行checkpoint操作,也就是合并日志,(如果非要等待下一次重启再读取合并的话,会需要启动很久很久的时间的!恩恩,就是这么简单)。设定的时间或事务次数是在hdfs.site.xml进行配置的(HADOOP是大牛搞出来的,小弟们不需要写多少代码,你只要会看说明配置就能够完成初步的工作),

我们可以从下面的链接中看到关于checkpoint的默认配置

https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

上一篇下一篇

猜你喜欢

热点阅读