基础机制图解

client读写文件

读取过程 写入过程

• block大小默认为128M，dfs.block.size=128M

NN原理

NN原理

• 元数据的格式NameNode(FileName,replicas,block-ids,id2host...)
  eg: /test/a.log,3,{blk_1,blk_2},[{blk_1:[h0,h1,h3]},{blk_2:[h0,h2,h4]}]
• editslog默认为64M
• checkpoint可以通过设置 ，改变checkpoint的周期和大小。