大数据学习十二:HDFS读流程和写流程
2018-05-24 本文已影响0人
RacyFu
HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FSOutPutStream
1、HDFS读流程
(1)、打开分布式文件流
(2)、向NameNode请求数据文件
(3)、NameNode返回要读取文件的全部或部分元数据信息
(4、5)、HDFS开始从最近的DataNode读取block,若读取的块损坏,则读取备份中的其他block,若所有备份都无法读取,则文件 损坏。
(6)、文件读取文笔,关闭分布式文件流
2、HDFS写流程
(1、2)、HDFS Client 向NameNode申请创建文件,文件创建后,不会被分配block。
(4)、HDFS Client 向DataNode写入数据,DataNode根据复制策略向其他DataNode复制数据
(5)、文件写完毕后,最后一个block依次向前传递ACK确认信息,直到NameNode
(6)、关闭DFS文件流。