分布式文件系统

HDFS最核心的概念  “块”

默认64MB 支持面向大规模数据存储 降低分布式节点的寻址开销

HDFS两大组件

• 名称节点 (管家)
  FsImage(维护文件系统树及元数据) + EditLog(记录对数据进行的操作)
  解决EditLog不断增大的问题：SecondaryNameNode
• 数据节点 负责数据存储和读取 数据节点的数据保存在本地Linux文件系统中

HDFS体系结构 主从(Master/Slave)结构模型

命名空间管理：目录、文件和块

通信协议

构建在TCP/IP协议基础上

• 客户端通过可配置的端口向名称节点发起TCP连接，使用客户端协议与名称节点进行交互
• 名称节点和数据节点之间则使用数据节点协议进行交互
• 客户端与数据节点的交互通过RPC实现

HDFS存储原理

• 冗余数据保存 冗余因子默认为3
• 数据保存策略
  读取 就近原则
• 数据恢复
  名称节点出错：通过第二名称节点备份恢复
  数据节点出错：(心跳) 冗余数据备份
  数据出错：(校验码) 冗余副本的复制

HDFS读写过程