CDH下安装HDFS服务
2021-06-17 本文已影响0人
小KKKKKKKK
一、HDFS是什么?
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
二、基于CDH安装HDFS
进入Cloudera Manager管理页面
image.png
选择需要添加服务的集群,添加服务
image.png
选择HDFS
image.png
继续
分配HDFS中的角色
image.png
继续
修改配置
image.png
继续
开始安装HDFS
等待
image.png
继续
image.png
完成
三、HDFS中的角色
NameNode
维护着文件系统树及整棵树内所有的文件和目录,HDFS 文件系统中处理客服端读写请求、管理数据块(Block )的映射信息、配置副本策略等管理工作
DataNode
DataNode 执行实际操作。DataNode 表示实际存储的数据块,同时可以执行数据块的读写操作
SecondaryNameNode
要作用是定期将编辑日志和元数据信息合并,防止编辑日志文件过大,并且能保证其信息与namenode信息保持一致。它不是NameNode的备份,但可以做备份,其主要工作是帮助NameNode合并editslog,减少NameNode的启动时间。
NFS Gateway
允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统
HttpFs
基于HTTP操作hadoop hdfs文件系统