CDH下安装HDFS服务
2021-06-17 本文已影响0人
小KKKKKKKK
一、HDFS是什么?
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
二、基于CDH安装HDFS
进入Cloudera Manager管理页面

选择需要添加服务的集群,添加服务

选择HDFS

继续
分配HDFS中的角色

继续
修改配置

继续
开始安装HDFS
等待

继续

完成
三、HDFS中的角色
NameNode
维护着文件系统树及整棵树内所有的文件和目录,HDFS 文件系统中处理客服端读写请求、管理数据块(Block )的映射信息、配置副本策略等管理工作
DataNode
DataNode 执行实际操作。DataNode 表示实际存储的数据块,同时可以执行数据块的读写操作
SecondaryNameNode
要作用是定期将编辑日志和元数据信息合并,防止编辑日志文件过大,并且能保证其信息与namenode信息保持一致。它不是NameNode的备份,但可以做备份,其主要工作是帮助NameNode合并editslog,减少NameNode的启动时间。
NFS Gateway
允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统
HttpFs
基于HTTP操作hadoop hdfs文件系统