CDH大数据

CDH下安装HDFS服务

2021-06-17  本文已影响0人  小KKKKKKKK

一、HDFS是什么?

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。

二、基于CDH安装HDFS

进入Cloudera Manager管理页面


image.png

选择需要添加服务的集群,添加服务


image.png
选择HDFS
image.png

继续
分配HDFS中的角色


image.png
继续
修改配置
image.png
继续
开始安装HDFS
等待
image.png

继续


image.png
完成

三、HDFS中的角色

NameNode

维护着文件系统树及整棵树内所有的文件和目录,HDFS 文件系统中处理客服端读写请求、管理数据块(Block )的映射信息、配置副本策略等管理工作

DataNode

DataNode 执行实际操作。DataNode 表示实际存储的数据块,同时可以执行数据块的读写操作

SecondaryNameNode

要作用是定期将编辑日志和元数据信息合并,防止编辑日志文件过大,并且能保证其信息与namenode信息保持一致。它不是NameNode的备份,但可以做备份,其主要工作是帮助NameNode合并editslog,减少NameNode的启动时间。

NFS Gateway

允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统

HttpFs

基于HTTP操作hadoop hdfs文件系统

上一篇 下一篇

猜你喜欢

热点阅读