大数据

Linux第9课:FI——华为版hadoop平台

2019-03-13  本文已影响0人  启蒙时代

Linux第9课:FI——华为版hadoop平台

时间 2019-03-13 下午3:30

主讲 杨成林、杨震

地点 四楼电教室

Hadoop自2012年首次发布以来,持续保持更新,至今,官方公布的最新版本是2019年2月最新更新的3.12版,专班课程使用的2.77版,是官方2018年5月31日发布的版本。Hadoop问世以来,由于其在运算、存储、稳定、安全等方面的出色表现,迅速在全世界流行起来,即使百度、阿里、腾讯等互联网巨头,也都是Hadoop的忠实用户。

市场上使用的hadoop分为三个档次,第一档是原版,官方直接下载,完全免费,第二档是社区版,由全世界的一些计算机爱好者,在原版的基础上进行改造,附加一些功能,适合不同需求的用户,第三档是商业版,由一些第三方企业,组织专业技术人员,在原版的基础上进行改造,使运行更可靠,界面更友好,功能更强大,运维更方便。

从当前国内来看,主流的商业版Hadoop平台有:1,华为——FusionInsight HD(简称FI),2,腾讯——Tbds,3,阿里——飞天(相对其他版本,修改比较大),4,明略——Nest,5,星环——Tdc,6,浪潮——云海Insight。

FI是基于hadoop2.72版开发的,坚持分层,解耦,开放的原则,得益于高可靠性,在全国各地政府、运营商、金融系统有较多案例。

一、HDFS

HDFS,即Hadoop文件系统,是Hadoop自带的两个核心组件之一。(Hadoop自带HDFS和MapReduce两个组件,分别用于分布式存储和计算,其他组件是第三方开发的)

文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得对其访问和查找变得容易。

文件名:在文件系统中,文件名是用于定位存储位置。

元数据(Metadata):保存文件属性的数据,如文件名,文件长度,文件所属用户组,文件存储位置等。

数据块(Block):存储文件的最小单元。对存储介质划分了固定的区域,使用时按这些区域分配使用。

如果把一个文件比作一本书,文件名即书名,元数据即目录,数据块即内容。

HDFS的特性:

a.高容错性:认为硬件总是不可靠的,认为硬件异常是常态,所以,存了好几个副本,自动恢复数据。

b.高吞吐量:为大量数据访问的应用提供高吞吐量支持,文件存储时,启动节点选举机制,就近原则,减少网络负载。

c.大文件存储:支持存储TB-PB级别的数据,一个数据块默认为128M,如果一个文件不足128M,则按128M存储,所以说它不适合小文件存储。为保持数据一致性,不允许数据修改,只能写和读,即WORM(write once,read many)。

二、FI

FI的特性:

1,高可靠性,系统可靠性,数据可靠性

所有组件无单点故障,所有管理节点HA(high 可用),软硬件健康状态监控,

跨数据中心容灾,支持硬盘热拔插

2,强大的组织支撑能力,服务到位,半年做一次全面巡检

3,安全性,系统安全,认证安全,数据安全

4,可视化集群管理,易运维

5,一键式组件安装部署

6.NTP(时钟)自动配置

7,自动配置主机映射关系

8,资源分布监控

9,自定义监控阈值

10,日志级别动态调整

11,针对元数据向导式备份管理

12,多租户管理(资源分配,只针对计算和存储资源)

13,多组件UI间单点登陆

NTP即时钟,用于保证所有节点的时间是一致的。

上一篇 下一篇

猜你喜欢

热点阅读