javaLinux大数据教程BigData

Hadoop框架基础(一)

2017-03-12  本文已影响1444人  Z尽际

** Hadoop框架基础(一)

学习一个新的东西,传统而言呢,总喜欢漫无目的的扯来扯去,比如扯扯发展史,扯扯作者是谁,而我认为这些东西对于刚开始接触,并以开发为目的学者是没有什么帮助的,反而让人分了心,比如你玩LOL的时候,去玩某个英雄的时候,一般你是不会先看英雄的故事背景介绍的,而是读读技能介绍(技能介绍类似于开发文档),直接上线就是干,扔几个技能,发现,嘿?这英雄有点意思,用的多了,才会有可能去看看英雄的背景故事。(不排除你是一个纯粹的完美情怀主义者)

好,那么下面我就给大家简单的总结一下业内的开场内容。

学习内容:Hadoop框架

框架源码:Java

框架之父:Doug Cutting

目前维护:Apache基金会

核心用途:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算。

(不够严谨的简单解释下:把大文件数据分布存储在多个电脑上(因为你一台电脑存不下),然后在多台电脑上进行数据分析(因为你一台电脑计算的慢),最终整合出结果)

Hadoop产生源于Google的一些论文(大陆请使用VPN代理查阅):

GoogleCluster: http://research.google.com/archive/googlecluster.html

Chubby:http://labs.google.com/papers/chubby.html

GFS:http://labs.google.com/papers/gfs.html

BigTable:http://labs.google.com/papers/bigtable.html

MapReduce:http://labs.google.com/papers/mapreduce.html

随着发展,Apache上就出现了一个类似的解决方案,分别对应:

Chubby-->ZooKeeper

GFS-->HDFS

BigTable-->Hbase

MapReduce-->Hadoop

以上内容基本就是介绍框架时扯来扯去的核心,作者是非常厉害的(这不废话么)。在学习过程中,如果你慢慢对这些发展历史,作者,故事背景感兴趣了,你可以再查阅相关资料,毕竟学无止境。

** 准备工作

相关下载:

JDK:链接:http://pan.baidu.com/s/1skOjRE9 密码:2s0p

Hadoop:链接:http://pan.baidu.com/s/1mhB2Rv6 密码:6qxi

Eclipse:链接:http://pan.baidu.com/s/1nvc5izR 密码:ezy8

以上下载你也可以自行下载,通过产品所对应的官网。

创建相关目录:

在root用户下,进入/opt/目录,在该目录下创建两个文件夹

mkdir softwares/:该目录用于存放各种软件安装包

mkdir modules/:该目录用于存放软件的安装目录

改变目录所属:

因为softwares和modules这两个目录为root用户所创建,所以所有者/组均为root,而我们一般使用的操作用户是普通用户,所以此时我们需要修改该两个目录的所有者/组,使用命令:

chown 所有者:所属组 /opt/modules/

chown 所有者:所属组 /opt/softwares/

例如,我这里:

chown z:z /opt/modules/

传递下载后的文件到虚拟机系统

完成以上步骤后,使用FileZilla Client工具(如果忘记如何连接,请查看前几节知识),连接成功后,如图:

此时双击红框部分,如上图所示,找到opt目录,之后你就可以看到两个你创建的目录:

然后,把软件上传到softwares下,直接从windows中拖入即可上传,完成后如图:

我这里上传的有其他软件,其实此时只需要框中部分的3个即可

现在把这3个部分分别解压到modules中,如图(只需留意红框内的内容)

解压命令:

tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

这3个目录已经解压

配置环境变量

配置JDK的环境变量,hadoop的环境变量暂时不需要配了

编辑profile文件,使用命令:

vi /etc/profile,添加如图所示内容:

$意为引用,冒号为分隔符

** Hadoop宏观认知

Hadoop项目主要包括以下四个模块

Hadoop Common:

为其他的Hadoop模块提供基础设施

Hadoop HDFS:

分布式文件系统

Hadoop MapReduce:

分布式离线并行计算框架

Hadoop YARN:

任务调度与资源管理框架

这里因为篇幅问题,我们只能做一些基础理解,更深入的挖掘需要读者自行研究(因为往下深究所需篇幅,可以单独再开一个专题)

** HDFS架构

总结:

1、一个Namenode节点和多个Datanode节点组成

2、Namenode是一个中心服务器,负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个,负责管理节点上它们附带的存储。通俗来讲,datanode就是用来存储某个大文件被拆分后的一个一个的小文件。

3、一个文件分成一个或多个block(数据块,数据块默认大小128M),这些block存储在Datanode集合里。

4、一般而言,一台机器跑一个单独的Namenode节点,集群中的其它机器各跑一个Datanode实例(当然也有一个台机器跑多个Datanode)。

5、Namenode中存放的有元数据(Metadata),比如:映射关系表(哪些数据块block存储在了哪些datanode节点中)

** YARN架构

总结:

yarn主要负责任务调度和资源管理的,比如,集群中,哪些机器还剩余多少CPU多少内存可用,集群中,还有哪些机器可以用来处理新的任务等等。

1、ResourceManager(RM):主要接收客户端任务请求,接收和监控NodeManager(NM)的资源情况汇报,负责资源的分配与调度,启动和监控ApplicationMaster(AM)。

2、NodeManager:主要是节点上的资源管理,启动Container运行task计算,上报资源、负责把container情况给ResourceManager,把任务处理情况给ApplicationMaster。

3、ApplicationMaster:主要是单个Application(Job)的task管理和调度,向ResourceManager进行资源的申请,向NodeManager发出launch Container指令,接收NodeManager的task处理状态信息。

yarn工作流程:

1、client submit提交一个Job到ResourceManager,进入ResourceManager中的Scheduler队列供调度

2、ResourceManager根据NodeManager汇报的资源情况(NodeManager会定时汇报资源和container使用情况),请求一个合适的NodeManager launch container,在该NodeManager所在机器启动运行ApplicationMaster

3、ApplicationMaster启动后,注册到ResourceManager上,以便client可以查到ApplicationMaster的信息,便于client直接和ApplicationMaster通信

4、ApplicationMaster启动后,根据Job相关情况,会和ResourceManager协商申请container资源

5、ResourceManager分配给ApplicationMaster container资源后,根据container的信息,向对应的NodeManager请求launch container

6、NodeManager启动container运行task,运行过程中向ApplicationMaster汇报进度状态信息,同时NodeManager也会定时的向ResourceManager汇报container的使用情况。

7、在application(job)执行过程中,client可以和ApplicationMaster通信,获取application相关的进度和状态信息。

8、在application(job)完成后,ApplicationMaster通知ResourceManager清除自己的相关信息(即AM自己关闭自己),并关闭,释放自己占用的container。

尖叫提示:Container为何物?

Container:

1、Container是yarn框架中对于资源的抽象描述,它封装了某个节点上一定量的资源(CPU与内存),你可以理解为Container是一个Java类,里面封装了对于资源的一系列描述,还封装了当前Job任务运行的片段代码。

2、Container由ApplicationMaster向ResourceManager申请的,由ResouceManager中的资源调度器异步分配给ApplicationMaster

3、Container的运行是由ApplicationMaster向资源所在的NodeManager发起的(即运行任务)

Container分类:

1、运行用户指定任务(ApplicationMaster)的Container:

这是由ResourceManager(向内部的资源调度器)申请和启动的,用户提交应用程序时,可指定唯一的ApplicationMaster所需的资源;

2、运行各类任务的Container:

这是由ApplicationMaster向ResourceManager申请的,并由ApplicationMaster与NodeManager通信以启用该Container

以上两类Container可能在任意节点上,它们的位置通常而言是随机的,即ApplicationMaster可能与它管理的任务运行在一个节点上。

相关术语知识点:

(本地松弛:是指如果某台NodeManager所能提供的Container不足,则在本台机架寻找另一台机器是否可以提供,如果本台机架所有机器都不能提供所需Container,则换一台机架找寻)

(机架感知:有兴趣的同学请查阅相关博客:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843015.html,此处不再赘述)

** Hadoop基础配置

在进行Hadoop配置的时候,我们有时需要借助官方文档,毕竟那么多的配置属性,不是能全部记下来的

官方文档链接:http://hadoop.apache.org/docs/r2.5.2/

在我们的案例中,Hadoop的配置文档位于:

/opt/modules/hadoop-2.5.0/etc/hadoop

进入该目录,查看该目录文件结构如图:

我们配置Hadoop就是配置这里面的xml文件和sh脚本文件,如果使用vi编辑器配置的话,可能不太习惯?那么接下来我们聊聊怎么使用Notepad++来配置(没有该软件的请自行下载)

打开Notepad++,如图:

如图所示3个地方需要注意:

1、红框:是否开启NppFTP视图,即右边的视图

2、蓝框:点击后,选择“Profile Settings”弹出绿框内容

3、绿框:点击Add new,我这边添加了一个z01,hostname主机名为z01,port端口号为:22,Username登录系统的用户为z,Password密码为你设置的该用户的密码

配置完成后,如下图,点击框内按钮,连接登录:

登录成功如图:

进入到/opt/modules/hadoop-2.5.0/etc/hadoop目录,即可使用Notepad++来编辑文本内容了,方便多了~

配置正式开始

1、首先修改3个.sh文件中的JDK路径

该3个文件分别是:

hadoop-env.sh

mapred-env.sh

yarn-env.sh

修改内容为:

export JAVA_HOME=/opt/modules/jdk1.8.0_111,如图:

修改后记得保存

2、hdfs配置

* core-site.xml

官方文档说明:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml

修改后记得保存

属性解释:

fs.defaultFS:HDFS集群访问入口地址,其中z01也可以换成当前Linux的本机ip,如果此时你还没有在Linux中设置主机名映射,请参照之前Linux中的知识点进行设置即可。

hadoop.tmp.dir:数据存放路径

* hdfs-site.xml

官方文档说明:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

修改后记得保存

属性解释:

dfs.replication:数据块副本数,默认为3。

* slaves

声明哪些服务器是datanode,每行一个主机名即可。

此案例我们只设置1个,即当前虚拟机机器

3、yarn配置

* yarn-site.xml

官方文档:http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

属性解释:

yarn.nodemanager.aux-services:NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序

yarn.resourcemanager.hostname:resourcemanager的主机名,即哪一台主机当做ResourceManager

yarn.log-aggregation-enable:是否开启日志聚合功能

yarn.log-aggregation.retain-seconds:在HDFS上聚集的日志最多保存多长时间,单位:秒,86400相当于24小时

其他属性:

yarn.nodemanager.resource.memory-mb:表示该节点上yarn可使用的物理内存总量,默认是8192MB,如果该节点机器的内存不足8G,则需要调小这个值,yarn不会智能的探测节点的物理内存总量。

yarn.nodemanager.vmem-pmem-ratio:任务每使用1MB物理内存,最多可使用的虚拟内存量,默认为2.1。

yarn.nodemanager.pmem-check-enabled:是否启动一个县城检查每个任务正在使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认值为true。

yarn.nodemanager.vmem-check-enabled:是否启动一个线程检查每个任务正在使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认值为true。

yarn.scheduler.minimum-allocation-mb:单个任务可申请的最少物理内存量,默认是1024MB,如果一个任务申请的物理内存量少于该值,则对应的值改为这个数。

yarn.scheduler.maximum-allocation-mb:单个任务可申请的最多物理内存量,默认是8192MB。

4、map-reduce配置

* mapred-site.xml

官方文档:http://hadoop.apache.org/docs/r2.5.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

属性解释:

mapreduce.framework.name:设置运行MapReduce任务的框架

mapreduce.jobhistory.address:自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的。配置该地址后,启动服务就可以通过Web UI来查看具体使用详情了。

mapreduce.jobhistory.webapp.address:web app客户端的访问入口

** 启动服务

启动过程分为如下几个过程:

* 格式化hdfs

由于当前主机第一次使用hdfs系统,所以使用之前需要先格式化

进入到/opt/modules/hadoop-2.5.0目录下

使用命令(#代表root用户下输入,$代表普通用户下输入,输入命令时注意不要加#或$,此处写上只为注明)

$ bin/hdfs namenode -format,成功格式化后如图:

* 启动hdfs相关服务

使用命令:

$ sbin/hadoop-daemon.sh start namenode:开启nodenode节点服务

$ sbin/hadoop-daemon.sh start datanode:开启datanode节点服务

最后通过jps命令来查看进程是否启动成功

如图:

此时可以通过浏览器成功访问hdfs管理平台:http://z01:50070,如图:

* 启动yarn相关服务

使用命令:

$ sbin/yarn-daemon.sh start resourcemanager:开启resourcemanager

$ sbin/yarn-daemon.sh start nodemanager:开启nodemanager

完成后使用jps检查是否启动成功,如图:

此时可以通过浏览器成功访问yarn管理平台:http://z01:8088,如图:

$ sbin/mr-jobhistory-daemon.sh start historyserver:开启historyserver服务,如图:

OK,所有的服务都已经准备完成了,下面我们来做一个小测试。

** 测试

经典案例:官方Demo单词统计

我们下面要做的一个案例是官方的demo,用于统计单词出现的频率,首先我们需要创建一个文档,里面有若干英文单词,然后把这个文档上传到hdfs系统中,等待mapreduce计算,最后查看结果。

1、创建包含若干单词的words.txt文档,注意单词用空格或者tab分割,创建位置为:/opt/modules/hadoop-2.5.0,如图:

2、在hdfs系统中创建/input/目录

使用命令:

$ bin/hdfs dfs -mkdir /input,如图:

3、上传words.txt文档到该目录下

使用命令:

$ bin/hdfs dfs -put words.txt /input,如图:

4、查看已上传的文件内容

使用命令:

$ bin/hdfs dfs -cat /input/words.txt,如图:

尖叫提示:当然bin/hdfs dfs中还有一些其他命令,读者可以通过输入$ bin/hdfs dfs来查看使用方式,如图:

5、运行任务

使用命令:

$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output/

解释:

/input/:hdfs中的路径,表示输入路径

/output/:hdfs中的路径,表示输出路径(统计结果会在这个目录下)

运行后,会出现如下内容:

注意红框中内容的变化

此时,任务已经执行完毕,下面我们来看一看执行的结果

使用命令:

$ bin/hdfs dfs -cat /output/par* :查看output这个输出目录下的所有以par开头的文件内容(为何是par开头,稍后解释)

如图:

如图,单词出现频率已经出来了,下面我们来看一下web app中的变化。

6、查看web app:

hdfs(http://z01:50070):

点击红框内容,选择“Browse the file system”,在搜索框中输入:/,点击GO,如图:

在此你可以看到你的hdfs系统中的目录结构,分别点开input和output,我们来瞟一眼:

注意此时output中红框内容,这就解释了为何我们刚才查看结果的时候,要查看的是par开头的文件,因为输出结果的默认文件名就是这个。

yarn(http://z01:8088):

下面我们再来看看yarn平台的内容变化,刷新yarn平台后,你会发现多了一条内容:

点击history,我们进去瞟一眼?如图:

里面展示了任务的一些特征,比如开始时间,map和reduce数量,耗时,状态等等。

** 总结

这就是hadoop平台的基本搭建,望对你所有帮~掌声~(收!)

IT全栈公众号:

QQ大数据技术交流群(广告勿入):476966007

下一节:Hadoop框架基础(二)

上一篇下一篇

猜你喜欢

热点阅读