Hadoop,HDFS原理及操作

2023-03-07 本文已影响0人码农高飞

今天来聊下Hadoop和HDFS。

1、Hadoop介绍

1.1、Hadoop是什么？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。

1.2、Hadoop发展历史

Hadoop的雏形是由Doug Cutting等人借鉴Google在大数据方面的三篇论文后（GFS->HDFS,MapReduce->MR,BigTable->HBase），用了2年业余时间实现的，后来被引入Apache基金会立项，2006年3月Hadoop正式诞生，标志着大数据时代来临。名字来源于Doug Cutting儿子的玩具大象。

1.3、Hadoop三大发行版本

Apache版本是最原始最基础的版本，开源免费。
Cloudera内部集成了很多大数据框架，对应产品CDH，收费，每年每个节点10000美元。
Hortonworks文档较好，对应产品HDP，目前已被Cloudera公司收购。

1.4、Hadoop的优势

高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失。
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：能够自动将失败的任务重新分配。

1.5、Hadoop的组成

Hadoop2.x和3.x都由HDFS、MapReduce和Yarn组成。HDFS负责数据存储，MapReduce负责计算，Yarn负责资源调度。

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代增加了Yarn，Yarn只负责资源的调度，MapReduce只负责运算。

Hadoop各组成介绍：

HDFS：HDFS由NameNode、DataNode和Secondary NameNode组成。NameNode存储文件的元数据，DataNode存储文件块数据，Secondary NameNode每隔一段时间对NameNode元数据备份。
MapReduce：MapReduce将计算过程分成两个阶段，Map阶段和Reduce阶段，Map阶段并行处理输入数据，Reduce阶段对Map结果进行汇总。
Yarn：Yarn由ResourceManager、NodeManager、ApplicationMaster和Container组成。

2、HDFS介绍

2.1、HDFS概述

随着数据量越来越大，需要一种系统来管理多台机器上的文件，就是分布式文件管理系统，其中HDFS只是分布式文件管理系统的一种。

HDFS全称是Hadoop Distributed File System，它是一个文件系统，用来存储文件，通过目录树来定位文件，其次它是分布式的，由很多服务器联合起来实现功能。

由于HDFS是分布式的，不难想到它的使用场景，适合一次写入，多次读出的场景，且不支持文件的修改。

HDFS优点：高容错性、适合处理大数据、可构建在廉价机器上。
HDFS缺点：不适合低延时数据访问（比如毫秒级存储数据做不到）、无法高效的对大量小文件进行存储、不支持并发写入和文件随机修改（仅支持数据追加）。

HDFS组织架构如下：

NameNode--就是Master，管理者，下达命令

管理HDFS的的名称空间。
配置副本策略。
管理数据块映射信息。
处理客户端读写请求。
DataNode--就是Salve，执行命令
存储实际的数据块。
执行数据块的读/写操作。
Client--客户端
将文件切分为多个Block。
与NameNode、DataNode交互。
可以通过一些命令管理和访问HDFS。
Secondary NameNode
辅助NameNode。
辅助恢复NameNode。

HDFS中的文件在物理上是分块存储的，块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，旧版本中是64M。

根据经验公式当寻址时间为传输时间的1%时为最佳状态，那么寻址时间是10ms时传输时间就是1s，而目前磁盘的传输速率普遍为100MB/s，得到block大小为100MB，取整数就是128M（对于计算机而言的整数）。

块太小会增加寻址时间。块太大则从磁盘传输数据的时间会明显大于定位块开始位置的时间，导致处理块数据速度变慢。

HDFS块的大小设置主要取决于磁盘传输速度。

2.2、HDFS的Shell操作

2.2.1、基本语法

bin/hadoop fs 具体命令
bin/hdfs dfs 具体命令

有环境变量可不用加路径bin/。

2.2.2、常用命令实操

hadoop fs -help rm # 输出这个命令参数

上传：

hadoop fs -moveFromLocal ./test01.txt /files # 从本地剪切粘贴到HDFS
hadoop fs -copyFromLocal ./test02.txt /files # 从本地拷贝到HDFS
hadoop fs -appendToFile ./test03.txt /files/test02.txt # 追加一个文件到已经存在的文件末尾
hadoop fs -put ./test04.txt /files # 等同于copyFromLocal

下载：

hadoop fs -copyToLocal /files/test01.txt ./ # 从HDFS拷贝到本地
hadoop fs -get /files/test02.txt ./ # 等同于copyToLocal
hadoop fs -getmerge /files/* ./merge.txt # 合并下载多个文件

HDFS直接操作：

hadoop fs -ls / # 显示目录树
hadoop fs -mkdir -p /files/create/ # 在HDFS上创建目录
hadoop fs -cat /files/test01.txt # 显示文件内容
hadoop fs -chmod 777 /files/test02.txt # 修改文件所属权限
hadoop fs -chown dgf:dgf /files/test03.txt # 修改文件拥有者
hadoop fs -cp /files/test04.txt /files/create/ # 从HDFS一个路径拷贝到另一个路径
hadoop fs -mv /files/test05.txt /files/create/ # 在HDFS目录中移动文件
hadoop fs -tail /files/test06.txt # 显示一个文件的末尾
hadoop fs -rm /files/test07.txt # 删除文件或文件夹
hadoop fs -rmdir /test # 删除空目录
hadoop fs -du -s -h /files/create # 只统计文件夹的大小信息
hadoop fs -du -h /files/create # 统计文件夹下各文件的大小信息
hadoop fs -setrep 6 /files/test08.txt # 设置HDFS中文件的副本数量
# 这里设置的副本数只是记录在NameNode的元数据中，是否真有这么多副本还得看DataNode的数量

2.3、HDFS客户端操作

2.3.1、客户端环境准备

将windows依赖拷贝到系统，然后配置环境变量，最后重启下电脑。

创建Maven工程并添加依赖：

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-slf4j-impl</artifactId>
        <version>2.16.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
</dependencies>

创建HdfsClient类：

public class HdfsClient{  
    @Test
    public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{
            //1.获取文件系统
            Configuration configuration = new Configuration();
            //配置在集群上运行
            //configuration.set("fs.defaultFS", "hdfs://hadoop1:9820");
            //FileSystem fs = FileSystem.get(configuration);
            FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9820"), configuration, "dgf");
            //2.创建目录
            fs.mkdirs(new Path("/files/create/files"));
            //3.关闭资源
            fs.close();
    }
}

配置用户名称并执行程序：

客户端操作HDFS时，是有一个用户身份的，默认情况下，HDFS客户端API会从JVM中获取一个参数作为自己的用户身份：-DHADOOP_USER_NAME=dgf，dgf为用户名称。

2.3.2、HDFS API操作

HDFS文件上传：

@Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
        //1.获取文件系统
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication", "2");
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9820"), configuration, "dgf");
        //2.上传文件
        fs.copyFromLocalFile(new Path("e:/test.txt"), new Path("/test.txt"));
        //3.关闭资源
        fs.close();
        System.out.println("over");
}

参数优先级：客户端代码>工程配置文件>服务器默认配置。

HDFS文件下载：

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{
        //1.获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9820"), configuration, "dgf");
        //2.执行下载操作
        //boolean delSrc 指是否将原文件删除
        //Path src 指要下载的文件路径
        //Path dst 指将文件下载到的路径
        //boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false, new Path("/test.txt"), new Path("e:/test.txt"), true);
        //3.关闭资源
        fs.close();
}

通过流向HDFS上传和下载文件：

//上传
@Test
public void test01() throws Exception {
    //创建输入流读取本地文件的内容
    FileInputStream fis = new FileInputStream(new Path("E:\\test.txt"));
    //创建输出流将文件写到HDFS上
    FSDataOutputStream fos = fs.create(new Path("/test.txt"));
    //文件对拷
    IOUtils.copyBytes(fis,fos,2000);
    //关闭流
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
}
//下载
@Test
public void test02() throws Exception {
    FSDataInputStream fis = fs.open(new Path("/test.txt"));
    FileOutputStream fos = new FileOutputStream(new Path("E://test.txt"));
    //最后一个参数 ：true就会关流 false不会关流
    IOUtils.copyBytes(fis,fos,2000,true);
}

2.4、HDFS的数据流

2.4.1、HDFS读数据流程

客户端通过Distributed FileSystem向NameNode请求下载文件。
NameNode通过查询元数据，找到文件块所在的DataNode地址，返回目标文件的元数据。
挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

2.4.2、HDFS写数据流程

客户端通过Distributed FileSystem向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
NameNode返回是否可以上传。
客户端请求第一个Block上传到哪几个DataNode服务器上。
NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
dn1、dn2、dn3逐级应答客户端。
客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3，dn1每传一个packet会放入一个应答队列等待应答。
当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器（重复执行3-7步）。

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接受数据。下面介绍下节点距离的计算。

节点距离：两个节点到达最近的共同祖先的距离总和。

副本节点的选择：

第一个副本在Client所处的节点上，如果客户端在集群外，随机选一个。
第二个副本在另一个机架的随机一个节点。
第三个副本在第二个副本所在机架的随机节点。

以上介绍了HDFS的读写流程和实际操作命令，关于HDFS的组成这里先不做介绍。
今天的内容就到这里，下篇见。