HADOOP大数据之HDFS数据安全与隐私保护

2023-03-20 本文已影响0人奋斗的韭菜汪

HDFS Trash垃圾桶

功能概述

HDFS Trash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
启用ITrash功能后，从HDFS中删除某些内容时，文件或目录不会立即被清除，它们将被移动到回收站Current目录中(/user/$ (username} /. Trash/current)。
.Trash中的文件在用户可配置的时间延迟后被永久删除。
也可以简单地将回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录。

Trash Checkpoint

检查点仅仅是用户回收站下的一个目录，用于存储在创建检查点之前删除的所有文件或目录。
回收站目录在/user/$ {username]} /.Trash/{timestamp_of_checkpoint_creation)
最近删除的文件被移动到回收站Current目录，并且在可配置的时间间隔内，HDFS会为在Current回收站目录下的文件创建检查点/user/${username} / .Trash/<日期>，并在过期时删除旧的检查点。

image.png

HDFS Trash功能开启

step1 :关闭HDFS集群
在node1节点上，执行一键关闭HDFS集群命令:stop-dfs.sh。
step2∶修改core-site.xml文件
在nodel节点上修改core-site.xml文件，添加下面两个属性︰

Inkedtrash.jpg
fs.trash. interval:回收站中的文件多少分钟后会被系统永久删除。如果为零，Trash功能将被禁用。
fs.trash. checkpoint.interval :前后两次检查点的创建时间间隔（单位也是分钟），新的检查点被创建后，随之旧的检查点就会被系统永久删除。如果为零，则将该值设置为fs.trash.interval的值。

删除文件跳过Trash、直接删除
有的时候，我们希望直接把文件删除，不需要再经过Trash回收站了。可以在执行删除操作的时候添加一个参数:-skipTrash.

清空Trash

除了fs.trash.interval参数控制到期自动删除之外，用户还可以通过命令手动清空回收站，释放HDFS磁盘存储空间。
首先想到的是删除整个回收站目录，将会清空回收站,这是一个选择。
此外。HDFS提供了一个命令行工具来完成这个工作: hadoop fs -expunge。该命令立即从文件系统中删除过期的检查点。
心

HDFS Snapshot快照

快照介绍

可以将快照理解为拍照片时的那一瞬间的投影。
快照(Snapshot )是 $\color{red}{数据存储的某一时刻的状态记录}$ ﹔备份( Backup )则是数据存储的某一个时刻的副本。
HDPS Snapshot快照是整个文件系统或某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。

快照作用

数据恢复
对重要目录进行创建snapshot的操作，当用户误操作时，可以通过snapshot来进行相关的恢复操作。
数据备份
使用snapshot来进行整个集群，或者某些目录、文件的备份。管理员以某个时刻的snapshot作为备份的起始结点，然后通过比较不同备份之间差异性，来进行增量备份。
数据测试
在某些重要数据上进行测试或者实验，可能会直接将原始的数据破坏掉。可以临时的为用户针对要操作的数据来创建一个snapshot，然后让用户在对应的snapshot上进行相关的实验和测试，从而避免对原始数据的破坏。

HDFS快照功能的实现

$\color{red}{HDFS快照不是数据的简单拷贝，只做差异的记录。}$
对于大多不变的数据，你所看到的数据其实是当前物理路径所指的内容，而发生变更的inode数据才会被快照额外拷贝，也就是所说的差异拷贝。
HDFS快照不会复制datanode中的块，只记录了块列表和文件大小。
HDFS快照不会对常规HDFS操作产生不利影响，修改记录按逆时针顺序进行，因此可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。

#启用快照功能：
hdfs dfsadmin -allowSnapshot/allenwoon
#禁用快照功能：
hdfs dfsadmin -disallowSnapshot/allenwoon

$\color{red}{禁用的前提是该目录的所有快照已经被删除}$

快照间差异比较

+创建了文件目录。
-文件目录已被删除。
M文件目录已被修改。
R文件/目录已被重命名。

删除开启快照功能的目录

hadoop fs -rm -r /allenwoon
拥有快照的目录不允许被删除，某种程度上也保护了文件安全。

HDFS 权限管理

-rwxr-xr-x(开头的-代表文件，也可以是d代表目录) 权限755

image.png

web页面修改UGo权限
粘滞[nian zhi]位( Sticky bit)用在目录上设置，如此以来，只有目录内文件的所有者或者root才可以删除或移动该文件。
如果不为目录设置粘滞位，任何具有该目录写和执行权限的用户都可以删除和移动其中的文件。
Simple认证
Kerberos认证

HDFS Proxy user代理用户

HDFS 透明加密

介绍

HDFS透明加密（Transparent Encryption )支持端到端的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端到端是指加密和解密只能通过客户端。
对于加密区域里的文件，HDFS保存的即是加密后的文件，文件加密的秘钥也是加密的
让非法用户即使从操作系统层面拷走文件，也是密文，没法查看。
block在操作系统是以加密的形式存储的，从而减轻了操作系统和文件系统级别的安全威胁
HDFS使用AES-CTR加密算法。AES-CTR支持128位加密密钥（默认)

密钥

当加密区域被创建时，都会有一个 $\color{red}{加密区域秘钥（EZ密钥}$ ，encryption zone key )与之对应，EZ密钥存储在HDFS外部的密钥库中。
加密区域里的每个文件都有其自己加密密钥，叫做 $\color{red}{数据加密秘钥(（DEK}$ ，data encryption key )。DEK会使用其各自的加密区域的EZ* * 密钥进行加密，以形成 $\color{red}{加密数据加密密钥（EDEK)。}$

密钥库(keystore )

存储密钥（key)的叫做密钥库(keystore ) ,将HDFS与外部企业级密钥库(keystore )集成是部署透明加密的第一步。
这是因为密钥(key )管理员和HDFS管理员之间的职责分离是此功能的非常重要的方面。但是，大多数密钥库都不是为Hadoop工作负载所见的加密/解密请求速率而设计的。

KMS(密钥管理服务)

Hadoop密钥管理服务(Key Management Server，简写KMS），用作HDFS客户端与密钥库之间的代理。
KMS主要有以下几个职责∶
1.访问加密区域秘钥( EZ key )
2.生成EDEK，EDEK存储在NameNode上
3.为HDFS客户端解密EDEK

HDFS文件加密过程.jpg

\color{red}{DEK是加解密一个文件的密匙，而KMS里存储的EZ key是用来加解密所有文件的密匙(DEK)的密匙。}

KMS配置

step1 :关闭HDFS集群
在node1上执行stop-dfs.sh。
Step2:创建keystore
·密钥库的名字叫做itcast，访问密钥库的密码是:123456。

keytool -genkey -alias 'itcast_keystore'

step3:配置kms-site.xml
hadoop. kms. kev.proxider.uri设置密钥库的提供者这里设置jceks，表示就是java密钥库。

<configuration>
  <property>
    <name>hadoop.kms.key.provider.uri</name>
    <value>jceks://file@/${user.home]/kms.jks</value>
  </property>
  <property>
    <name>hadoop.security.keystore.java-keystore-provider.password-file</name>
    <value>kms.keystore.password</value>
  </property>
  <property>
    <name>dfs.encryption.key.provider.uri</name>
    <value>kms://http@node1:16000/kms</value>
  </property>
  <property>
    <name>hadoop.kms.authentication.type</name>
    <value>simple</value>
  </property>
</configuration>