HDFS-Hadoop Distributed File Sys

随着数量量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
HDFS是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能。集群中的服务器有各自的角色。
HDFS使用场景：一次写入，多次读出，且不支持文件的修改，仅支持数据追加。适合用来做数据分析，并不适合用来做网盘应用。

image.png

HDFS Shell 常用命令：

1. 返回对应目录下信息 -ls
[root@big01 hadoop-3.2.0]# hadoop fs -ls /
[root@big01 hadoop-3.2.0]# hadoop fs -ls /user

2. 从本地剪切粘贴到HDFS -moveFromLocal
[root@big01 hadoop-3.2.0]# hadoop fs -moveFromLocal ./kongming.txt /user

3. 追加一个文件到已经存在的文件末尾 -appendToFile
[root@big01 hadoop-3.2.0]# hadoop fs -appendToFile liubei.txt /user/kongming.txt

4. 显示文件内容 -cat
[root@big01 hadoop-3.2.0]# hadoop fs -cat /user/kongming.txt

5. 修改文件所属权限 -chgrp 、-chmod、-chown
[root@big01 hadoop-3.2.0]# hadoop fs -chmod 666 /user/kongming.txt

6. 从本地文件系统中拷贝文件到HDFS路径去 -copyFromLocal
[root@big01 hadoop-3.2.0]# hadoop fs -copyFromLocal ./kong.txt /user

-put
[root@big01 hadoop-3.2.0]# hadoop fs -put ./xiazai.txt /tmp/test

7. 从HDFS拷贝到本地 -copyToLocal
[root@big01 hadoop-3.2.0]# hadoop fs -copyToLocal /user/kongming.txt

-get
[root@big01 hadoop-3.2.0]# hadoop fs -get /user/kong.txt

8. 从HDFS的一个路径拷贝到HDFS的另一个路径 -cp 
[root@big01 hadoop-3.2.0]# hadoop fs -cp /user/kong.txt /tmp

9. 在HDFS目录中移动文件
[root@big01 hadoop-3.2.0]# hadoop fs -mv /user/kongming.txt /tmp

10. 合并下载多个文件 -getmerge
[root@big01 hadoop-3.2.0]# hadoop fs -getmerge /tmp/test/* ./xiazai.txt

11.显示一个文件的末尾 -tail
[root@big01 hadoop-3.2.0]# hadoop fs -tail /tmp/test/xiazai.txt

12. 删除文件或文件夹 -rm
[root@big01 hadoop-3.2.0]# hadoop fs -rm /tmp/test/xiazai.txt

13.  删除空目录 -rmdir
[root@big01 hadoop-3.2.0]# hadoop fs -rmdir /tmp/test

14. 统计文件夹的大小信息 -du
 [root@big01 hadoop-3.2.0]# hadoop fs -du -s -h /tmp/test
9  9  /tmp/test
[root@big01 hadoop-3.2.0]# hadoop fs -du -h /tmp/test
0  0  /tmp/test/kong.txt
9  9  /tmp/test/kongming.txt

15. 设置HDFS中文件的副本数量
hadoop fs -setrep 10 /tmp/test/kong.txt

16. 创建一个0字节的空文件夹
[root@big01 hadoop-3.2.0]# hadoop fs -touchz /tmp/test/test