hdfs的基本命令行使用

1.ls（查看目录）

格式： hdfs dfs -ls 目标路径

作用：类似于Linux的ls命令，显示文件列表

hdfs dfs -ls /

2.lsr（查看目录下所有内容）

格式 : hdfs dfs -lsr 目标路径

作用: 在整个目录下递归执行ls, 与UNIX中的ls-R类似

hdfs dfs -lsr /

3.mkdir（创建文件夹）

格式 ： hdfs dfs [-p] -mkdir 目标路径

作用 : 以<paths>中的URI作为参数，创建目录。使用-p参数可以递归创建目录

hdfs dfs -mkdir /dir1

4.put（从本地路径拷贝文件到hdfs）

格式 ： hdfs dfs -put 本地文件 ... 目标路径

作用 ： 将单个的源文件src或者多个源文件srcs从本地文件系统拷贝到目标文件系统中（<dst> 对应的路径）。也可以从标准输入中读取输入，写入目标文件系统中

hdfs dfs -put /rooot/a.txt /dir1

5.moveFromLocal（从本地路径剪切文件到hdfs）

格式： hdfs dfs -moveFromLocal 本地文件 目标路径

作用: 和put命令类似，但是源文件localsrc拷贝之后自身被删除

hdfs dfs -moveFromLocal /root/install.log /

6.get（从hdfs拷贝文件到本地）

格式：hdfs dfs -get [-ignorecrc ] [-crc] 目标路径 本地路径

作用：将文件拷贝到本地文件系统。 CRC 校验失败的文件通过-ignorecrc选项拷贝。 文件和CRC 校验和可以通过-CRC选项拷贝

hdfs dfs -get /install.log /export/servers

7.mv（从hdfs移动文件）

格式 ： hdfs dfs -mv 目标路径

作用： 将hdfs上的文件从原路径移动到目标路径（移动之后文件删除），该命令不能夸文件系统

hdfs dfs -mv /dir1/a.txt /dir2

8.rm（删除）

格式： hdfs dfs -rm [-r] [-skipTrash] 文件路径

作用： 删除参数指定的文件，参数可以有多个。 此命令只删除文件和非空目录。 如果指定-skipTrash选项，那么在回收站可用的情况下，该选项将跳过回收站而直接删除文件； 否则，在回收站可用时，在HDFS Shell 中执行此命令，会将文件暂时放到回收站中。

hdfs dfs -rm -r /dir1

9.cp（复制）

格式: hdfs dfs -cp 文件路径 目标路径

作用: 将文件拷贝到目标路径中。如果<dest> 为目录的话，可以将多个文件拷贝到该目录下。

-f 选项将覆盖目标，如果它已经存在。

-p 选项将保留文件属性（时间戳、所有权、许可、ACL、XAttr）。

hdfs dfs -cp /dir1/a.txt /dir2/b.txt

10.cat（查看文件）

格式：hdfs dfs -cat 文件路径

作用：将参数所指示的文件内容输出到stdout

hdfs dfs -cat /install.log

11.chmod（更改权限）

格式: hdfs dfs -chmod 权限 文件路径

作用： 改变文件权限。如果使用 -R 选项，则对整个目录有效递归执行。使用这一命令的用户 必须是文件的所属用户，或者超级用户。

hdfs dfs -chmod -R 777 /install.log

12.chown（更改所属）

格式: hdfs dfs -chown [-R] 文件路径

作用： 改变文件的所属用户和用户组。如果使用 -R 选项，则对整个目录有效递归执行。使用 这一命令的用户必须是文件的所属用户，或者超级用户。

hdfs dfs -chown -R hadoop:hadoop /install.log

13.appendToFile（将多个文件合并成一个文件）

格式: hdfs dfs -appendToFile 文件1..文件N 目标路径

作用: 追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入.

hdfs dfs -appendToFile a.xml b.xml /big.xml