大数据之hdfs

一、shell命令

1、移动本地文件至hdfs：hadoop fs -moveFromlocal 本地路径  存储路径  
2、复制本地文件至hdfs：hadoop fs -copyFromlocal 本地路径  存储路径 (copyToLocal/get则相反)
3、追加数据:   hadoop fs -appendToFile 本地路径  文件存储路径 
4、查看数据:   hadoop fs -cat  文件存储路径 
5、copy数据: hadoop fs -cp hdfs源路径 hdfs目标存储路径  
6、移动数据: hadoop fs -mv hdfs源路径 hdfs目标存储路径  
7、合并下载多个文件: hadoop fs -getmerge hdfs源路径 本地文件路径 
8、hadoop fs -put 本地源路径  hdfs存储路径(等同copyFromlocal) 
9、显示文件末尾: hadoop fs -tail hdfs文件路径   
10、统计文件目录大小: hadoop fs -du -h -s 
其他命令: -rm(移除文件或目录)、-rmdir(删除空目录)、-du(统计文件夹大小信息)、-setrep(设置副本数量) 
11、多文件归档命令: bin/hadoop archive -archiveName input.har(归档文件名，后缀需har) -p /user/test/input(源文件路径) /user/test/output(归档文件路径) 
12、查看归档文件: hadoop fs -ls -R har:///user/test/output/input.har 
13、解归档文件: hadoop fs -cp har:///user/test/output/input.har/* /user 

二、hdfs

1、hdfs将fsimage转换xml操作命令: hdfs oiv -p XML -i fsimage_0000000000000000114(原数据文件路径)  -o fsimage_114.xml(目标文件路径) 
2、hdfs将操作命令日志转换xml操作命令: hdfs oev -p XML -i edits_0000000000000000114(原数据文件路径)  -o edits_114.xml(目标文件路径)   
3、安全模式命令 
1) 查看安全模式: hdfs dfsadmin -safemode get 
2)进入安全模式: hdfs dfsadmin -safemode enter 
3)离开安全模式: hdfs dfsadmin -safemode leave 
4)等待安全模式: hdfs dfsadmin -safemode wait 
4、快照 
1) 开启指定目录快照: hdfs dfsadmin -allowSnapshot 路径
2) 禁止指定目录快照: hdfs dfsadmin -disallowSnapshot 路径 
3) 对目录创建快照: hdfs dfs -createSnapshot 路径 
4) 指定名称创建快照: hdfs dfs -createSnapshot 路径 名称 
5) 重命名快照: hdfs dfs -renameSnapshot 路径 旧名称 新名称  
6) 列出当前用户所有可快照目录: hdfs lsSnapshottableDir  
7) 比较两个快照目录不同之处: hdfs snapshotDiff 路径1 路径2  
8) 删除快照: hdfs dfs -deleteSnapshot <path> <snapshotName>