Linux与Hdfs上du命令的区别

命令du：统计目录/文件夹总大小

• 参数：

  • -s：返回目录总大小（全拼：summary，linux和hdfs都有效）
  • -b：指定单位为b（只linux有效，因为默认是kb）
  • -h：以人类可读的形式（一般常用du -sh *）

• Hdfs操作：

  • 命令：hadoop fs -du -s [hadoopPath]
  • 返回：hdfs目录总大小，默认单位：b
  • 理解：这个目录下所有文件的大小总和

• Linux操作

  • 命令：du -sb [localPath]
  • 返回：本地目录总大小，单位：-b指定字节
  • 理解：这个目录的总大小（除了包含里面的所有文件大小，可能还包涵其它的）

• 区别：Linux中的du命令结果要比这个目录中所有文件的大小总和还大一点

• 比较本地和hdfs上的目录大小，hdfs上可以使用hadoop fs -du -s，Linux上可以这样做：

localFileSize = 0
for file in os.listdir(filePath):
  localFileSize += os.path.getsize(filePath + file)