du -sk 造成hadoop 的datanode IO Wai

1，现象，登录一台datanode,可以使用iotop查看

2，我们发现du -sk 占用了IOPS， 然后需要怎么处理呢。hadoop有相关的jira

https://issues.apache.org/jira/browse/HADOOP-9884

3,解决方案：

网上大致有两种办法，第一钟办法是将du改成df，因为df操作特别快。不针对每个文件。第二种办法是直接利用内存里面存储的blocks块的统计数据。我下面介绍一下怎么使用df。

增加一个类:

还需要在core-site.xml里面增加配置。fs.getspaceused.classname=org.apache.hadoop.fs.DFCachingGetSpaceUsed

有任何问题可以留言