Hadoop 显示大文件上传进度技巧
2018-09-06 本文已影响12人
大猪大猪
在上传大文件到
hdfs中的时候，我们是无法看上传的进度的，我们可以使用pv这个命令来达到我们想要的效果，这是一个野路子，但却可以实现目的，过程不重要。
使用方法
安装pv命令
yum install pv -y
使用pv命令读取文件,通过管道交给hadoop
pv demo.tar.gz | hadoop fs -put - /tmp/
[root@log rsy]# pv demo.tar.gz | hadoop fs -put - /tmp/
17.3GiB 0:03:06 [21.7MiB/s] [================================================> ] 72% ETA 0:01:10
