hadoop 排错
2018-11-23 本文已影响32人
阳明先生x
hadoop文件map排序的过程导致摸一个文件数据很大。达到1.7g， 9千多万行。导致内存超限，
解决：过滤userid为0的数据，或者判断len个数小于三个，因为userid=0的数据太多
图片.png
查看文件
cat part-00079 |more
查看文件（最大的前十个的）
ll -Sh |head
图片.png
查看文件行数
cat part-00079 |wc -l
