Hive 任务卡在 map = 0%, reduce = 0%

2020-03-13  本文已影响0人  一个神经质的工程师

Hive 卡在map = 0%, reduce = 0%阶段

解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗

定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题,实际效果任务从3小时减少至半个小时,优化完成。

上一篇下一篇

猜你喜欢

热点阅读