Hive 任务卡在 map = 0%, reduce = 0%
2020-03-13 本文已影响0人
一个神经质的工程师
Hive 卡在map = 0%, reduce = 0%阶段
解决:增加map个数,设置mapreduce.input.fileinputformat.split.maxsize 小于系统默认值,需要综合考虑调用更多map时候的消耗
定位时发现任务卡在map = 0%, reduce = 0%阶段,而且发现map分配数量很少,所以猜测分配map较慢,增加map数量可解决问题,实际效果任务从3小时减少至半个小时,优化完成。