码农的世界

hadoop的Mapper、Reducer为static时并发会

2019-08-08  本文已影响2人  ArtisticYouth

由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
修改为非静态类,更为稳妥。

报错.png 唯一一个解决办法.png 解决方法.png

hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。

上一篇 下一篇

猜你喜欢

热点阅读