hadoop的Mapper、Reducer为static时并发会
2019-08-08 本文已影响2人
ArtisticYouth
由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
修改为非静态类,更为稳妥。



hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。
由于Mapper、Reducer作为静态类,当有并发的job时,俩个job之间有交集,会出现问题。
修改为非静态类,更为稳妥。
hadoop的mapper与reduce要让性能更高,入库抑或操作hbase,查询数据等,都可改成批量操作,把操作放入cleanup方法里,回收资源,关闭链接等。