spark 2.3 structured streaming 长

2020-06-07  本文已影响0人  shaun_x

structured streaming运行一段时间后,就会出现OOM异常,虽然task会重新执行一次,但会导致系统内存监控报警,经过dump线上堆内存,用mat分析后发现一个占用大量内存的HashMap

image.png
搜索得知是spark2.3的一个bug,升级到2.4可解决
参考 https://www.cnblogs.com/yy3b2007com/p/10177774.html
上一篇 下一篇

猜你喜欢

热点阅读