spark 2.3 structured streaming 长
2020-06-07 本文已影响0人
shaun_x
structured streaming运行一段时间后,就会出现OOM异常,虽然task会重新执行一次,但会导致系统内存监控报警,经过dump线上堆内存,用mat分析后发现一个占用大量内存的HashMap
![](https://img.haomeiwen.com/i11482086/05a3a7ec73b10b71.png)
搜索得知是spark2.3的一个bug,升级到2.4可解决
参考 https://www.cnblogs.com/yy3b2007com/p/10177774.html