Spark任务报错Total size of serialize
2019-11-20 本文已影响0人
香山上的麻雀
spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置
-
方法一
- 方法二
提交命令的时候加上
--conf spark.driver.maxResultSize=2048M