spark序列化问题
2017-02-21 本文已影响0人
light01
1.什么时候发生序列化
我们在spark应用中使用到的算子函数都会被发送到Executor去执行，Driver端并不会执行。所以如果算子中用到了Driver端的自定义对象,那么就需要将该实例序列化后通过网络传输到每个Executor中。
都会出现下面的异常
2.如何解决
方法:自定义class实现java.io.Serializable接口
1.什么时候发生序列化
我们在spark应用中使用到的算子函数都会被发送到Executor去执行，Driver端并不会执行。所以如果算子中用到了Driver端的自定义对象,那么就需要将该实例序列化后通过网络传输到每个Executor中。
都会出现下面的异常
方法:自定义class实现java.io.Serializable接口
