Spark中的通信与传输

Spark中涉及到通信与相关的包括

• Driver和Executor之间的通信
  Driver和Executor之间通过RPC进行传输，通过RpcEnvFactory构造，通过 spark.rpc 指定：
• akka: AkkaRpcEnvFactory
• netty: NettyRpcEnvFactory (default)

• Executor之间传输shuffle Map Files
  Executor传输Shuffle Map Files的是BlockTransferService，通过参数配置

• NettyBlockTransferService （default）

• NioBlockTransferService(spark 1.6中已经被移除)

• TODO