Spark 共享变量

翻译 Spark 共享变量部分的官方文档（Spark 2.4.3）。

通常，当传递给 Spark 操作 (如 map 或 reduce ) 的函数在远程集群节点上执行时，在函数中使用的所有外部变量都是单独拷贝的变量副本。这些变量被复制到每台机器上，对远程机器上的变量更新不会传播回驱动程序。支持通用的、任务间的读写共享变量是很低效的。不过，Spark确实为两种常见的使用模式提供了两种有限的共享变量类型：广播变量和累加器。

一、广播变量

广播变量允许程序员在每台机器上保留一个只读变量，而不是给每个 task 都发送一份它的副本。 例如，它们可用于使用一个有效的方式为每个节点提供很大的输入数据集的副本。 Spark 还尝试使用有效的广播算法来分发广播变量，以降低通信成本。

Spark 的所有 action 操作都是贯穿着很多个 stage 的，这些 stage 由 shuffle 操作进行划分。 Spark 自动广播每个 stage 中任务所需的公共数据。以这种方式广播的数据是以序列化形式缓存并在运行每个 task 之前进行反序列化。所以，广播变量在多个 stage 中的所有 task 都需要一份同样的数据这样的场景中很有用。

广播变量是通过 SparkContext.broadcast(v) 这样的方式创建的。它是将原始变量 v 包裹到自己封装的变量中去，然后通过 .value() 这个方法获取原始变量的值，代码如下：

Broadcast<int[]> broadcastVar = sc.broadcast(new int[] {1, 2, 3});

broadcastVar.value();
// returns [1, 2, 3]

当广播变量被创建之后，在集群上所有的计算函数中都会使用广播变量去计算，因此原始变量 v 就不需要多次被复制到很多个节点上了。另外，原始变量 v 在广播变量被创建之后不可再被修改，如果在广播变量创建之后再去修改原始变量 v 会导致集群中每个节点拿到的共享变量值不一样。

二、累加器

累加器内部是通过关联和交换操作实现 “add” 操作的变量，因此可以并发执行。它可以用来实现计算器或者求和操作。Spark 天然支持数值类型的累加，程序员也可以自定义一些新的数据类型用来累加。

作为用户，你可以创建命名或者未命名的累加器。如下图所示，一个命名的累加器（counter） 会被展示在使用该累加器的 stage 的 web UI 上面。 Spark 会展示每一个被 Tasks 表中的任一个 task 修改过的累加器的值。

累加器

在 UI 中追踪累加器的值可以帮助理解运行中的各个 stage 的进度。

一个数字类型的累加器可以通过这样的方式创建：SparkContext.longAccumulator() 或者 SparkContext.doubleAccumulator() ，去计算 long 类型或者 double 类型的数值累加。集群中每个 task 在做累加计算任务的时候可以通过调用 add 方法去实现。但是，不可以在集群上读取累加器的值。只有在 driver 程序中才可以读取累加器的值，通过 value 这个方法。

下面的这段代码是用累加器去将一个 array 中的每个元素相加：

LongAccumulator accum = jsc.sc().longAccumulator();

sc.parallelize(Arrays.asList(1, 2, 3, 4)).foreach(x -> accum.add(x));
// ...
// 10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.value();
// returns 10

除了在代码中使用内建的 long 类型的累加器之外，程序员也可以通过继承 AccumulatorV2 去实现想要的类型的累加器。AccumulatorV2 这个抽象类有很多个方法需要去重写，如：reset 方法（用来将累加器置零的）、add 方法（用来和另外一个值做累加的）、merge 方法（用来合并另外一个相同类型的累加器到该累加器的）。其它需要被重写的方法可以参考 API documentation 。比如，我们可以自定义一个累加器 MyVector 代表数学中的向量集合，可以这么写：

class VectorAccumulatorV2 implements AccumulatorV2<MyVector, MyVector> {

  private MyVector myVector = MyVector.createZeroVector();

  public void reset() {
    myVector.reset();
  }

  public void add(MyVector v) {
    myVector.add(v);
  }
  ...
}

// Then, create an Accumulator of this type:
VectorAccumulatorV2 myVectorAcc = new VectorAccumulatorV2();
// Then, register it into spark context:
jsc.sc().register(myVectorAcc, "MyVectorAcc1");

注意一点，当程序员自定义了一些数据类型的累加器之后，累加器的值的数据类型可以和你相加的元素类型不一致。

注意 ：当 Spark 的 task 计算任务结束后，Spark 将会尝试着将这个 task 中所有的累加计算合并到一个累加器上去。如果合并失败，Spark 会忽略这次失败，仍然认为这个 task 的计算任务是成功的，并且继续跑其它的 task。所以，一个有 bug 的累加器将不会影响 Spark 的作业，但一个累加器可能会在整个 Spark 作业成功跑完之后还没有成功更新到最新的值。

由于累加器的 update 操作只会在 action 算子内部执行，Spark 保证了每个 task 对累加器的更新操作只有一次。比如重启 task 不会更新累加器的值。在 transform 算子操作时，用户需要知道每个 task 对累加器的更新操作可能不止一次，比如一但某个 task 或者 job 的 stage 被重新执行。

累加器不会改变 Spark 的 lazy 特性。如果累加器的值在 RDD 某个操作中被更新了，他们的值只会在这个 RDD 的某个 action 操作的某个部分计算中更新。因此，累加器的更新不会保证在像 map 这样的算子中被立刻更新。可以看下面的代码片段：

LongAccumulator accum = jsc.sc().longAccumulator();
data.map(x -> { accum.add(x); return f(x); });
// Here, accum is still 0 because no actions have caused the `map` to be computed.