Spark Catalyst中的TreeNode源码解析
2019-01-27 本文已影响16人
丹之
TreeNode
TreeNode是Catalyst中和执行计划相关的所有AST，包括表达式Expression、逻辑执行计划LogicalPlan，物理执行计划SparkPlan的基类。
TreeNode继承Scala中的Product类，其目的是可通过Product类中的方法（productArity、productElement、productIterator）来操纵TreeNode实现类的参数，这些实现类一般都是case class。
TreeNode是抽象类，用于被其他抽象或实现类继承，如Expression、LogicalPlan。TreeNode类声明如下：
abstract class TreeNode[BaseType <: TreeNode[BaseType]] extends Product
并且定义了this的别名：
self: BaseType =>
这里约定TreeNode的泛型参数类型BaseType应是TreeNode[BasType]的子类型，并且继承TreeNode的实现类的类型就是传入的BaseType。比如Aggregate是LogicalPlan的实现类，LogicalPlan继承QueryPlan[LogicalPlan]，又有QueryPlan[PlanType <: QueryPlan[PlanType]]继承TreeNode[PlanType]，因此Aggregate的self类型就是Aggregate。
TreeNode中的成员和方法
TreeNode中定义的方法都是对AST的基本操作方法。
