sqlNode->relNode(SqlSelect)

2022-01-02  本文已影响0人  grasslike

以这样一个sql 为例

String sql = "select u.id as user_id, u.name as user_name, j.company as user_company, u.age as user_age" +
                " from users u join jobs j on u.name=j.name" +
                " where u.age > 30 and j.id>10" +
                " order by user_id";

对于这样一个sql 的到rel的过程:

  /**
   * Converts a SELECT statement's parse tree into a relational expression.
   */
  public RelNode convertSelect(SqlSelect select, boolean top) {
// 这个可以参考在validate 的过程中 放到whereScope 这个map 里面
    final SqlValidatorScope selectScope = validator.getWhereScope(select); 
    final Blackboard bb = createBlackboard(selectScope, null, top);
    convertSelectImpl(bb, select);
    return bb.root;
  }

对于selectScope 中我们可以通过debug 看到里面的具体内容
由于这是最外层的SqlNode ,可以看到他的parent 是CatalogScope
而他的两个children,是两个ScopeChild类, 也就是我们一开始注册进去的两个表U 和 J
在U 和 J 里面有具体的两个表所在的IdentifierNamespace,这个namespace的id 是一个SqlIdentifier 类,具体指向USERS 和JOBS


image.png

对于其中一个表的IdentifierNamespace可以具体展开看里面,他有一个属性叫resolvedNamespace ,这个namespace就是具体的一个tableNamespace,会有一个指向这个table 的引用:
对table 的描述会有rowType:也就描述了一条记录的形式,即一个表的每一列的列名以及列的属性。


image.png

而具体的转换的方法就是convertSelectImpl(bb,select) ,这个方法的输入是我们创建的blackboard 和sqlSelect , blackboard 的创建基于selectScope ,这里可以推测出一个blackboard 就是基于一个scope。
到了具体的convert 方法我们可以看到里面就是按照一个顺序去依次把sqlNode convert 成一个rel(relNode 或者rexNode,rexCall)
(省去中间的某些sql 涉及不到的细节,可能需要某些特定的sql 才会触发)

  1. convertFrom
  2. convertWhere
  3. 如果是agg--> convertAgg,否则convertSelectList
  4. convertOrder

具体以convertFrom 来看一个具体的执行细节
这个例子中from 其实相对而言较为复杂,因为from 的对象并不是一个简单的SqlIdentifier去指向一个具体的表,而是在有一层join ,如果是一个join ,遵从上面提到的一个过程去做递归,分别对他的左侧和右侧,获取join的scope ,创建一个blackboard作为背景板,在背景板内去递归的再次进行一个convert,具体的代码如下

case JOIN:
      final SqlJoin join = (SqlJoin) from;
      final SqlValidatorScope scope = validator.getJoinScope(from);
      // 具体递归的时候的这这个joinscope 和 fromBlackboard 没有用上, 是给下面joinExp 和joinRel 去使用
      final Blackboard fromBlackboard = createBlackboard(scope, null, false);
// 分别获取left 和right ,利用leftScope 创建leftBlackBoard ,基于此去递归convertFrom,由于convertFrom 方法是递归调用。就会再次进来, 下次Left进来就不在是一个join 
      SqlNode left = join.getLeft(); 
      SqlNode right = join.getRight();
      final boolean isNatural = join.isNatural();
      final JoinType joinType = join.getJoinType();
      final SqlValidatorScope leftScope =
          Util.first(validator.getJoinScope(left),
              ((DelegatingScope) bb.scope).getParent());
      final Blackboard leftBlackboard =
          createBlackboard(leftScope, null, false);
      final SqlValidatorScope rightScope =
          Util.first(validator.getJoinScope(right),
              ((DelegatingScope) bb.scope).getParent());
      final Blackboard rightBlackboard =
          createBlackboard(rightScope, null, false);
      convertFrom(leftBlackboard, left);
      RelNode leftRel = leftBlackboard.root;
      convertFrom(rightBlackboard, right);
      RelNode rightRel = rightBlackboard.root;
      JoinRelType convertedJoinType = convertJoinType(joinType);
      RexNode conditionExp;
      final SqlValidatorNamespace leftNamespace = validator.getNamespace(left);
      final SqlValidatorNamespace rightNamespace = validator.getNamespace(right);

     **** 针对natural 有一些处理 后续看 非natural 需要convertJoinCondition
     创建 一个 RelNode joinRel =
     createJoin
    **** 

对于left 进来以后具体根据当前sql 就是一个“users u”, 这个时候就是一个简单的identifier 。在validate 的过程中可以发现,users u 会自动给他补全成users as u , 这个时候进来就是一个 as 的sqlCall ,

    case AS:
      call = (SqlCall) from;
      convertFrom(bb, call.operand(0)); //对users as u ,取出操作符左侧的users,这就是一开始注册的表,对这个表递归convertFrom 
      if (call.operandCount() > 2
          && (bb.root instanceof Values || bb.root instanceof Uncollect)) {
        final List<String> fieldNames = new ArrayList<>();
        for (SqlNode node : Util.skip(call.getOperandList(), 2)) {
          fieldNames.add(((SqlIdentifier) node).getSimple());
        }
        bb.setRoot(relBuilder.push(bb.root).rename(fieldNames).build(), true);
      }
      return;

到了具体一个USERS 这个表以后,他就是一个很小的Identifier 直接调用

 convertIdentifier(bb, (SqlIdentifier) from, null, null);

直接通过validater 获取到table ,获取到这个table以后toRel

RelOptTable table =  //这个过程在具体的参见Validator 去创建一个PrepareTable ,是新建出来的,可以具体看看源码
        SqlValidatorUtil.getRelOptTable(fromNamespace, catalogReader,
            datasetName, usedDataset);
****
      tableRel = toRel(table, hints);
toRel 的方法输入直接是RelOptTable, 

toRel 有两个方法重载, 在toRel(table,hints) 里面第一行还有一个调用
直接调用的是这个, final RelNode rel = table.toRel(createToRelContext(hints));在这一行语句里面会直接创建第一rel :EnumerableTableScan .
后面会根据hasVirtualFields 有一些具体的处理,不细看,暂时不知道virtual 什么含义。至此我们获得了一个rel:scan.
后面对于convertSelectList
统一调用这个 rexBuilder.makeInputRef(root, ref);
在这个table 里面因为table 里面有多列,遍历table的所有的列,将每一个列,都变成一个引用,因为我们发现在debug 过程中会多次看到 1 这些来指代一个列, 就是从这里开始的, 而这些1 也就是一个RexInputRef ,是在这个过程中遍历的时候直接创建的对象。传入了这个列在这个表中的一个index。

上一篇下一篇

猜你喜欢

热点阅读