Hive源码学习——Driver
HiveQL解析流程：
1.Hive根据Antlr定义的词法、语法规则完成词法、语法分析将HQL解析为AST Tree；
2.遍历AST Tree，抽象出查询的基本组成单元Query Block；
3.遍历Query Block解析为操作树Operator Tree(逻辑执行计划)；
4.逻辑优化器进行操作树变换，合并多余的ReduceSinkOperator，减少shuffle；
5.遍历Operator Tree，将操作树翻译为对应的MapReduce任务；
6.物理优化器进行MapReduce任务变换，生成最终的执行计划。
SQL编译源码分析
ql文件目录下可以找到以下5个文件，具体路径为源码中的ql/src/java/org/apache/hadoop/hive/ql/parse下：
SelectClauseParser.g：select从句语法解析
FromClauseParser.g：from从句语法解析
HiveLexer.g：词法分析，定义了所有用到的token
HiveParser.g：语法解析
IdentifiersParser.g：自定义函数的解析
hive源码中语法文件之间的关系：
run方法
Driver类的入口是Driver.run(String comman)，重点是调用了Driver.runInternal(String command, boolean alreadyCompiled)。
runInternal方法
compileInternal方法
其中核心为调用compile()方法进行表编译，主要是将SQL字符串翻译成AST Tree，然后翻译成可执行的task树，然后再优化执行树。
compile方法：
主要是调用ParseUtils.parse()方法。
ParseUtils.parse(）方法：
parse()方法返回的是AST Tree[抽象语法树]信息。
ParseDriver类的parse方法
parse方法返回的是HiveParser.statement_return也是一颗抽象语法树，具体语法树的接口可以参见相应的HiveParse.g文件
注：HiveParse.g文件的具体目录及作用可以查看SQL编译源码分析模块
Driver方法：
得到语法树以后，返回到Driver类中，会根据语法树根节点 的类型来选择相应的SemanticAnalyzer
SemanticAnalyzerFactory.get(queryState, tree)方法
主要根据根节点的语法树类型来选择相应的analyzer，具体的选择analyzer代码如下。
对于DDL操作，得到的就是DDLSemanticAnalyzer，对于一般的insert（hive中村select语句会翻译成一个insert tmpDirectory的语句）得到的就是SemanticAnalyzer。
然后调用analysis()方法将抽象语法树翻译成可执行的执行计划。
BaseSemanticAnalyzer.analyze()方法：
由于BaseSemanticAnalyzer是抽象类，所以我们应该找它的继承类，得到SemanticAnalyzer类。
SemanticAnalyzer类是对整棵树进行解析(深度优先探索)，然后将抽象语法树翻译成一个QB(query block)。
genOPTree()方法
一个QB类
QB中有两个重要的变量：qbm和qbp都有QB的引用，这样组成了一颗树。
genOPTree()方法返回的是一个Operator类，如下图所示：
从代码中可以看到很多与children和parent相关的变量和方法，这是一个有向五环图(DAG)。然后进行逻辑优化，使用Optimizer.initialize()方法。
Optimizer.initialize()
有以下优化器。
在SemanticAnalyzer.analyzeInternal方法中最终会调用compiler.compile()方法，把可执行的计划存储在rootTasks中，Task的executeTask()方法是可以直接执行的，最终实际的执行也是调用每个task的executeTask方法，依赖以及调度是在上层控制的，Task的继承关系如下：
Task是一个树形结构，每个task有一堆child task，这些child是在执行顺序上依赖自己的task，rootTask中存储的就是整个执行计划中需要最开始执行的task list，一颗“倒着的执行依赖树”。
Driver类中，执行task，Driver.execute()为入口。
将可执行的task放入runnable中，初始化root task list，runnable表示正在运行running的task。
launchTask()方法中，启动task，其实就是调用task的executeTask()方法。
注：从Driver类的run()进入，找到runInternal()方法，其中会执行execute()
execute()：
继续追，然后在execute()方法中找到launchTask()方法。
找出执行完成的task，然后遍历该task的子task，选出可执行的(pre task已经执行完成)task放入runnable中，重复上一步。
对于一些有多个pre task的child task，会在最后一个pre task执行完成后被启动，所以在执行到这里时会在child中过滤掉。
至此，对Driver.java的一个简单分析结束。
参考：
