Presto低延迟原理与容错
2020-06-18 本文已影响0人
liuzx32
低延迟处理
-
基于内存的并行计算
-
流水式计算作业
-
本地化计算
Presto在选择Source任务计算节点的时候，对于每一个Split，按下面的策略选择一些minCandidates
优先选择与Split同一个Host的Worker节点
如果节点不够优先选择与Split同一个Rack的Worker节点
如果节点还不够随机选择其他Rack的节点
-
动态编译执行计划
-
GC控制
容错
-
如果某个worker挂了，discovery service 会通知coordinator
-
对于query是没有容错的，一旦worker挂了，query就执行失败了，与其在这里容错不如直接执行
-
coordinator 和discovery service 的单点故障问题还没有解决
