Trino · datalake · 架构设计1
2022-06-03 本文已影响0人
sinwaj
一、背景
本文介绍学习Presto/Trino权威指南中的架构相关的信息 。这里深挖相关概念,如查询执行模型、查询计划、基于成本的优化,本章首先讨论高层架构组件。理解Presto工作方式非常重要,尤其当你想自己安装和维护集群。
二、协调节点和计算节点
集群中协调节点和计算节点可以部署在一台机器上,当然考虑到可扩展性和性能,这种部署方式是不合适的。Presto是类似于MPP数据库的分布式查询引擎。不仅仅支持垂直服务方式运行,同时支持水平方式进行处理,这意味可以通过增加节点来提升处理能力。Presto用户通过客户端,如JDBC方式或Presto CLI,来连接协调节点。协调节点管理计算节点来访问数据源。
图1 架构1. 协调节点处理查询和管理计算节点执行查询。
2.发现服务运行在协调节点上,计算节点通过注册的方式加入集群。
3.所有的通讯和数据传输是基于HTTP/HTTPS的REST方式。
图2 协调节点和计算节点通讯协调节点分配计算任务给计算节点,更新状态,获取上层结果并返回给用户。计算节点获取基于上游任务的数据流,同时计算节点从数据源获取数据。
三、参考
信息来源:《Presto The Definitive Guide》
本文信息只用于学习和交流,严谨用于其他途径。