MySQL-体系结构

体系结构

网络连接层

最上层是一些客户端和链接服务，包含本地socket通信和大多数基于客户端/服务端工具实现的类似于TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

• Client Connectors：客户端连接器
  提供与 MySQL 服务器建立的支持。目前几乎支持所有主流的服务端编程技术，如 Java、C、Python、.Net等，它们通过各自 API 技术与 MySQL 建立连接

服务层

第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定表的查询顺序，是否利用索引等，最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。

• Connection Pool：连接池组件
  负责存储和管理客户端与数据库的连接，一个线程负责管理一个连接
• Management Service & Utilities：管理服务和工具组件
  例如备份恢复、安全管理、集群管理等
• SQL Interface：SQL接口组件
  用于接受客户端发送的各种 SQL 命令，并且返回用户需要查询的结果。比如DML、DDL、存储过程、视图、触发器等。
• Parser：查询分析器组件
  负责将请求的 SQL 解析生成一个“解析树”，然后根据一些 MySQL 规则进一步检查解析树是否合法
• Optimizer：优化器组件
  当“解析树”通过解析器语法检查后，将交由优化器将其转化成执行计划，然后与存储引擎交互
• Caches & Buffers：缓存组件
  缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，权限缓存，引擎缓存等。如果查询缓存有命中的查询结构，查询语句就可以直接去查询缓存中取数据

引擎层

存储引擎层，存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。

• Pluggable Storage Engines：存储引擎
  存储引擎负责 MySQL中数据的存储和提取，与底层文件文件进行交互。MySQL 存储引擎是插件式的，服务器中的查询执行引擎通过接口与存储引擎进行通信，接口屏蔽了不同存储引擎之间的差异。

存储层

数据存储层，主要是将数据存储在文件系统之上，并完成与存储引擎的交互。

• File System：文件系统
  负责将数据库的数据和日志存储在文件系统之上，并完成与存储引擎的交互，是文件的物理存储层。主要包括日志文件、数据文件、配置文件、pid文件、socket文件等

tips: 和其他数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。

运行机制

• 建立连接（Connectors&Connection Pool）
  通过客户端/服务器通信协议与 MySQL 建立连接。MySQL 客户端与服务器的通信方式是“半双工^[1]”。对于每一个 MySQL 的连接，时刻都有一个线程状态来标识这个连接正在做什么

show processlist;  // 查看用户正在运行的线程信息
・id：线程ID
・user：启动这个线程的用户
・Host：发送请求的客户端的IP和端口号
・db：当前命令在哪个库执行
・Command：该线程正在执行的操作命令
  ・Create DB：正在创建库操作
  ・Drop DB：正在删除操作
  ・Execute：正在执行一个PreparedStatement
  ・Close Stmt：正在关闭一个 PreparedStatement
  ・Query：正在执行一个语句
  ・Sleep：正在等待客户端发送语句
  ・Quit：正在退出
  ・Shutdown：正在关闭服务器
・Time：表示该线程处于当前状态的时间，单位秒
・State：线程状态
  ・Updating：正在搜索匹配记录，进行修改
  ・Sleeping：正在等待客户端发送新请求
  ・Starting：正在执行请求处理
  ・Checking table：正在检查数据表
  ・Closing table：正在将表中数据刷新到磁盘中
  ・Locked：被其他查询锁住了记录
  ・Sending Data：只在处理SELECT查询，同时将结果发送给客户端
・Info：一般记录线程执行的语句，默认显示前100个字符，想查看完整的使用 show full processlist

• 查询缓存（Cache&Buffer）
  MySQL 的一个可优化查询的地方，如果开启了查询缓存且在查询缓存过程中查询到完全相同的 SQL 语句，则将查询结果直接返回给客户端；否则会由解析器进行语法语义解析，并生成“解析树”
• 解析器（Parser）
  将客户端发送的 SQL 进行语法解析，生成“解析树”。预处理器根据一些 MySQL 规则进一步检查“解析树”是否合法，例如检查数据表和数据列是否存在，还会解析名字和别名，看看它们是否有歧义，最后生成新的“解析树”
• 查询优化器（Optimizer）
  根据“解析树”生成最优的执行计划。MySQL 使用了很多优化策略生成最优的执行计划，可以分为两类：静态优化（编译时优化）、动态优化（运行时优化）
  • 等价变换策略
    5=5 and a > 5 ==> a > 5
    a < b and a = 5 ==> b > 5 and a = 5
    基于联合索引，调整条件位置等
  • 优化 count、min、max等函数
    InnoDB引擎 min 函数只需要找索引最左边
    InnoDB引擎 max 函数只需要找索引最右边
    MyISAM引擎 count(*) 不需要计算直接返回
  • 提前终止查询
    使用了 limit 查询，获取 limit 所需的数据，就不在继续遍历后面数据
  • in的优化
    MySQL 对 in 查询，会先进行排序，再采用二分法查找数据。比如where id in (2, 1, 3)，变成 in (1, 2, 3)
• 查询执行引擎
  负责执行 SQL 语句，此时查询执行引擎会根据 SQL 语句中表的存储引擎类型，以及对应的 API 接口与底层存储引擎缓存或物理文件的交互，得到查询结构并返回给客户端。若开启查询缓存，会将 SQL 语句和结果完整地保存到查询缓存中

---

1. 通讯机制：
   全双工： 能同时发送和接收数据，例如平时打电话
   半双工：指的某一时刻，要么发送数据，要么接收数据，不能同时。例如早期对讲机
   单工：只能发送数据或只能接收数据。例如单行道 ↩