深入理解MySQL主从原理专栏 发布
微信图片_20190713115654.jpg
相信作为一名DBA来讲MySQL主从一直都是一个绕不开的话题，我们在很多高可用构架中都能看到它的身影。在我们心中一定都或多或少的产生过一些疑问，比如：
- 主从延迟为什么会高？
- 主从延迟为什么一直不动？
- 主从延迟为什么瞬间跳动？
- 延迟为0就一定代表没有延迟吗？
- 从库异常重启为什么会报错？
- 从库能和主库一样利用索引吗？
- MTS是如何提高从库应用效率的？
- 为什么会有那么多和从库相关的sync参数，我该怎么配置？
- mysql.gtid_executed表有什么用？
......
这个系列就是想通过描述主从原理，抽丝剥茧解开大家对这些问题的疑惑。我认为如果要深入学习主从原理需要按照一定的顺序进行学习，如果不知道GTID、不知道Event、不知道主库如何生成Event的，那么肯定不能深入理解主从原理 ，因此本系列按照这种顺序讲解。本系列一共分为5个部分如下：
| 第一部分 | GTID相关 | 第1节： GTID的基本概念 第2节： mysql.gtid_executed表/gtid_executed变量/gtid_purged变量的更改时机 第3节： GTID模块初始化简介和参数binlog_gtid_simple_recovery 第4节： GTID中的运维 |
| 第二部分 | Event相关 | 第5节： Binary log Event 的总体格式 第6节： 重点Event FORMAT_DESCRIPTION_EVENT/PREVIOUS_GTIDS_LOG_EVENT 第7节： 重点Event GTID_LOG_EVENT 第8节： 重点Event QUERY_EVENT/MAP_EVENT 第9节： 重点Event WRITE_ROWS_EVENT/DELETE_ROWS_EVENT 第10节：重点Event UPDATE_ROWS_EVENT/XID_EVENT 第11节：参数binlog_row_image的影响 第12节：巧用Event发现问题 |
| 第三部分 | 主库相关 | 第13节：binlog cache简介 第14节：事务Event的生成和写入流程 第15节：MySQL层事务提交流程简析 第16节：基于WRITESET的并行复制方式 第17节：主库的DUMP线程 第18节：DUMP线程查找和过滤GTID的基本算法 |
| 第四部分 | 从库相关 | 第19节：从库MTS多线程并行回放（一） 第20节：从库MTS多线程并行回放（二） 第21节：MTS中GAP测试和参数slave_preserve_commit_order 第22节：从库的IO线程 第23节：从库的SQL线程（MTS协调线程）和参数sql_slave_skip_counter 第24节：从库数据的查找和参数slave_rows_search_algorithms 第25节：从库的关闭和恢复流程 第26节：合理的从库设置 第27节：从库Seconds_Behind_Master的计算方式 第28节：从库Seconds_Behind_Master延迟总结 |
| 第五部分 | 其他 | 第29节：线程简介和MySQL调试环境搭建 第30节：Delete与Insert 死锁案例分析 第31节：Innodb Buffer Pool的三种Page和链表 第32节：利用performance_schema获取造成死锁的语句 |
其中：
- 前面29节由我独自编写。
- 第30节和第31节分别由我的朋友杨奇龙和王航威编写，他们都是有赞的DBA，在平时的交流中我感到他们涉猎之广是我不能及的。
- 第32节由我的同事田兴椿编写，在平时的工作和学习中他总是能找到一些让我诧异的案例，然后一起学习研究。
讨论范围和约定
本系列使用源码版本为Percona 5.7.22，因此讨论的范围肯定是5.7版本。
本系列虽然包含了主从中的大部分知识点，但是仍然有部分内容没有覆盖，如下：
- 不覆盖半同步。
- 只考虑master_info_repository和relay_log_info_repository设置为‘table’的情况。
- 只考虑binlog_format设置为‘row’的情况。
本系列约定如下：
- 行格式：binlog_format设置为‘row’。
- 语句格式：binlog_format设置为‘statement’。
- binary log：这里代表是我们常说的binlog物理文件。
- order commit：代表的是‘MYSQL_BIN_LOG::ordered_commit’函数，因为本系列中使用频率很高因此做了简化。将会在15节详细它的流程。
- GTID AUTO_POSITION MODE：代表主从使用的是GTID同时使用了master_auto_position=1。
- POSITION MODE：代表主从使用的是传统的位点模式。
- 单SQL线程：用来和MTS进行区分，代表只有一个SQL线程进行Event的应用。
- MTS：‘multi-threaded slaves’的简称，包含一个协调线程和多个工作线程，Event由工作线程应用。
编写方式
在编写之初有些朋友建议我不写源码而有些朋友建议我多贴些代码，因此我做了一下综合，整个系列中我会给出一些源码接口和必要的源码证明，但是不会贴很多源码和栈帧。有些章节会包含一个笔记放到我的简书，这个笔记就是我学习的时候记录的源码调用顺序和一些栈帧供自己复习之用也供想了解源码的朋友查看，但是可读性不是那么好。如果对源码不感兴趣的朋友可以跳过这些源码接口和代码，我认为这并不会影响阅读的连续性。
从2016年开始八怪（本名高鹏）经常向我请教一些源码问题，可见八怪是一个对源码非常执着的人。纵观整个目录覆盖了主从的方方面面，希望他的这个系列能够让大家对主从原理有更加深入的理解。
————翟卫祥（网名印风） 阿里云智能数据库产品事业部高级MySQL内核专家
和八怪（本名叫高鹏）认识，源于他的一位同事参加了知数堂的MySQL课程，学习之余和八怪有些交流互动，对一些观点有些探讨，然后就顺理成章的认识了。八怪原本是ORACLE DBA，但他接触MySQL之后，开始对MySQL各种深入探究，这种学习的态度和方法令我折服，也反过来促进我更深入理解MySQL。
为了更好理解InnoDB引擎，八怪还曾经开发了bctool、bcview和innblock等几个工具（还有些是我不知道的），其中innblock工具的开发我也作为“产品经理”帮忙提了一些建议，这个工具发布后，也在我的公众号帮忙隆重的推了一波：innblock | InnoDB page观察利器。
自从听闻八怪要写专栏，我就一直关注着进展，偶尔也会帮忙提些建议。这个专栏主要内容是MySQL主从复制相关的内容，从源码层面深入解析MySQL主从复制的方方面面，略有遗憾的是本书没有涉及半同步复制、组复制这两方面的热门内容，期待八怪在未来能有精力增加这两大块知识点。
————叶金荣 MySQL ACE、知数堂联合创始人
高鹏是一位做事非常专注而且动手能力超强的人。其中有一件事情我印象特别深刻，在通过和我交流MGR高可用节点选择后，不到两周时间，又给我讲他实现了一个MGR vip漂移的Python脚本。他先后实现了InnoDB的Page分析，MySQL InnoDB加锁分析，又开始转战努力写作本系列，通过本系列的目录可以看到高鹏基本把复制相关原理做了一个彻底的分析，对于想深入理解MySQL复制及Binlog相关内容的朋友来说是一个不可多得的学习资料。
————吴炳锡 知数堂联合创始人
作为一个曾今混迹于itpub的老人，拜读过不少高鹏的Oracle方面的文章。偶然之间发现其转战MySQL领域，并攥写了大量原理性剖析的文章，印象较为深刻的是几篇关于MDL lock的源码层面的解析，读完后感觉豁然开朗。开源数据库目前越来越火，尤其以MySQL表现最为抢眼，如果要深入学习MySQL主从原理，本系列实在是不可多得的资料，强烈推荐之！
————李真旭 Oracle ACE 云和恩墨服务产品群总经理
认识高鹏源于ITPUB blog 专家推荐，初识于Oracle技术，随后MySQL技术兴起，大家转战MySQL，高鹏兄侧重源码剖析，对各种疑难杂症分析入木三分，热心帮助很多网友解决各种问题。现在他将自己对MySQL 主从复制部分源码的解读汇总成系列文章分享给大家。细细品读，必定受益良多。
————杨奇龙 杭州有赞科技DBA，公众号yangyidba作者
购买可联系我 wx:gaopp_22389860
