MySQL工具推荐 | 基于MySQL binlog的flash
1、前言
相信您应该遇到过因为误操作破坏数据库的问题,比如忘了带WHERE条件的UPDATE、DELETE操作,然后就需要进行传统方式的全量 & 增量恢复。现在,给您介绍一下MySQL中的flashback玩法,也可以做到像Oracle的flashback那样。
目前MySQL的 flashback(又称 闪回)一般是利用binlog完成的,能快速完成恢复且无需停机维护。
第一个实现该功能的是阿里云的** 彭立勋**,他在MySQL 5.5版本上就已实现,并将其开源及提交给MariaDB,为社区提供了非常优秀的参考模型。
2、闪回原理
本节我们先来介绍一下MySQL binlog flashback的基本工作原理。
MySQL的binlog以event的形式,记录了MySQL中所有的变更情况,利用binlog我们就能够重现所记录的所有操作。
MySQL引入binlog主要有两个用途/目的:一是为了主从复制;二是用于备份恢复后需要重新应用部分binlog,从而达到全备+增备的效果。
MySQL的binlog共有三种可选格式(binlog_format),其各有优缺点:
- statement,基于SQL语句的模式,一般来说生成的binlog尺寸较小,但是某些不确定性SQL语句或函数在复制过程可能导致数据不一致甚至出错;
- row,基于数据行的模式,记录的是数据行的完整变化。相对更安全,推荐使用(但通常生成的binlog会比其他两种模式大很多);
- mixed,混合模式,可以根据情况自动选用statement抑或row模式;这个模式下也可能造成主从数据不一直。它属于MySQL 5.1版本时期的过渡方案。因此,如果你现在还使用mixed的话,那你的过渡时间也太久了……
备注:想要使用binlog flashback工具,需要将binlog_format设置为row才行。
3、工具推荐
项目一:mysqlbinlog_flashback
项目作者:赖亿@58到家
github项目地址:https://github.com/58daojia-dba/mysqlbinlog_flashback
也可在github.com上搜索“mysqlbinlog_flashback”
项目介绍:产生在线mysqlbinlog的回滚的sql,现在已经在阿里的rds上,db为utf8字符集的生产环境下使用。其他环境没有在生产环境下使用,请小心。
项目使用反馈:laiyi@daojia.com
项目二:binlog2sql
项目作者:曹单锋
github项目地址:https://github.com/danfengcao/binlog2sql
也可在github.com上搜索“binlog2sql”
项目介绍:从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。
项目反馈:danfengcao.info@gmail.com
应用场景
- flashback,数据快速回滚;
- 主从切换后数据不一致的修复;
- 从binlog生成标准SQL,再自行二次开发;
5、使用方法
两个软件的使用上都比简单,都是在 https://github.com/noplay/python-mysql-replication 项目基础上进行的二次开发。
两个项目中都有详细的使用说明,感谢两位作者细心的整理,我们这里不再进行赘述,请自行到作者的项目上查看,如果对你帮助,请记得给个 star 哟!
6、flashback总结
社区里做这块的工具比较多,不开源的这里不在讨论,开源产品随着时间的前进,作者有可能忙于其它事情,没来的及更新也会失效过期。所以使用中需要有一定自我修订能力,也希望各位使用者也能加入到开源的大家庭中,共同维护这些项目。
这两款工具开发时侧重点不同,所以使用中也需要注意一下:
- mysqlbinlog_flashback 更便重于阿里云 RDS环境的使用。
- binlog2sql 便重于通常MySQL的处理。从代码上来看,该项目更简洁一点。
在具体使用中及项目定制中那个更合适,只有使用后,找到适合自已就可以。 这也是开源的魅力。
原文链接:https://imysql.com/
个人微信:lvqingshan_