Mysql之binlog
1. Bin-log介绍
binlog,即二进制日志,它记录了数据库上的所有改变,并以二进制的形式保存在磁盘中;
它可以用来查看数据库的变更历史、数据库增量备份和恢复、MySQL的复制(主从数据库的复制)
2. Bin-log的格式
binlog有三种格式:Statement、Row以及Mixed。
–基于SQL语句的复制(statement-based replication,SBR),
–基于行的复制(row-based replication,RBR),
–混合模式复制(mixed-based replication,MBR)。
2.1 Statement
每一条会修改数据的sql都会记录在binlog中。
优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。
缺点:由于记录的只是执行语句,为了这些语句能在slave上正确运行,因此还必须记录每条语句在执行的时候的一些相关信息,以保证所有语句能在slave得到和在master端执行时候相同 的结果。另外mysql 的复制,像一些特定函数功能,slave可与master上要保持一致会有很多相关问题。
ps:相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row格式所产生的日志量还小于Statement产生的日志量,但是考虑到如果带条件的update操作,以及整表删除,alter表等操作,ROW格式会产生大量日志,因此在考虑是否使用ROW格式日志时应该跟据应用的实际情况,其所产生的日志量会增加多少,以及带来的IO性能问题。
2.2 Row
5.1.5版本的MySQL才开始支持row level的复制,它不记录sql语句上下文相关信息,仅保存哪条记录被修改。
优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程,或function,以及trigger的调用和触发无法被正确复制的问题.
缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容。
ps:新版本的MySQL中对row level模式也被做了优化,并不是所有的修改都会以row level来记录,像遇到表结构变更的时候就会以statement模式来记录,如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更。
2.3 Mixed
从5.1.8版本开始,MySQL提供了Mixed格式,实际上就是Statement与Row的结合。
在Mixed模式下,一般的语句修改使用statment格式保存binlog,如一些函数,statement无法完成主从复制的操作,则采用row格式保存binlog,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statement和Row之间选择一种。
3. Bin-log相关命令
3.1 查看binlog的方式 show variables like '%binlog_format%'
mysql> show variables like '%binlog_format%';
+---------------+-----------+
| Variable_name | Value |
+---------------+-----------+
| binlog_format | STATEMENT |
+---------------+-----------+
1 row in set (0.01 sec)
3.2 查看bin-log是否启用 show variables like '%binlog%'
mysql> show variables like '%binlog%';
+-----------------------------------------+----------------------+
| Variable_name | Value |
+-----------------------------------------+----------------------+
| binlog_cache_size | 32768 |
| binlog_checksum | CRC32 |
| binlog_direct_non_transactional_updates | OFF |
| binlog_error_action | IGNORE_ERROR |
| binlog_format | STATEMENT |
| binlog_gtid_simple_recovery | OFF |
| binlog_max_flush_queue_time | 0 |
| binlog_order_commits | ON |
| binlog_row_image | FULL |
| binlog_rows_query_log_events | OFF |
| binlog_stmt_cache_size | 32768 |
| binlogging_impossible_mode | IGNORE_ERROR |
| innodb_api_enable_binlog | OFF |
| innodb_locks_unsafe_for_binlog | OFF |
| max_binlog_cache_size | 18446744073709547520 |
| max_binlog_size | 1073741824 |
| max_binlog_stmt_cache_size | 18446744073709547520 |
| simplified_binlog_gtid_recovery | OFF |
| sync_binlog | 0 |
+-----------------------------------------+----------------------+
19 rows in set (0.00 sec)
3.3 打开bin-log的方法
默认情况下bin-log是关闭的,需要修改my.cnf文件,
添加log-bin=mysql-bin
至文件中,然后重启mysql服务即可。
3.4 获取bin-log文件列表 show binary logs
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 754 |
+------------------+-----------+
1 row in set (0.00 sec)
3.5 获取当前写入bin-log文件 show master status
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 754 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
3.6 查看当前bin-long文件内容 show binlog events
mysql> show binlog events;
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| mysql-bin.000001 | 4 | Format_desc | 1 | 120 | Server ver: 5.6.23-log, Binlog ver: 4 |
| mysql-bin.000001 | 120 | Query | 1 | 203 | BEGIN |
| mysql-bin.000001 | 203 | Intvar | 1 | 235 | INSERT_ID=100012 |
| mysql-bin.000001 | 235 | Query | 1 | 406 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 2) |
| mysql-bin.000001 | 406 | Xid | 1 | 437 | COMMIT /* xid=159 */ |
| mysql-bin.000001 | 437 | Query | 1 | 520 | BEGIN |
| mysql-bin.000001 | 520 | Intvar | 1 | 552 | INSERT_ID=100014 |
| mysql-bin.000001 | 552 | Query | 1 | 723 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 1) |
| mysql-bin.000001 | 723 | Xid | 1 | 754 | COMMIT /* xid=243 */ |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
9 rows in set (0.00 sec)
3.7 查看指定bin-log文件内容 show binlog events in 'mysql-bin.000001'
mysql> show binlog events in 'mysql-bin.000001';
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
| mysql-bin.000001 | 4 | Format_desc | 1 | 120 | Server ver: 5.6.23-log, Binlog ver: 4 |
| mysql-bin.000001 | 120 | Query | 1 | 203 | BEGIN |
| mysql-bin.000001 | 203 | Intvar | 1 | 235 | INSERT_ID=100012 |
| mysql-bin.000001 | 235 | Query | 1 | 406 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 2) |
| mysql-bin.000001 | 406 | Xid | 1 | 437 | COMMIT /* xid=159 */ |
| mysql-bin.000001 | 437 | Query | 1 | 520 | BEGIN |
| mysql-bin.000001 | 520 | Intvar | 1 | 552 | INSERT_ID=100014 |
| mysql-bin.000001 | 552 | Query | 1 | 723 | use `testdb`; INSERT INTO `user` (`firstname`, `lastname`, `age`, `province`) VALUES('Jack2', '102', 21, 1) |
| mysql-bin.000001 | 723 | Xid | 1 | 754 | COMMIT /* xid=243 */ |
+------------------+-----+-------------+-----------+-------------+-------------------------------------------------------------------------------------------------------------+
9 rows in set (0.00 sec)
3.8 设置bin-log过期时间 set global expire_logs_days=3
mysql> show variables like 'expire_logs_days';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| expire_logs_days | 0 |
+------------------+-------+
1 row in set (0.00 sec)
mysql> set global expire_logs_days=3;
Query OK, 0 rows affected (0.00 sec)
3.9 手动清理所有bin-log
mysql> reset master;
Query OK, 0 rows affected (0.07 sec)
mysql> reset slave;
3.10 手动清理部分bin-log
Query OK, 0 rows affected (0.00 sec)
mysql> purge master logs before '2012-03-30 17:20:00';//删除指定日期以前的日志索引中binlog日志文件
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql> purge master logs to 'mysql-bin.000001';//删除指定日志文件的日志索引中binlog日志文件
Query OK, 0 rows affected (0.02 sec)
4. Bin-log扩展
当停止或重启服务器时,服务器会把日志文件记入下一个日志文件,Mysql会在重启时生成一个新的日志文件,文件序号递增;此外,如果日志文件超过max_binlog_size(默认值1G)系统变量配置的上限时,也会生成新的日志文件(在这里需要注意的是,如果你正使用大的事务,二进制日志还会超过max_binlog_size,不会生成新的日志文件,事务全写入一个二进制日志中,这种情况主要是为了保证事务的完整性);日志被刷新时,新生成一个日志文件。
如:
mysql> flush logs;
Query OK, 0 rows affected (0.07 sec)
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 167 |
| mysql-bin.000002 | 120 |
+------------------+-----------+
2 rows in set (0.00 sec)