Mysql分布式部署 - 多级复制
2018-02-11 本文已影响12人
红薯爱帅
1，概述
1.1，Mysql主从复制的常用体系结构基本原则
- 每个Slave只能有一个 Master；
- 每个Master或Slave只能有一个唯一的服务器ID；
- 每个Master可以有很多Slave;
- 如果你设置了log_slave_updates，Slave可以是其他Slave的Master，从而扩散Master的更新；
- MySQL不支持多主服务器复制，即不支持一个 Slave 可以有多个 Master，但是，通过一些简单的组合，我们却可以建立灵活而强大的复制体系结构。
1.2，一主多从复制架构
场景
在主库读取请求压力非常大的场景下，可以通过配置一主多从复制架构实现读写分离，把大量对实时性要求不是特别高的读请求通过负载均衡到多个从库上，降低主库的读取压力。在主库出现异常宕机的情况下，可以把一个从库切换为主库继续提供服务；
建议
- 当 Slave 增加到一定数量时，Slave 对 Master 的负载以及网络带宽都会成为一个严重的问题；
- 不同的 Slave 扮演不同的作用(例如使用不同的索引，或者不同的存储引擎)；
- 用一个 Slave 作为备用 Master，只进行复制；
- 用一个远程的 Slave，用于灾难恢复。
1.3，多级复制架构
场景
一主多从的架构能够解决大部分读请求压力特别大的场景需求，但主库的I/O压力和网络压力会随着从库的增加而增长，而使用多级复制架构就可以解决一主多从场景下，主库额外的I/O和网络压力。 但要注意的是，多级复制场景下主库的数据是经历两次才到达读取的从库，期间的延时比一主多从复制场景下只经历一次复制的要大。
建议
- 可能存在延时较长的风险；
- 这种方案可以与第三方软件结合使用，例如Slave+LVS+Keepalived 实现高可用。
1.4，双主复制/Dual Master架构
场景
双主/Dual Master架构适用于写压力比较大的场景，或者DBA做维护需要主从切换的场景，通过双主/Dual master架构避免了重复搭建从库的麻烦。
建议
- 最大问题就是更新冲突；
- 可以采用MySQL Cluster，以及将Cluster和Replication结合起来，可以建立强大的高性能的数据库平台。
2，基本原理和步骤
Slave服务配置log_slave_updates=1，可以保证Slave服务收到Master服务的数据更新操作后，在执行该操作之后，将操作写入到bin-log中，从而，保证该Mysql服务既做Slave，又做Master。
mysql多级复制.jpg
3，实现过程（采用Docker方式部署）
3.1，主服务器（计划提供Master服务的一级Slave服务）
- 开启二进制日志，并配置唯一的server-id
# 在[mysqld]下增加配置
root@mysql_slave:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf
...
...
# 开启二进制日志，可以写绝对路径，例如/var/log/mysql/master-bin
log-bin = mysql-bin
# Mysql服务ID，必须保证唯一
server-id = 2
# 不进行主从复制的db
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
# 进行主从复制的db
binlog-do-db = test
# 只保存最近7天的bin-log文件，避免文件过多
expire_logs_days=7
# 允许从master收到的数据再次写入到bin-log中，从而完成slave到slave数据的传播
log_slave_updates = 1
- 重启Mysql服务
root@mysql_slave:/etc/mysql/mysql.conf.d# service mysql restart
- 创建一个用于slave和master通信的用户账号slave1
mysql> CREATE USER 'slave1'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave1'@'%';
- 创建测试账号和数据库
mysql> Grant all privileges on *.* to 'test'@'%' identified by '123456' with grant option;
mysql> Create database test;
- 查看master状态，获得master二进制日志文件名及位置
mysql> show master status;
+------------------+----------+--------------+--------------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+--------------------------+-------------------+
| mysql-bin.000008 | 1453| test | mysql,information_schema | |
+------------------+----------+--------------+--------------------------+-------------------+
1 row in set (0.00 sec)
3.2，从服务器（二级Slave服务）
- 启动新容器slave，命名为mysql_slave11，设置静态IP为172.18.0.12
kevin@apple:~$ docker run -it --name mysql_slave11 -h mysql_slave11 \
-p 13308:3306 --net my_network --ip 172.18.0.12 \
--add-host mysql_master:172.18.0.11 \
mysql:latest /bin/bash
root@mysql_slave11:/# apt-get update
root@mysql_slave11:/# apt-get install vim
root@mysql_slave11:/# apt-get install net-tools
root@mysql_slave11:/# apt-get install tmux
- 配置唯一的server-id
# 在[mysqld]下增加配置
root@mysql_slave11:/etc/mysql/mysql.conf.d# vi /etc/mysql/mysql.conf.d/mysqld.cnf
...
...
# Mysql服务ID，必须保证唯一
server-id = 3
- 使用master分配的用户账号读取master二进制日志
mysql> CHANGE MASTER TO
MASTER_HOST='mysql_master',
MASTER_PORT=3307,
MASTER_USER='slave1',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000008',
MASTER_LOG_POS=1453;
- 启用slave服务，并查看状态
mysql> start slave;
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql_master
Master_User: slave1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000008
Read_Master_Log_Pos: 1453
Relay_Log_File: mysql_slave-relay-bin.000004
Relay_Log_Pos: 1637
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: Yes # IO线程是启动状态，如果是No，可以查看下面日志，分析处理
Slave_SQL_Running: Yes # SQL线程是启动状态，如果是No，可以查看下面日志，分析处理
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 1453
Relay_Log_Space: 2016
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: 0f5421ba-0ede-11e8-b442-0242ac12000a
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
1 row in set (0.00 sec)
3.3，开启Mysql服务的Docker容器列表
kevin@apple:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
39e9a461040c mysql:lastest "docker-entrypoint..." About an hour ago Up About an hour 0.0.0.0:13308->3306/tcp mysql_slave11
6d0e157edf33 mysql:lastest "docker-entrypoint..." 7 hours ago Up 7 hours 0.0.0.0:13307->3307/tcp mysql_slave
8cbf65b6d05a mysql:lastest "docker-entrypoint..." 7 hours ago Up 7 hours 0.0.0.0:13306->3306/tcp mysql_master
4，测试
4.1，测试用例1
- 在master中，创建数据表，增加2行数据，观察一级slave和二级slave的数据变化是否一致（结果一致）
mysql> CREATE TABLE test.`student` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(255) CHARACTER SET utf8 DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
mysql> Insert into test.student(name) values('aaa');
mysql> Insert into test.student(name) values('bbb');
mysql> Select * from test.student;
4.2，测试用例2
- 在master中，删除1行数据，更新1行数据，观察一级slave和二级slave的数据变化（结果一致）
mysql> delete from test.student where id = 1;
mysql> update test.student set name = 'ccc' where id = 2;
4.3，测试用例3
- 在master中，删除1个数据表，观察一级slave和二级slave的数据变化（结果一致）
mysql> drop table student;
4.4，测试用例4
- 在master中，删除数据库test，或创建数据库test，观察一级slave和二级slave的数据变化（结果一致）
mysql> drop database test;
mysql> create database test;
5，参考
- 主从同步设置的重要参数log_slave_updates
http://blog.itpub.net/12679300/viewspace-1319263/
