mysql备份、复制、MHA配置

2019-03-15  本文已影响0人  佐岸的咖啡

1、简述mysql常用备份方式及备份工具并举例

1.mysqldump：mysql服务自带的备份工具。mysqldump是一个逻辑备份工具，它的本质是将数据库转为可执行SQL脚本。可以用来做完全备份和部分备份，支持InnoDB存储引擎的热备功能，MyISAM存储引擎的温备功能。

2.系统自带的cp/tar工具：这是一种物理备份，这种备份的原理是基于快照实现的，快照（请求一个全局锁），之后立即释放锁，达到几乎热备的效果。需要注意的是不能仅仅只备份数据，要同时备份事务日志，并且要求数据和日志在同一逻辑卷。

3.xtrabackup：由Percona开发的很强大的开源工具，支持对InnoDB做热备，物理备份工具。在下篇博客将具体介绍此工具并做实际演示。

2、举例说明xtrabackup实现完全备份、增量备份和部分备份

一、Xtrabackup备份工具

二、完全备份

#完全备份到指定目录
innobackupex --user=root --p 123 -H localhost /data/backup/ 
#查看备份目录内容 
ls /data/backup/2108_xxxx
#还原数据库，确认目录下没有数据
mkdir /data/backup -pv
#在备份点目录下，合并已提交的事物，回滚未提交的事物
innobackupex --apply-log  ./
#复制备份点的备份目录，到此要恢复的目录下
innobackupex --copy-back ./
#修改mysql目录下属主属组
chown -R mysql.mysql  /var/lib/mysql/
#启动mysql
systemctl start mariadb.service

三、增量备份

#因为Myisa不支持增量，修改存储引擎为innodb
USE 'hellodb';

#指明基于那个全量备份路径做增量备份
innobackupex -u root -p 123 --incrementanl /data/backup/  --incremental-basedir=/data/backup/2018_xx1
#指明基于上一个增量备份路径做增量备份
innobackupex -u root -p 123 --incrementanl /data/backup/  --incremental-basedir=/data/backup/2018_xx2
#备份二进制文件
cd /data/backup/2018.xx2
less xtravackup_binlog_info #查看最后位置
#保持二进制文件到指定目录
cd /var/lib/mysql
mysqlbinlog -j xxxx master-log.xxxxx > /data/backup/binlog.sql

#还原数据库
#准备，全量合并第一个增量备份，只提交不回滚
innobackupex --apply-log --redo-only 2018.xxx  --incremental-dir=2018.xx1
#准备，全量合并第二个增量备份，只提交不回滚
innobackupex --apply-log --redo-only 2018.xxx  --incremental-dir=2018.xx2
#对合并后的全量备份做回滚
innobackupex --apply-log  2018.xxx
#恢复
innobackupex --copy-back 2018.xxx
cd /var/lib/mysql/
chown -R mysql.mysql ./*
systemctl start mariadb.service
mysql
mysql < /data/backup/binlog.sql

四、完全备份加二进制日志binlog备份

备份：innobackupex  --user  --password=  --host=  /PATH/TO/BACKUP_DIR
准备：innobackupex --apply-log  /PATH/TO/BACKUP_DIR
恢复：innobackupex --copy-back
注意：--copy-back需要在mysqld主机本地进行，mysqld服务不能启动；
innodb_log_file_size可能要重新设定；
首先把完全和增量中的所有事物合并，然后未完成的回滚，恢复数据库
总结：完全+增量+binlog
备份：完全+增量+增量+...

五、完全备份加差异备份

准备：
innobackupex --apply-log --redo-only BASEDIR
innobackupex --apply-log --redo-only BASEDIR  --incremental-dir=INCREMENTAL-DIR

恢复：
innobackupex --copy-back BASEDIR

备份单库时候命令加上：
--databases

3、简述Mysql复制架构及主从复制中数据不一致的解决方案

主/从架构

一从多主:

配置:

主服务器
启动服务:

mysql>GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'USERNAME'@'HOST' IDENTIFIED BY 'YOUR_PASSWORD';

mysql>FLUSH PLIVILEGES;

从服务器:
启动服务:

mysql>CHANGE MASTER TO MASTER_HOST='HOST',MASTER_USER='USERNAME',MASTER_PASSWORD='YOUR_PASSWORD',MASTER_LOG_FILE='BINLOG',MASTER_LOG_POS=#;

mysql>START SLAVE [IO_THREAD|SQL_THREAD];

mysql>SHOW SLAVE STATUS;

主主复制

配置:

  1. server_id必须要使用不同值
  2. 均启用binlog和relay_log
  3. 存在自动增长id的表,为了使得id不冲突,需要定义其自动增长方式
服务启动后执行如下两步:
  1. 都授权有复制权限的用户账号
  2. 各把对方指定为主节点
复制时应该注意的问题:

mysql>FLUSH TABLES WITH READ LOCK;

半同步复制

半同步复制
主节点

INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

SHOW GLOBAL VARIABLES LIKE '%rpl_semi%';

SET GLOBAL rpl_semi_sync_master_enabled=ON;

从节点:

INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

SHOW GLOBAL VARIABLES LIKE '%rpl_semi%';

SET GLOBAL rpl_semi_sync_slave_enabled=ON;

复制过滤器

复制的监控和维护

主从复制的读写分离

主从数据不一致时的修复方法

方法一：重新复制数据库，结合二进制文件恢复。
方法二：pt-table-sync修复从库不一致的数据
使用方法：pt-table-sync [OPTIONS] DSN [DSN]
pt-table-sync: 高效的同步MySQL表之间的数据，它可以做单向和双向同步的表数据。可以同步单个表，也可以同步整个库。它不同步表结构、索引、或任何其他模式对象。所以在修复一致性之前需要保证它们表存在。

#同步主从数据
[root@mysql-20 ~]# pt-table-sync --print --replicate=test.checksum h=192.168.1.21,u=myadmin,p=mypass,P=3306 h=192.168.1.19,u=myadmin,p=mypass,P=3306 #第一个ip是主节点，第二个ip是从节点
#或者
#用一个从节点ip执行同步库里的指定表
[root@mysql-20 bin]# pt-table-sync --print --sync-to-master h=192.168.1.19,u=myadmin,p=mypass,P=3306 --databases mysql --tables tbl3

参数的意义：
--replicate=  ：指定通过pt-table-checksum得到的表，这2个工具差不多都会一直用。
--databases=  : 指定执行同步的数据库，多个用逗号隔开。
--tables=     ：指定执行同步的表，多个用逗号隔开。
--sync-to-master ：指定一个DSN，即从的IP，他会通过show processlist或show slave status 去自动的找主。
h=127.0.0.1   ：服务器地址，命令里有2个ip，第一次出现的是M的地址，第2次是Slave的地址。
u=root        ：帐号。
p=123456      ：密码。
--print       ：打印，但不执行命令。
--execute     ：执行命令。

注意：要是表中没有唯一索引或则主键则会报错：
Can't make changes on the master because no unique index exists at /usr/local/bin/pt-table-sync line 10591.

4、描述MHA及基于wresp协议实现多主模型Galera cluster的配置实例

参考文献连接：https://www.cnblogs.com/xuanzhi201111/p/4231412.html
https://www.cnblogs.com/kevingrace/p/5662839.html

一、MySQL高可用方案

1、MHA架构介绍：

2、MHA节点组成：

3、MHA自动故障切换过程

4、MHA节点集群条件

二、MHA工具：

1、Manager工具包主要包括以下几个工具：

masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_manger 启动MHA
masterha_check_status 检测当前MHA运行状态
masterha_master_monitor 检测master是否宕机
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息

2、Node工具包（这些工具通常由MHA Manager的脚本触发，无需人为操作）主要包括以下几个工具：

save_binary_logs（保存二进制日志） 保存和复制master的二进制日志
apply_diff_relay_logs（应用差异中继日志） 识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog 去除不必要的ROLLBACK事件（MHA已不再使用这个工具）
purge_relay_logs（清理中继日志） 清除中继日志（不会阻塞SQL线程）

3、MHA保持数据的一致性

注意：

对比的是relay log，relay log越新就越接近于master，才能保证数据是最新的。
purge_relay_logs删除中继日志而不阻塞sql线程

三、MHA的优势

1、故障切换快

2、master故障不会导致数据不一致

3、无需修改当前的MySQL设置

4、无需增加大量的服务器

5、无性能下降

6、适用于任何存储引擎

四、实验示例

image

1、 主节点配置：192.168.1.19

#安装mariadb同步时间
[root@mysql-19 ~]# yum install mariadb-server ntpdate -y
[root@mysql-19 ~]# ntpdate time1.aliyun.com
# 修改Mariadb配置文件
[root@mysql-19 ~]# vim /etc/my.cnf.d/server.cnf 
[mysqld]
innodb_file_per_table=ON
skip_name_resolve=ON

server_id=1
log_bin=master-log
relay_log=relay-log
#安装MHA的node软件
[root@mysql-19 ~]# yum install mha4mysql-node-0.56-0.el6.noarch.rpm -y

[root@mysql-19 ~]# systemctl restart mariadb #重启服务
#MHA用户授权
MariaDB [(none)]> GRANT ALL ON *.* TO 'mhadmin'@'192.168.1.%' IDENTIFIED BY 'mhapass';
Query OK, 0 rows affected (0.00 sec)
#从节点授权
MariaDB [(none)]> GRANT REPLICATION CLIENT,REPLICATION SLAVE  ON *.* TO 'repladmin'@'192.168.1.%' IDENTIFIED BY 'replpass';
Query OK, 0 rows affected (0.05 sec)

MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
#生成ssh秘钥
[root@mysql-19 ~]# ssh-keygen -t rsa -P ''
SHA256:CLgVL5NWYnswUiZKKTLfihEyicoGpS7a9h01DwQXo+o root@mysql-19
The key's randomart image is:
+---[RSA 2048]----+
|.+=.O o +.       |
|%+ * X + .       |
|X=..O + .        |
|+o.+.* o         |
|o+... . S        |
|+...   . +       |
|. o E .   .      |
| . . . .         |
|    . .          |
+----[SHA256]-----+

#分配给本机一个秘钥
[root@mysql-19 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.1.19

#拷贝到其他节点上 ，如果提示未找到.ssh目录,到/root下创建
[root@mysql-19 ~]# scp -p .ssh/authorized_keys .ssh/id_rsa{,.pub} root@192.168.1.60:/root/.ssh/

[root@mysql-19 ~]# scp -p .ssh/authorized_keys .ssh/id_rsa{,.pub} root@192.168.1.20:/root/.ssh/

[root@mysql-19 ~]# scp -p .ssh/authorized_keys .ssh/id_rsa{,.pub} root@192.168.1.21:/root/.ssh/

#测试秘钥是否可用
[root@mysql-19 ~]# ssh root@192.168.1.20 'ifconfig'
#返回配置表示秘钥可用
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500  
        inet 192.168.1.20  netmask 255.255.255.0  broadcast 192.168.1.255

2、从节点一配置：192.168.1.20

#安装mariadb同步时间
[root@mysql-20 ~]# yum install mariadb-server ntpdate -y
[root@mysql-20 ~]# ntpdate time1.aliyun.com
# 修改Mariadb配置文件
[root@mysql-20 ~]# vim /etc/my.cnf.d/server.cnf
[mysqld]
innodb_file_per_table=ON
skip_name_resolve=ON

server_id=11
relay_log=relay-log
log_bin=master-log
relay_log_purge=0
read_only=1

[root@mysql-20 ~]# yum install mha4mysql-node-0.56-0.el6.noarch.rpm -y

[root@mysql-20 ~]# systemctl restart mariadb #重启服务

3、从节点二配置：192.168.1.21

#安装mariadb同步时间
[root@mysql-21 ~]# yum install mariadb-server ntpdate -y
[root@mysql-21 ~]# ntpdate time1.aliyun.com
# 修改Mariadb配置文件
[root@mysql-21 ~]# vim /etc/my.cnf.d/server.cnf 
[mysqld]
innodb_file_per_table=ON
skip_name_resolve=ON

server_id=13
relay_log=relay-log
log_bin=master-log
relay_log_purge=0
read_only=1
[root@mysql-21 ~]# yum install mha4mysql-node-0.56-0.el6.noarch.rpm -y

[root@mysql-21 ~]# systemctl start mariadb #重启服务

4、安装MHA节点：192.168.1.60

注意：安装顺序为先安装node包-->manager包，否则会报错。
#因为需要perl环境，所以要先安装epel源
[root@proxysql-60 ~]# yum install epel-release  -y #安装epel源

#下载两个rpm包
[root@mha-60 ~]# ls
 mha4mysql-manager-0.56-0.el6.noarch.rpm  mha4mysql-node-0.56-0.el6.noarch.rpm

#首先安装node包，顺序很重要
[root@mha-60 ~]# yum install mha4mysql-node-0.56-0.el6.noarch.rpm  -y

#再安装manager包
[root@mha-60 ~]# yum install mha4mysql-manager-0.56-0.el6.noarch.rpm -y

#编辑MHA主节点配置文件
[root@mha-60 ~]# mkdir /etc/masterha
[root@mha-60 ~]# vim /etc/masterha/app1.cnf
[server default] #默认配置段
user=mhadmin
password=mhapass

repl_user=repladmin
repl_password=replpass

ssh_user=root
ssh_port=22
#ssh_connection_timeout=30
#ssh_options="-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null"
ping_interval=1

manager_workdir=/data/masterha/app1
manager_log=/data/masterha/app1/manager.log
remote_workdir=/data/masterha/app1

[server1]
hostname=192.168.1.19
candidate_master=1  #是否可以提升为主节点

[server2]
hostname=192.168.1.20
candidate_master=1  #是否可以提升为主节点

[server3]
hostname=192.168.1.21
candidate_master=1  #是否可以提升为主节点

#检查ssh通信
[root@mha-60 ~]# masterha_check_ssh --conf=/etc/masterha/app1.cnf 
........OK
........OK
All SSH connection tests passed successfully.

#检查主从节点
[root@mha-60 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf 
..............
MySQL Replication Health is OK.

#启动MHA,并指明保存日志的路径，最后的&符号代表在后台执行
[root@mha-60 data]# nohup masterha_manager --conf=/etc/masterha/app1.cnf &> /data/masterha/app1/manager.log & 
[2] 3544

#检查启动进程
[root@mha-60 ~]# ps aux
root       2724  0.1  2.1 297028 21616 pts/1    S    08:00   0:00 perl /usr/bin/masterha_manager --conf=/etc/masterha/app1.cnf

#查看当前主节点状态
[root@mha-60 ~]# masterha_check_status --conf=/etc/masterha/app1.cnf 
app1 (pid:13567) is running(0:PING_OK), master:192.168.1.19

#停止MHA
[root@mha-60 ~]# masterha_stop --conf=/etc/masterha/app1.cnf   
MHA Manager is not running on app1(2:NOT_RUNNING).
检查MHA运行状态
  • masterha_check_status --conf=/etc/masterha/app1.cnf
检查MHA互信
  • masterha_check_ssh --conf=/etc/masterha/app1.cnf
检查复制情况
  • masterha_check_repl --conf=/etc/masterha/app1.cnf

五、测试：

1、主节点切换测试

#安装killall
[root@mysql-19 ~]# yum install psmisc -y
#停止mysql服务进程
[root@mysql-19 ~]# killall -9 mysqld mysqld_safe


#自动切换成功
[root@mha-60 ~]# tail -100 /data/masterha/app1/manager.log 
----- Failover Report -----
app1: MySQL Master failover 192.168.1.19(192.168.1.19:3306) to 192.168.1.20(192.168.1.20:3306) succeeded  #主节点已经切换
Master 192.168.1.19(192.168.1.19:3306) is down! #原主节点已下线
.......
Selected 192.168.1.20(192.168.1.20:3306) as a new master. #新主节点
192.168.1.20(192.168.1.20:3306): OK: Applying all logs succeeded.  #新主节点获取所有日志成功
192.168.1.21(192.168.1.21:3306): This host has the latest relay log events. #从节点
.......

#自动切换后MHA线程停止工作
[root@mha-60 ~]# masterha_check_status --conf=/etc/masterha/app1.cnf 
app1 is stopped(2:NOT_RUNNING).


#新主节点创建新表
MariaDB [mydb]> show tables;
+----------------+
| Tables_in_mydb |
+----------------+
| tbl1           |
+----------------+
1 row in set (0.00 sec)

MariaDB [mydb]> create table tbl2(num int(10),addr char(50));
Query OK, 0 rows affected (0.02 sec)

MariaDB [mydb]> show tables;
+----------------+
| Tables_in_mydb |
+----------------+
| tbl1           |
| tbl2           |
+----------------+
2 rows in set (0.00 sec)

#在192.168.1.21从节点查看
MariaDB [mydb]> show tables; #已同步
+----------------+
| Tables_in_mydb |
+----------------+
| tbl1           |
| tbl2           |
+----------------+

2、故障节点恢复

#新节点数据库备份
[root@mysql-20 ~]# mysqldump -uroot -x -R -E --triggers --master-data=2 --all-databases > alldb.sql 
#备份传给故障节点
[root@mysql-20 ~]# scp alldb.sql 192.168.1.19:/root/


# 修改Mariadb配置文件
[root@mysql-19 ~]# vim /etc/my.cnf.d/server.cnf 
[mysqld]
innodb_file_per_table=ON
skip_name_resolve=ON

server_id=1
log_bin=master-log
relay_log=relay-log
relay_log_purge=0
read_only=1
#启动mysql，恢复数据库
[root@mysql-19 ~]# systemctl start mariadb
[root@mysql-19 ~]# mysql < alldb.sql
#查看二进制文件位置
[root@mysql-19 ~]# less -30 alldb.sql
.........
-- CHANGE MASTER TO MASTER_LOG_FILE='master-log.000001', MASTER_LOG_POS=352;
#根据二进制日志恢复并启动从节点
MariaDB [(none)]>  CHANGE MASTER TO MASTER_HOST='192.168.1.20',MASTER_USER='repladmin',MASTER_PASSWORD='replpass',MASTER_LOG_FILE='master-log.000001',MASTER_LOG_POS=352;
Query OK, 0 rows affected (0.02 sec)
#启动线程
MariaDB [(none)]> START SLAVE;
Query OK, 0 rows affected (0.00 sec)
#查看信息
MariaDB [(none)]> SHOW SLAVE STATUS\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.20
                  Master_User: repladmin
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-log.000001
          Read_Master_Log_Pos: 352
               Relay_Log_File: relay-log.000002
                Relay_Log_Pos: 530
        Relay_Master_Log_File: master-log.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes


[root@mha-60 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf 
.........
MySQL Replication Health is OK.
#启动
[root@mha-60 ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf &>> /data/masterha/app1/manager.log & 
[2] 18978
上一篇下一篇

猜你喜欢

热点阅读