本文为学习笔记

来自蚂蚁课堂
链接：http://www.mayikt.com/

基本概念

项目地址

简介

• canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
• 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

MySQL 和 Redis 能否保障强一致性？

• 只要是微服务，很难保证强一致性问题，都是最终一致性

增量和全量的区别？

• 增量是实时的操作，对 MySQL 增删改行为进行订阅与消费
• 全量是在指定时间进行同步，将所有数据统一同步

MySQL主备复制原理

• MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
• MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
• MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

主从复制的作用

• 对数据实现备份
• 实现读写分离
• 实现故障转移
• 集群

canal 工作原理

• canal会启动一个 Server 端 作为 MySQL 从节点拉取主节点最新的binary log 文件
• MySQL 主节点 binary log 文件一旦发生改变都会以增量的形式通知给canalServer 端
• canalServer 将接收到的文件发送 canalClient 端 手动配置刷新同步

使用

1.配置MySQL配置

• 开启允许基于binlog文件主从同步
• windows 下配置文件为 my.ini
• linux 下配置文件为 my.cnf

vi /etc/my.cnf

• 增加 log-bin 订阅

log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式 
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

• 配置该文件后，重启mysql服务器即可

#个人安装路径
cd /usr/local/mysql/bin
#重启 MySQL 服务
service mysql restart

检查是否开启log_bin 命令（ON 开启）

./mysql -u root -p  #输入密码
show variables like 'log_bin';

image.png

退出

 \q

构建CanalService 端

项目下载地址

image.png

• 上传至 Linux /usr/local 目录下
• 修改、配置文件配置

/usr/local/canal.deployer-1.1.5-SNAPSHOT/conf/example/instance.properties

• 这里是测试用的 root账户，如若正式环境最好单独创建账号
• Canal 整合 RocketMQ

#数据库连接地址
canal.instance.master.address=127.0.0.1:3306
#数据库连账号
canal.instance.dbUsername=root
#数据库连接密码
canal.instance.dbPassword=root

整合 RocketMQ

• RocketMQ相关内容
• 修改 instance.properties 配置文件配置

/usr/local/canal.deployer-1.1.5-SNAPSHOT/conf/example/instance.properties

#设置 mq 连接 
canal.mq.topic=mysql-redis-topic

• 修改 canal.properties

/usr/local/canal.deployer-1.1.5-SNAPSHOT/conf/canal.properties

#修改模式
canal.serverMode = rocketMQ
#修改 RocketMQ 服务地址
rocketmq.namesrv.addr = 127.0.0.1:9876

启动

• 进入 bin 目录

 cd /usr/local/canal.deployer-1.1.5-SNAPSHOT/bin

• 在 Linux 运行

./startup.sh

• 在 Windows 下双击 startup.bat
• 查看 /usr/local/canal.adapter-1.1.5-SNAPSHOT/logs/adapter/adapter.log

image.png

停止运行

cd /usr/local/canal.deployer-1.1.5-SNAPSHOT/bin
./stop.sh