数据库系列-MySQL系列程序员

一个多平台,轻巧,高性能mysql数据同步补偿工具发布-cupi

2019-02-25  本文已影响0人  失忆的决

简介

cupid-go是一个消息同步补偿工具，多平台，高性能，内存小，适用于在canal这类的实时同步数据中间件之外的同步补偿工具，也适用于实时缓存这类的及时更新工具，对数据同步进行双保险，一般canal的延迟在毫秒左右，cupid建议设置在秒左右，做补偿专用，canal的消费端嵌入业务代码可以更方便开发和消费，cupid作为更通用的补偿方案,所以建议不要嵌入业务代码，补偿机制采用http回调来保证，失败会重试直到成功，若回调失败会通知（目前采用pushbear微信即时通知,简单即时）。

项目采用go编写，并且已打包好windows,linux,mac 版本，可直接到项目里直接下载使用，文件大小大约2M左右，占用内存10M左右，即下即用，不依赖环境。
cupid-go,mac-windows,linux下载地址

项目压测

对线上520w的表数据进行测试，大约25分钟处理加回调完成（回调完全成功不存在重试），内存消耗维持在10MB以下，vmRSS在11MB左右

项目地址

cupid-go

项目使用

只需按照模版根据自身需要修改一个json文件，然后启动即可
模版文件大致如下

{
    "workerNumber": 3, //最低值3，前2个进程是manager和callback进程，之后的才是处理进程
    "logDir": "/tmp", //日志目录，进程日志会打印到该目录下
    "failureJobRetrySecond": 10,  //失败队列重试间隔
    "src": {
        "dsn": "user:password@tcp(127.0.0.1:3306)/db?charset=utf8",//数据库dsn配置
        "table": "user",//我们关注的数据库表
        "byColumn": "number",//通过该字段对应des的byColumn，进行比对
        "insert": true, //是否关注insert的数据
        "insertIntervalMillisecond": 2000, //检查insert更新的间隔时间，单位毫秒
        "update": true, //是否关注update数据，若为false，则下面update开头的字段可以不用
        "updateColumn": "update_time", //update为true时必填，更新的字段名，需要添加索引，不然会扫描全表
        "updateIntervalMillisecond": 2000, //update为true时必填,检查update更新的间隔时间，单位毫秒
        "updateScanSecond": 5, //update为true时必填,获取数据的时间间隔，当前时间减去updateScanSecond设的时间为开始时间，当前时间为结束时间
        "updateTimeFormate": "Y-m-d H:i:s", //update为true时必填,数据库里数据更新字段的时间格式
        "cacheFilePath": "/tmp", //若进程有异常退出或者重启，会把当前的遍历信息记录到缓存文件中，重启时直接读取缓存文件
        "pushbearSendKey": "9724-73bdacb319007f53f83d0123"//若需要pushbear推送微信消息，在这填写
    },
    "des": [//des是一个数组，意味着我们可同时比对多个数据表
        {
            "dsn": "user:password@tcp(127.0.0.1:3306)/db2?charset=utf8",//数据库dsn配置
            "table": "user",//我们同步的数据库表
            "columns": { //关注和同步表的字段对应关系
                "number": "number",
                "name": "name",
                "avatar": "avatar"
            },
            "byColumn": "number",//与src的byColumn相呼应，形成关联关系来比对
            "callbackNotification": {
                "url" : "127.0.0.1:20000/test/callback"//当数据不同步时的回调地址
            }

        }
    ]
}

在项目里有一个testConfig.json文件，可直接修改使用

启动命令

./cupid -c /tmp/myConfig.json -s 1

帮助命令

./cupid -h

数据重试

当数据回调失败或处理失败时，会将数据放入失败队列，等待重试，若此时进程退出，数据会持久化到硬盘中，等待下次启动重试

进程正常退出或异常退出

会将所有失败队列里的任务持久化到本地文件中，以便下次启动时重新推入失败队列重试，持久化配置参见config.json

错误数据回调

当数据比对后发现数据存在异常时，会采用http回调，需要在json里配置，回调采用的是POST形式，Content-Type 为 application/json

{
    "type" : 1, 
    "srcColumn" : {
        "column1": "1",
        "column2": "2",
        "column3": null
    }
}

微信推送

微信推送采用pushbear, 一个基于微信模板的一对多消息送达服务，使用简单,高效,只需要申请一个key即可。

pushbear官网

supervisord 管理

该项目比较适合搭配supervisord使用,基本上配置文件应该如下

[program:cupid.synchronization-compensation-tool]
directory=/tmp
command=/tmp/cupid -c /tmp/myConfig.json -s 1
numprocs=1
autorestart=true
stopsignal=TERM
stopwaitsecs=2
killasgroup=true
user=nobody
stdout_logfile=/tmp/cupid.synchronization-compensation-tool.log
redirect_stderr=true
loglevel=debug

如果你不用supervisord, 建议重启进程时使用kill -s SIGTERM $master_pid

注意事项

最后

上一篇下一篇

猜你喜欢

热点阅读