Day 2597:学习

2024-03-07  本文已影响0人  kafkaliu

用定期同步某个时间段数据只能应对结果型数据,比如签单,由签单时间和其他条件确定,如果业务场景不关心过程中的数据,比如说单子创建但还没有签单时间的数据,可以使用这种方法。

如果要追踪过程性,就得binlog。由于线上binlog会被清理,而提取数据是定时job,可能导致丢失。可以采用的方式是maxwell daemon监听binlog写入rabbitmq或文件,数据处理的job定时从rabbitmq获取事件或者处理文件,成功后清除。

上一篇 下一篇

猜你喜欢

热点阅读