canal kafka 模式疑问

2020-01-06  本文已影响0人  pcgreat

canal kafka 模式 依然 会丢到 EventStore中 ,然后起一worker 线程 , 获取message ,send 给kafka ,确定消费binlog位置 。
感觉 为什么不放弃EventStore 直接交给 kafka呢 ,其实这一块 类似与生产者 消费者 队列的关系 ,消费者可以通过send batch size 数量到kafka 。
往前看 MysqlMultiStageCoprocessor disruptor 多阶段 消费设计真是惊讶到我了
/**

设计方式1 , 4阶段 在一线程
设计方式2 , 4阶段 通过LinkedBlockingQueue 分割 模式
设计方式3 , 4阶段 通过 disruptor 多阶段协同
显然 阿里同学的这个设计 是值得学习的 。

上一篇下一篇

猜你喜欢

热点阅读