kafka 概览

kafka的架构详解和各种工作流

• broker就是真的存数据的。其他meta信息都是放在ZK里面的。
• producer是不注册在ZK的，ZK里保存了各种信息，Topic的partions信息，replication信息，consumer group信息等等。

kafka consumer端 offset commit相关问题

• 自动提交和手动提交
  在新家consumer的是reblance中，自动提交有可能会有重复的数据。

• offset的一些实验
  offset在客户端和服务端各保存一份，即使不提交offset，也不会影响本轮无异常的consume。

0.9之前consumer offset相关是放在ZK里的，但是0.10之后都放在了kafka的__consumer_offsets topic里了。牛逼了，自己存自己。所以很多知识都是在变化的。
https://blog.csdn.net/yan3013216087/article/details/104245609
https://blog.csdn.net/zhangman0702/article/details/84662272
https://www.cnblogs.com/huxi2b/p/8316289.html

consumer group的rebalance
讲的比较清楚
rebalance的思维导图，挺好的
带了一些coordinator的信息

数据存储

定期刷盘，所以掉电的时候还是会有丢数据的。
https://cloud.tencent.com/developer/news/388406

但是可以强制刷盘（性能受到影响），或者从replica恢复。

消息队列设计精要

kafka面试知识