kafka架构师2-图解kafka源码1发送者流程

架构

Client
生产发送流程
Server：
kafka 网络架构
kafka 数据存储
kafka 副本同步
kafka 元数据管理

发送流程

image.png

一个demo

producer核心流程

（1）producer初始化过程

1:00:00-1:18:12

（2）元数据管理

1:18:00一1:25:00

（3）send方法深入代码:

1:25:00—1:32:00

（4）加载元数据详解

1:45:00----2:11:00

（5）分区选择逻辑

2:11:00---2:21:22

（6）封装recordAccumulator

2:21:00---2:26:00

(7) 读写分离 copyOnwrite数据结构使用

batch的结构
/**
* 步骤一：先根据分区找到应该插入到哪个队列里面。
* 如果有已经存在的队列，那么我们就使用存在队列
* 如果队列不存在，那么我们新创建一个队列
*
* 我们肯定是有了存储批次的队列，但是大家一定要知道一个事
* 我们代码第一次执行到这儿，获取其实就是一个空的队列。
*
* 现在代码第二次执行进来。
* 假设 分区还是之前的那个分区。
*
* 这个方法里面我们之前分析，里面就是针对batchs进行的操作
* 里面kafka自己封装了一个数据结构：CopyOnWriteMap (这个数据结构本来就是线程安全的)
*
*
* 根据当前消息的信息，获取一个队列
*
*
* 线程一，线程二，线程三
*/
2:26:00---2:41:00

(8) 数据写入对应批次(分段加锁)

2:41:42-----2:53:11
RecordAccumulator#append()

append(){
Deque<RecordBatch> dq = getOrCreateDeque(tp);
            /**
             * 假设我们现在有线程一，线程二，线程三
             *
             */
            synchronized (dq) {
}

xxxxxxxxxxxxxxxxx
   synchronized (dq) {
}

}