目录

• 网络层
  • 服务端顺序性保证
• API层
• 日志存储层
• 副本机制
• 实际使用
• 性能优化
• kafka学习

网络层

服务端顺序性保证

API层

日志存储层

1. 顺序写入，避免了随机写入带来的随机寻址性能过慢问题
2. kafka 0拷贝之类的。
3. 压缩消息是端到端解压，服务端存储仍然是压缩的消息，消费者端才进行解压
4. 存储Log有很多Log文件包括log数据和log稀疏索引(磁盘空间，内存空间，查找时间的折中方法)文件，topic-partition对应一个文件夹。LogSegment多个log文件。有可能有多个Handle写入Log所以写入时会有同步。
5. Log使用跳表对多个LogSegment进行管理，因为LogSegment文件命名是与Offset相关，所以好定位，跳表找到对应LogSegement之后，再根据稀疏索引找到对应消息。可把书中图4-22找来说明。read日志操作就是这么搞的，read通过volatile+不可变对象实现线程安全

副本机制

• 高可用性保证
• ISR集合，HW，LEO
• 本地副本远程副本，比如leader副本需要维护几个复制副本，这时候leader副本需要更新本地副本的LEO, 也需要更新远程副本的HW信息，维护集群信息。
• 复制副本会启动线程同步LEO。

kafka学习

1. Apache Kafka服务端设计理念
2. 震惊了！原来这才是Kafka

参考文章

• 《apache kafka源码解析》
  todo
• Kafka 日志存储
• 一文读懂Apache Kafka服务端设计
• Kafka技术内幕 读书笔记之（六） 存储层——服务端处理读写请求、分区与副本
• Apache Kafka服务端设计理念- 震惊了！原来这才是Kafka