Kafka概述

什么是kafka

Kafka官网介绍kafka是一个分布式的流平台。

• 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
• 可以储存流式的记录，并且有较好的容错性。
• 可以在流式记录产生时就进行处理。

平时对kafka的认识还是作为消息队列比较多，其他特性在大数据领域应用很广。简单来说kafka是一个基于消息、分布式、高吞吐的流平台。

主题与日志

Kafka是以发布—订阅的方式形式进行数据传输，数据的发送者（称为发布者）不会将数据直接发送给特定的接收者（称为订阅者）。发布者以某种方式将消息进行分类，接受者订阅它们，以便接收特定类型的消息。
在 Kafka 中，发布订阅的对象是主题（Topic），你可以为每个业务、每个应用甚至是每类数据都创建专属的主题。Kafka 将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志，消息日志是kafka的数据单元，由消息和键组成。

来自官网

这里重点说一下日志的概念，日志是分布式系统的灵魂。这里的日志并非日常开发中打印的日志，这里的日志通常是只能追加、按照时间完全有序（totally-ordered）的记录序列，如mysql中的binlog是记录所有数据库表结构变更，redis的AOF记录每次写命令。
通过这种方式可以实现提供节点之间的数据复制、为系统提供外部的数据订阅、调整节点之间的数据平衡等功能。Kafka的消息日志也是遵循上面的规则设计的，是一段有序只能追加的写的物理文件。
即使我们之前没有使用过kafka，也听说过kafka的高吞吐，但是kafka对消息日志做了持久化的处理，我们都知道涉及到磁盘IO都想到一个慢字。kafka的高吞吐的一方面就是在于它日志的设计。

• append-only
  官网提到don't fear the filesystem!，不要害怕文件系统。我们固定思维以为涉及到磁盘文件会很慢，是因为我们使用的方式不对，只要使用方式正确磁盘文件也可以像网络一样快。磁盘系统慢是因为它的寻址，磁盘的顺序写比随机写快6000倍以上，这是因为操作系统提供了 read-ahead 和 write-behind 技术，read-ahead 是以大的 data block 为单位预先读取数据，而 write-behind 是将多个小型的逻辑写合并成一次大型的物理磁盘写入。
• batch and zero-copy
  使用顺序写消除了磁盘访问慢的情况，关于IO操作低下的主要原因就剩下了两个：大量的小型 I/O 操作，以及过多的字节拷贝。
  为了提高效率消息按照批次写入kafka，批次就是一组消息，这些消息都属于来自同一个主题和分区。这样减少了小型的I/O操作，但是消息的实时性就有所损耗。
  另外一个就是zero-copy，关于零拷贝我之前有文章介绍了零拷贝的概念，这里不多讲。简单来说，传统的I/O操作涉及多次数据的拷贝，从内存空间到内核空间，但是零拷贝使用sendfile的指令，可以允许操作系统将数据从 内核空间 直接发送到网络，这样避免重新复制数据。

客户端

Kafka的客户端分为两部分，生产者与消费者。

生产者

生产者程序通常持续不断地向一个或多个主题发送消息，生产者默认情况下把消息均匀的分布到主题的分区上，也可以将消息发送到指定的分区，通常是通过消息键和分区策略实现的，后续会详细介绍。

消费者

消费者读取消息。消费者可以订阅一个或者多个主题，并按照消息的生成顺序读取它们。每个消息日志都有自己的偏移量(offset)，是一个不断递增的整数值，在创建消息的时候会保存进去。在给定的分区里面，每个消息的偏移量是唯一的。消费者把每个分区读取的消息偏移量存入zookeeper(之前版本)或kafka，这样在消费者关闭或者重启，它的读取状态也不会消息。
为了提高消息的消费速度和扩展与容错，kafka引入消费者组（consumer group）的概念。也就是说，会有一个消费者或者多个消费者读取一个主题。群组保证一个分区只能被一个消费者使用。

消费者组
通过这种方式，消费者可以提高消费的速率，而且当一个一个消费者失效之后，集群中其他消费者可以接管失效消费者的工作，这就是消费者重平衡，后续会介绍这个概念。

服务端与集群

有客户端就有服务端，一个独立的kafka服务器被称为broker。broker处理客户端的请求，接受生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。为消费者提供服务，对提取的分区做出相应，返回提交到磁盘的消息。
Kafka集群由多个broker组成，broker的信息存储在zookeeper上，通过zookeeper可监控和管理集群每个broker。在集群多个broker中会有一个broker充当控制器的角色（controller），kafka使用zookeeper的临时节点选举控制器，控制器的作用很多比如主题的管理、集群成员管理等，这里就不详细介绍了。
在kafka文档中介绍“一个分布式、可分区的、可复制的提交日志服务”，复制是分布式系统中保证可用性的关键。
前面提高kafka使用topic组织数据，一个topic被分为若干个个分区，每个分区有多个副本。这些副本保存在broker上，每个broker可以保存多个属于不同主题和分区的副本。
副本有两种类型

• leader：每个分区都有一个leader副本，为了保证数据一致性，所有生产者和消费者的请求都是处理的这个副本。
• follower：leader以外的副本都是follower副本。follower不处理客户端的请求，唯一的任务就是从leader那里复制消息，保持和leader一样的状态。如果leader崩溃，其中一个将会升为新leader。

总结

本文介绍了kafka的一些概念，比如消息日志、生产者、消费者、broker，下面一张图详细的展示了它们之间的关系。

极客时间《Kafka核心技术与实战》

关于kafka，早在去年的时候就在断断续续的接触和学习，我学习kafka更多的侧重点是它系统的设计，一个分布式的流服务器是怎么设计的。它是如何做到高可用、高吞吐的，这是很吸引人的东西。相反在关于kafka的使用和搭建我关注的就比较少，本文是我自己的在看了一些资料后的总结和一些看法，接下来的时间应该也会继续写kafka相关的文章。

参考

《Kafka权威指南》
kafka官网
极客时间《Kafka核心技术与实战》