模块十七_kafka

序言:

文章内容输出来源：拉勾教育Java高薪训练营。
本篇文章是学习课程中的一部分课后笔记

一、 Kafka介绍、概念

1. Kafka介绍

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，
基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

主要应用场景是：日志收集系统和消息系统。

2. Kafka优势

• 1. 高吞吐量：单机每秒处理几十上百万的消息量。即使存储了许多TB的消息，它也保持稳定的性能。
• 2. 高性能：单节点支持上千个客户端，并保证零停机和零数据丢失。
• 3. 持久化数据存储：将消息持久化到磁盘。通过将数据持久化到硬盘以及replication防止数
     据丢失。
  • 零拷贝
  • 顺序读，顺序写
  • 利用Linux的页缓存
• 4. 分布式系统，易于向外扩展。所有的Producer、Broker和Consumer都会有多个，均为分布式的。无需停机即可扩展机器。多个Producer、Consumer可能是不同的应用。
• 5. 可靠性 - Kafka是分布式，分区，复制和容错的。
• 6. 客户端状态维护：消息被处理的状态是在Consumer端维护，而不是由server端维护。当失败时能自动平衡。
• 7. 支持online和offline的场景。
• 8. 支持多种客户端语言。Kafka支持Java、.NET、PHP、Python等多种语言。

3. Kafka应用场景

日志收集：一个公司可以用Kafka可以收集各种服务的Log，通过Kafka以统一接口服务的方式开放给各种Consumer；
消息系统：解耦生产者和消费者、缓存消息等；
用户活动跟踪：Kafka经常被用来记录Web用户或者App用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到Kafka的Topic中，然后消费者通过订阅这些Topic来做实时的监控分析，亦可保存到数据库；
运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告；
流式处理：比如Spark Streaming和Storm。

二、 Kafka高级特性

1、Producer

生产者创建消息。
该角色将消息发布到Kafka的topic中。
broker接收到生产者发送的消息后，broker将该消息追加到当前用于追加数据的 segment 文件中。
一般情况下，一个消息会被发布到一个特定的主题上。

• 1. 默认情况下通过轮询把消息均衡地分布到主题的所有分区上。
• 2. 在某些情况下，生产者会把消息直接写到指定的分区。这通常是通过消息键和分区器来实现的，分区器为键生成一个散列值，并将其映射到指定的分区上。这样可以保证包含同一个键的消息会被写到同一个分区上。
• 3. 生产者也可以使用自定义的分区器，根据不同的业务规则将消息映射到分区。

消息发送.png

消息发送：

1. Producer创建时，会创建一个Sender线程并设置为守护线程。
2. 生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将
   消息缓存在缓冲区（该缓冲区也是在Producer创建时创建）。
3. 批次发送的条件为：缓冲区数据大小达到batch.size或者linger.ms达到上限，哪个先达
   到就算哪个。
4. 批次发送后，发往指定分区，然后落盘到broker；如果生产者配置了retrires参数大于0并
   且失败原因允许重试，那么客户端内部会对该消息进行重试。
5. 落盘到broker成功，返回生产元数据给生产者。
6. 元数据返回有两种方式：一种是通过阻塞直接返回，另一种是通过回调返回。

2、Consumer

消费者读取消息。

• 1. 消费者订阅一个或多个主题，并按照消息生成的顺序读取它们。
• 2. 消费者通过检查消息的偏移量来区分已经读取过的消息。偏移量是另一种元数据，它是一个不断递增的整数值，在创建消息时，Kafka 会把它添加到消息里。在给定的分区里，每个消息的偏移量都是唯一的。消费者把每个分区最后读取的消息偏移量保存在Zookeeper 或Kafka上，如果消费者关闭或重启，它的读取状态不会丢失。
• 3. 消费者是消费组的一部分。群组保证每个分区只能被一个消费者使用。

• 4. 如果一个消费者失效，消费组里的其他消费者可以接管失效消费者的工作，再平衡，分区重新分配。

     
     分区消费.png

3、Broker

一个独立的Kafka 服务器被称为broker。
broker 为消费者提供服务，对读取分区的请求作出响应，返回已经提交到磁盘上的消息。

• 1. 如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。
• 2. 如果某topic有N个partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的一个partition，剩下的M个broker不存储该topic的partition数据。
• 3. 如果某topic有N个partition，集群中broker数目少于N个，那么一个broker存储该
     topic的一个或多个partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致Kafka集群数据不均衡。

broker 是集群的组成部分。每个集群都有一个broker 同时充当了集群控制器的角色（自动从集群的活跃成员中选举出来）。
控制器负责管理工作，包括将分区分配给broker 和监控broker。
在集群中，一个分区从属于一个broker，该broker 被称为分区的首领。

broker.png

4、Topic

• 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。
  物理上不同Topic的消息分开存储。
  主题就好比数据库的表，尤其是分库分表之后的逻辑表。

5、Partition

• 1. 主题可以被分为若干个分区，一个分区就是一个提交日志。
• 2. 消息以追加的方式写入分区，然后以先入先出的顺序读取。
• 3. 无法在整个主题范围内保证消息的顺序，但可以保证消息在单个分区内的顺序。
• 4. Kafka 通过分区来实现数据冗余和伸缩性。
• 5. 在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。

partition.png