Kafka基础知识01 -- 基础概念

2021-12-13 本文已影响0人 Amy1234567

一，Kafka介绍

Kafka是最初是由linkedin公司开发，是一个分布式，支持分区的（partition），多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统，低延迟的实时系统，Storm/Spark流式处理引擎，web/nginx日志，消息服务等等，用scala语言编写，Linkedin于2020年贡献给了Apache基金会并称为顶级开源项目。

1. kafka的应用场景：

千锋教育

2. kafka中的基本概念

千锋教育

二，kafka的基本知识

1. Kafka的安装

$\bullet$ 部署一台zookeeper服务器

$\bullet$ 安装jdk

$\bullet$ 下载kafka的安装包: Apache Kafka

$\bullet$ 上传到kafka服务器上： /usr/local/kafka

$\bullet$ 解压缩压缩包

$\bullet$ 进入到config目录内，修改server.properties

千锋教育

$\bullet$ 进入到bin目录内，执行以下命令来启动kafka服务器（带着配置文件）

千锋教育

$\bullet$ 校验kafka是否启动成功：

进入到zk内查看是否有kafka的节点：/brokers/ids/0

2. 创建topic

千锋教育

Topic是Kafka消息的逻辑划分

3. 发送消息

kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以命令行中直接输入内容，并将这些内容以消息的形式发送到kafka集群中。在默认情况下，每一行会被当作成一个独立的消息。使用kafka的发送消息的客户端，指定发送到的kafka服务器地址和topic

千锋教育

4. 消费消息

对于consumer，kafka同样也携带了一个命令行客户端，会将获取到内容在命令行中输出，默认是消费最新的消息，使用kafka的消费者消费的客户端，从指定kafka服务器的指定topic中消费消息。

千锋教育

几个注意点：

$\bullet$ 消息会被存储

$\bullet$ 消息是顺序存储的

$\bullet$ 消息是有偏移量的

$\bullet$ 消费时可以指明偏移量进行消费

5. 关于消息的细节

千锋教育

$\bullet$ 生产者将消息发送给broker，broker会将消息保存在本地的日志文件中

千锋教育

$\bullet$ 消息的保存时有序的，通过offset偏移量来描述消息的有序性

$\bullet$ 消费者消费消息时，也是通过offset来描述当前要消费的那条消息的位置

6. 单播消息

在一个kafka的topic中，启动两个消费者，一个生产者，问：生产者发送消息，这条消息是否同时会被两个消费者订阅？

如果多个消费者在同一个消费组，那么只有一个消费者可以收到消息。换言之，同一个消费组中只能有一个消费者收到一个topic中的消息

千锋教育

7. 多播消息

不同的消费组订阅同一个topic，那么不同的消费组中只有一个消费者能收到消息，实际上也是多个消费组中的多个消费者收到了同一个消息。

千锋教育

单播与多播消息的区别

千锋教育

8. 查看消费组的详细信息

查看消费组中的具体信息：比如当前偏移量，最后一条消息的偏移量，堆积的消息数量

千锋教育

$\bullet$ Current-offset: 当前消费组已消费偏移量

$\bullet$ Log-end-offset: 主题对应分区消息的结束偏移量(HW)

$\bullet$ Lag: 当前消费组未消费的消息数

三，Kafka中主题和分区的概念

1. 主题Topic

主题--topic是Kafka中的逻辑概念，kafka通过topic将消息进行分类。不同的topic会被订阅该topic的消费者消费。但是有一个问题，如果说这个topic中的消息非常多，多到需要几个T来存，因为消息会被保存到log日志文件中。为了解决这个文件过大的问题，kafka提出了partition分区的概念。

2. 分区Partition

1). 分区的概念

通过partition将topic中的消息分区来存储，这样的好处有多个：

$\bullet$ 分区存储，可以解决统一存储文件过大的问题

$\bullet$ 提供了读写的吞吐量：读和写可以同时在多个分区中进行

千锋教育

2). 创建多分区的主题

千锋教育

3. kafka中消息日志中保存的内容

$\bullet$ 0000000.log：这个文件中保存的就是消息

$\bullet$ __consumer_offsets-49: kafka内部自己创建了__consumer_offsets主题包含了50个分区。这个主题用来存放消费者消费某个主题的偏移量，因为每个消费者都会自己维护着消费的主题的偏移量，也就是说每个消费者会把消费的主题的偏移量自主上报给kafka中的默认主题：consumer_offsets。因此kafka为了提升整个主题的并发性，默认设置了50个分区。

$\rightarrow$ 提交到哪个分区：通过hash函数：hash(consumerGroupId)%__consumer_offsets主题的分区数

$\rightarrow$ 提交到该主题中的内容是：key是consumerGroupId+topic+分区号，value就是当前的offset的值

$\bullet$ 文件中保存的消息，默认保存7天，七天后消息会被删除。

Kafka基础知识01 -- 基础概念

一，Kafka介绍

二，kafka的基本知识

三，Kafka中主题和分区的概念

猜你喜欢

热点阅读