kafka系列二: kafka 部署

2024-07-09 本文已影响0人 IT前沿技术分享

MQ系列：
kafka系列一: kafka简介
 kafka系列二: kafka部署
 kafka系列三: Spring kafka
kafka系列四：动态添加监听器
 kafka系列五：失败后重试机制

Zookeeper简介

Kafka通常要与Zookeeper搭配使用，它们之间存在紧密的依赖关系，主要体现在Zookeeper为Kafka提供集群管理、元数据管理、故障检测等功能。

集群协调与管理：
Zookeeper帮助Kafka管理集群中的节点信息，包括节点数量、状态和位置等。每个Kafka节点都与Zookeeper建立连接，并注册为Zookeeper的一个临时节点，使得Zookeeper能够集中管理和协调整个Kafka集群。
元数据管理：
Kafka中的元数据，如主题、分区、副本等信息，存储在Zookeeper的节点中，并由集群中的所有节点共享。这使得生产者和消费者可以通过与Zookeeper的交互获取所需的元数据信息，如主题的分区数和副本分配方式等。
故障检测与处理：
Zookeeper能够检测到Kafka集群中的节点故障，并及时通知其他节点进行相应的处理，如触发新的leader选举过程，以确保集群的高可用性。
配置管理与选举机制：
Zookeeper还负责管理和存储Kafka集群的配置信息，并在leader节点失效时监控并触发新的leader选举过程。
这些功能共同确保了Kafka的高性能和可靠的消息传递。然而，随着技术的发展，Kafka也在逐步减少对Zookeeper的依赖，以提高性能和减少系统复杂性。

利用docker进行部署

如上文所述，kafka通常需要搭配zookeeper使用，所以部署kafka的同时也要部署zookeeper

部署zookeeper

下载镜像

docker pull wurstmeister/zookeeper

运行容器

docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper

部署kafka

下载镜像

docker pull wurstmeister/kafka

运行容器

docker run -d --name kafka -p 9092:9092 --link zookeeper:zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 --env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 --env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 wurstmeister/kafka

部署完毕后，就可以使用单个kafka了，我们来验证一下

验证

创建测试主题

kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --zookeeper zookeeper:2181

如果提示： Created topic test. 则表示部署完成并且正常运行。

create topic

利用docker-compose 进行集群部署

如果说，你只是部署kafka来进行一些问题的验证，或者调试你的应用程序，部署单机的kafka服务确实够用了。
但是，如果要产品化，或者在生产环境中使用kafka，则必须要进行集群式部署，否则就是找死。

参考 kafka-docker，使用docker-compose 进行kafka的集群部署更加简单便捷。

但，基于具体的环境，需要对yml文件做适当的调整，我的环境是在Win10下基于docker Desktop进行的，省去中间各种问题，直接给出调整如下：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper:3.4.6
    ports:
      - "2181:2181"
      
  kafka1:
    image: wurstmeister/kafka:latest
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  kafka2:
    image: wurstmeister/kafka:latest
    ports:
      - "9093:9093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9093
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  kafka3:
    image: wurstmeister/kafka:latest
    ports:
      - "9094:9094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

进入文件所在目录，Shift+右键，打开PowerShell，执行以下docker-compose 命令进行安装：

docker-compose -f .\Kafka-cluster.yml up

即可部署kafka的集群了。

用kafka-ui 进行管理

部署完成后，对于新手来说，没有一个可视化的工具，还是对kafka无从下手，那么我们还是需要一个可视化的工具来对kafka进行管理的，这里推荐 kafka-ui

最终版Kafka-cluster.yml文件如下：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper:3.4.6
    ports:
      - "2181:2181"
      
  kafka1:
    image: wurstmeister/kafka:latest
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  kafka2:
    image: wurstmeister/kafka:latest
    ports:
      - "9093:9093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9093
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

  kafka3:
    image: wurstmeister/kafka:latest
    ports:
      - "9094:9094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 192.168.1.3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.3:9094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      
  kafka-ui:
    image: provectuslabs/kafka-ui:latest
    ports:
      - "18080:8080"
    environment:
      KAFKA_CLUSTERS_0_NAME: "local"
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: "192.168.1.3:9092,192.168.1.3:9093,192.168.1.3:9094"
      KAFKA_CLUSTERS_0_ZOOKEEPER: "192.168.1.3:2181"
    depends_on:
      - kafka1
      - kafka2
      - kafka3
      - zookeeper

进入文件所在目录，Shift+右键，打开PowerShell，执行以下docker-compose 命令进行部署：

docker-compose -f .\Kafka-cluster.yml up

部署完后，打开网址localhost:18080 即可便捷地进行数据管理了

dashboard

Brokers

Topics

Topic

Consumers