Kafka 消息发送

2020-09-14 本文已影响0人 stack

kafka是一种消息系统，将数据从一个应用程序传输到另外一个应用程序，分布式消息传递基于可靠消息队列的概念。大多数遵循pub/sub的原则。

消息分发model

Kafka工作流程

windows下搭建简单的kafka demo

1.下载对应版本的zookeeper tar压缩包

ps：如果zk的版本较高，会导致以下异常：”错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain“

原因：最新版本3.5.5开始，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

2.将下载下来的tar包解压到本地，然后把解压下的 zookeeper-3.4.14\bin 添加到环境变量中，顺便加上JAVA_HOME，在zkserver启动的时候会在系统找java的jdk。

3.重命名conf文件

重命名conf文件

4.打开命令行输入zkServer，显示以下内容为成功搭建好zookeeper服务

zookeeper启动

5.在本地安装kafka服务，在官网上下载对应的二进制版本的kafka tar文件

6.修改kafka日志存储位置

自定义日志储存位置

7.打开命令行，输入以下命令：.\bin\windows\kafka-server-start.bat kafka服务解压路径\server.properties

kafka启动成功

8.创建topic，输入以下命令：.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建topic

9.查看主题，输入以下命令：.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

查看当前topic

10.创建生产者，输入以下命令：.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

创建消费者，输入以下命令：.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning