kafka单机版部署
1 kafka版本
kafka安装需要zookeeper,但是kafka集成了zookeeper,单机部署时可以直接使用,配置kafka_2.11.X/config下的zookeeper.preperties即可
2 安装部署
2.1解压缩
tar -xvf kafka_2.11-2.3.0.tgz
2.2 配置zookeeper.preperties
修改dataDir和clientPort两个配置项,前者是快照的存放地址,后者是客户端连接zookeeper服务的端口
根据自己的实际情况填写,也可以直接用默认值
2.3 配置server.properties
修改log.dirs和zookeeper.connect两个配置选项
log.dirs可以根据实际情况填写,也可以直接用默认值
zookeeper.connect要和zookeeper.preperties文件中的clientPort保持一致
做完以上操作,单机版部署就完成了
3 启动
3.1启动zookeeper
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties >../zookeeper.log &
后台启动zookeeper,启动日志写入zookeeper.log
启动后查看zookeeper.log,看zookeeper是否启动成功
3.2 启动kafka服务
nohup ./kafka-server-start.sh ../config/server.properties > ../kafka.log&
后台启动kafkaserver,启动日志写入kafka.log
启动后查看kafka.log,看是否启动成功
3.2 创建topic
./kafka-topics.sh --create --zookeeper IP:2291 --replication-factor 1 --partitions 1 --topic test&
3.3 创建生产者
./kafka-console-producer.sh --broker-list IP:9092 --topic test&
3.4 创建消费者
./kafka-console-consumer.sh --bootstrap-server IP:2291 --topic test --from-beginning
检查生产者、消费者是否正常的方法:
生产者和消费者各开一个终端,分别执行创建生产者和消费者的命令,执行生产者命令后,发送一个消息:kafkatest,消费者终端可以收到这个消息,即为正常