大数据学习之Kafka
2021-07-21 本文已影响0人
我问你瓜保熟吗
一、 单节点1个broker
- 启动kafka：首先启动zookeeper：
systemctl start zookeeper、kafka-server-start.sh $KAFKA_HOME/config/server.properties - 创建topic：
kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092 - 查看 topic 信息：
kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic quickstart-events - 查看所有topic：
kafka-topics.sh --list --zookeeper localhost:2181 - 创建生产者：
kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092 - 创建消费者：
kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
默认启在9092端口
-zookeeper localhost:2181 替换 --bootstrap-server localhost:9092。--bootstrap-server参数,consumer的信息将会存放在kafka之中，-zookeeper localhost:2181 consumer的信息将会存放在zookeeper之中。
创建consumer时会自动创建topic
二、单节点多broker，伪分布式集群
将server.properties复制多个，并修改以下配置，并全部启动（必须得有id=0的broker？）
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-broker1-logs
- 启动全部broker：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties - 创建主题：
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic mytopic
或者kafka-topics.sh --create --bootstrap-server localhost:9092 localhost:9093,localhost:9094 --replication-factor 3 --partitions 1 --topic mytopic2 - 查看主题：
kafka-topics.sh --describe -zookeeper localhost:2181 --topic mytopic - 创建生产者：
kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic mytopic - 创建消费者：
kafka-console-consumer.sh --bootstrap-server localhost:9093,localhost:9094,localhost:9095 --from-beginning --topic mytopic
三、多主机集群
待完善。
