(3)kafka的安装部署以及基本操作

1.kafka 的安装部署

可以去看kafka的快速入门：http://kafka.apache.org/quickstart

• (1)下载安装包
  https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.11-2.1.0.tgz

• (2)安装过程
  tar -zxvf 解压安装包

• (3)kafka 目录介绍

1. /bin 操作 kafka 的可执行脚本
2. /config 配置文件
3. /libs 依赖库目录
4. /logs 日志数据目录

• (4)启动/停止 kafka

1. 需要先启动 zookeeper，如果没有搭建 zookeeper 环境，可以直接运行kafka 内嵌的 zookeeper
   启动命令： bin/zookeeper-server-start.sh config/zookeeper.properties &
2. 进入 kafka 目录，运行 bin/kafka-server-start.sh ｛-daemon 后台启动｝ config/server.properties
3. 进入 kafka 目录，运行 bin/kafka-server-stop.sh config/server.properties

2.kafka 的基本操作

• 创建topic

/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Replication-factor 表示该 topic 需要在不同的 broker 中总共保存几份副本，replication-factor 表示只保存一个副本
Partitions 分区数

• 查看 topic

./kafka-topics.sh --list --zookeeper localhost:2181

• 查看 topic 属性

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

• 消费消息

./kafka-console-consumer.sh –bootstrap-server localhost:9092 --topic test
--from-beginning

• 发送消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic test

3.安装集群环境

这一部分可以参考：http://kafka.apache.org/quickstart#quickstart_multibroker
官网的是在一台机子中复制了kafka的broker的服务端的配置文件，然后启动指定了不同的配置文件来进行启动

在搭建集群的时候可以选择三台机器作为一个集群搭建，然后在启动一个zookeeper作为协调服务

• 修改 server.properties 配置

1. 修改 server.properties. broker.id=0
   集群中的broker的id不能重复，需要设置不一样的节点id
2. 修改 server.properties 修改成本机 IP
   advertised.listeners=PLAINTEXT://192.168.11.153:9092

3.修改zookeeper的地址
zookeeper.connect=localhost:2181
zookeeper的为具体的实际的zookeeper部署的ip地址

• 修改其他的机子的server.properties的配置
• 启动zookeeper
  sh zkServer.sh start
• 分别启动三台kafka
  bin/kafka-server-start.sh -daemon config/server.properties
• 查看zookeeper的注册的brokder的节点是否全部启动
  ls /brokers/ids

当 Kafka broker 启动时，它会在 ZK 上注册自己的 IP 和端口号，客户端就通过这个 IP和端口号来连接