2.1、Linux下Kafka环境搭建及基本使用
一、kafka单节点单broker环境搭建
系统环境：centos 64位 mini
虚拟机：Virtual Box
如果你不熟悉virtual box的使用，不知道如何安装centos系统，可以参考之前发布的文章：
快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用
如果你不想用virtual box，也可以使用docker，之前发布的文章也有介绍，请进入头条号查看
1、Windows下搭建单节点kafka环境
请参考之前发布在头条号上的文章，已经详细介绍了
1）JDK环境搭建
2）zookeeper环境搭建
3）kafka环境搭建
2、Linux下搭建
1）JDK环境搭建
解压：
cd/usr/local/src
tar-zxvfjdk-8u181-linux-x64.tar.gz
mvjdk1.8.0_181../
配置：
cd/usr/local/jdk1.8.0_181
vim/etc/profile
exportJAVA_HOME=/usr/local/jdk1.8.0_181
exportPATH=$JAVA_HOME/bin:$PATH
source /etc/profile
验证：java -version
2）zookeeper环境搭建
下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
解压
cd/usr/local/src
tar-zxvfzookeeper-3.4.12.tar.gz
mvzookeeper-3.4.12../
配置环境变量
cd/usr/local/zookeeper-3.4.12
mkdirdata
mkdirlogs
vim/etc/profile
exportZK_HOME=/usr/local/zookeeper-3.4.12
exportPATH=$ZK_HOME/bin:$PATH
source /etc/profile
修改zoo.cfg
cpconf/zoo_sample.cfgconf/zoo.cfg
vimconf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data
dataLogDir=/usr/local/zookeeper-3.4.12/logs
启动测试
zkServer.sh start
[root@jikehzookeeper-3.4.12]#zkServer.shstart
ZooKeeperJMXenabledbydefault
Usingconfig:/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Startingzookeeper...STARTED
查看启动进程信息
[root@jikehlocal]#jps
3829QuorumPeerMain
3848Jps
[root@jikehlocal]#jps-m
3858Jps-m
3829QuorumPeerMain/usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
注释：zookeeper启动后，会多一个进程QuorumPeerMain
3）kafka环境搭建
下载：
cd/usr/local/src
wgethttps://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
注释：我们使用的版本是0.9.0.1
解压：
tar-zxvfkafka_2.11-0.9.0.1.tgz
mvkafka_2.11-0.9.0.1../
配置环境变量：
vim /etc/profile
exportKAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1
exportPATH=$KAFKA_HOME/bin:$PATH
使得环境变量立即生效：source /etc/profile
配置server.properties
cd/usr/local/kafka_2.11-0.9.0.1
vimconf/server.properties
server.properties重要参数说明：
broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092：远程连接需要配置下（0.9.0.1版本没有这个问题）
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的，这里必须更改下
zookeeper.connect=//zookeeper的连接地址：根据实际进行配置
3）启动测试
配置你的hosts：
127.0.0.1 jikeh
启动zookeeper：
Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器，你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。
cd /usr/local/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafka：
bin/kafka-server-start.sh config/server.properties
后台启动：
bin/kafka-server-start.sh -daemon config/server-1.properties &
注释：一个server.properties其实，就可以当做一个broker
jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息
二、kafka基本使用
1、创建Topic
1）新建topic
查看命令的帮助信息：直接输入bin/kafka-topics.sh，然后enter，就可以查看所有的参数信息
bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test
注释：参数说明
replication-factor：设置副本数
partitions：设置分区数
2）查看当前所有的topic列表
bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181
3）看下topic的详情信息
查看所有topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181
查看指定topic：
bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test
2、发送消息
bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test
3、消费消息
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
[root@jikehkafka_2.11-0.9.0.1]#bin/kafka-console-consumer.sh--zookeeperlocalhost:2181--from-beginning--topicmy-replicated-topic
UsingtheConsoleConsumerwitholdconsumerisdeprecatedandwillberemovedinafuturemajorrelease.Considerusingthenewconsumerbypassing[bootstrap-server]insteadof[zookeeper].
上面的警告信息，表示：这是个废弃的用法，建议使用新的用法[bootstrap-server]
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test
注释：
--from-beginning参数的作用：重新开始消费消息，不管是否已经被消费了
对于低版本的kafka需要这样连接：
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
4、疑惑点
通过以上命令，很多人就有疑问了，到底什么时候跟zookeeper打交道，什么时候跟broker打交道呢，这很容易让人糊涂
创建topic我是跟zookeeper打交道，而生产、消费消息却与broker打交道，但是低版本的kafka，消费者还是与zookeeper进行打交道的
注意：
低版本的kafka：需要这样消费
bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning
高版本的kafka：
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning
注释：官网上的文档，其实是按高版本的kafka来更新文档的
为什么会有这种区别呢？
Kafka consumers在早先的版本中，offset默认存储在ZooKeeper中。
三、kafka客户端远程连接测试
如果你理解上有困难，欢迎留言，或者参考视频教程：
带你看官网学习Kafka，掌握Linux下Kafka环境搭建及基本使用
参考Kafka bootstrap-servers vs zookeeper in kafka-console-consumer中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server
如果你觉得文章还可以，欢迎扫一下：
更多内容，请关注：头条号（极客慧）
更多资料分享，问题咨询，可以入群讨论：375412858
文章中用到的源码，请入群索要：
