Centos7下搭建kafka环境
1. 安装Java
java安装详见:http://www.jianshu.com/p/5d3ecf3b30f6
2. 安装zookeeper
在需要安装的目录下运行: wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz (这个地址根据官方推荐的,可能会有不同)。
解压包:tar -xzf zookeeper-3.4.9.tar.gz。
进入解压的文件夹:cp /config/zoo-sample.cfg /config/zoo.cfg。
运行zookeeper:/bin/zkServer.sh start。
3. 安装kafka
在需要安装的目录下运行: wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz(这个地址根据官方推荐的,可能会有不同)。
解压包:tar -xzf kafka_2.12-0.11.0.0.tgz。
进入解压文件夹的bin目录,运行:./kafka-server-start.sh ../config/server.properties。
ps -ef | grep kafka查看zookeeper和kafka服务是否启动。
4. 测试
1.创建一个叫"test"的topic,它只有一个分区,一个副本:./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2.查看创建的topic:./kafka-topics.sh --list --zookeeper localhost:2181
3.创建producer:./kafka-console-producer.sh --broker-list localhost:9092 --topic test
4.创建consumer:./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
5.在producer控制台输入信息敲回车,可以在consumer控制台看到对应的信息
6. kafka所在服务器跟开发环境不在一台机器上:
把listeners和advertised.listeners前面的#去掉,并把端口号之前的一串英文改为服务器的ip地址如:
listeners=PLAINTEXT://192.168.1.195:9092
advertised.listeners=PLAINTEXT://192.168.1.195:9092
zookeeper.connect=localhost:2181改为zookeeper.connect=192.168.1.195:2181