centos安装kafka

简介

Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。

系统

CentOS Linux release 7.2.1511 (Core)

安装JDK1.8

• 第一种方式

$ yum install java-1.8.0-openjdk.x86_64

安装成功校验

$ java -version
openjdk version "1.8.0_242"
OpenJDK Runtime Environment (build 1.8.0_242-b08)
OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)

• 第二种方式
  通过wget下载jdk，jdk下载地址需要去oracle官网查看

$ tar zxvf jdk-8u65-linux-x64.tar.gz
$ mv jdk1.8.0_65 java

添加环境变量

JAVA_HOME=/opt/java
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

安装Kafka

通过wget下载kafka的安装包 下载地址去kafka官网

$ cd /opt
$ wget http://mirror.bit.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz
$ tar zxvf kafka_2.11-2.3.1.tgz
$ mv kafka_2.11-2.3.1 kafka

kafka验证

• 启动zookeeper

$ cd /opt/kafka
$ bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

• 启动kafka

bin/kafka-server-start.sh config/server.properties

• 创建topic
  使用kafka-topics.sh 创建单分区单副本的topic test：

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

• 查看topic：

$ bin/kafka-topics.sh --list --zookeeper localhost:2181
test

参考资料

1. 在CentOS 7上安装Kafka