kafka集群管理工具kafka-manager安装部署

2018-09-22 本文已影响2人 it_zzy

kafka集群管理工具kafka-manager安装部署

kafka安装

Kafka集群环境需要以下环境支持：

Java环境(kafka新版本要求Java8)
Zookeeper环境

Java环境搭建

按照相关教程搭建java环境

配置环境变量如下：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

#hadoop
export HADOOP_HOME=/usr/local/software/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

#hive
export HIVE_HOME=/usr/local/software/hive-2.2.0
export PATH=$HIVE_HOME/bin:$PATH

zookeeper环境搭建

1.搭建好Java环境

2.官网下载zookeeper tar包，地址，我下载的是zookeeper-3.4.12.tar.gz

3.将下载下来的压缩包上传到指定服务器相关目录并解压，命令:

es@es2:/usr/local/software $ tar -zxvf zookeeper-3.4.12.tar.gz  #解压
es@es2:/usr/local/software $ cd zookeeper-3.4.12  
es@es2:/usr/local/software $ cp conf/zoo_sample.cfg zoo.cfg  #重命名配置文件

4.修改配置文件，主要修改以下几个地方：

# 数据文件存放地址
dataDir=/usr/local/data/zookeeper/data
# log 文件存放地址
dataLogDir=/usr/local/data/zookeeper/log
# 端口
clientPort=2181

# 监听端口
server.1=ip1:2888:3888  #server id为1
server.2=ip2:2888:3888  #server id为2
server.3=ip3:2888:3888  #server id为3

5.新建数据存放文件的data目录（配置文件中dataDir所指向的路径）:

[es@es2 zookeeper]# mkdir data #新建data目录
[es@es2: data]# vi myid #新建myid文件
[es@es2: data]# echo 1>>myid  #写入server1的id为1

6.将server1的zookeeper包拷贝到32和33

[es@es2 zookeeper-3.4.10] scp -r ../zookeeper-3.4.10 es@es1:/usr/local/software
[es@es2 zookeeper-3.4.10] scp -r ../zookeeper-3.4.10 es@es3:/usr/local/software

分别将zookeeper data目录下的myid文件作相应的修改(32的myid修改为2，33的myid修改为3)

7.启动zookeeper：

bin/zkServer.sh start

分别启动三台server，使用jps命令看到如下进程

es@es2:/usr/local/software/zookeeper-3.4.12$ jps
26836 Jps
30997 DataNode
26809 QuorumPeerMain

表示zookeeper启动完成。

kafka环境部署

1.下载kafka压缩包，地址

2.上传到对应服务器的相关目录并解压缩

3.修改配置文件，配置文件在config/server.properties，主要修改以下位置：

# broker.id参数，需保证同一集群内参数唯一，integer
broker.id=1

listeners=PLAINTEXT://ip1:9092
host.name=ip1

advertised.listeners=PLAINTEXT://ip1:9092

max.request.size=50000000

# kafka 数据存放目录
log.dirs=/usr/local/data/kafka/kafka-logs

# zookeeper连接地址
zookeeper.connect=ip1:2181,ip2:2181,ip3:2181

# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

# 删除topic
delete.topic.enable=true
# 自动创建topic
auto.create.topics.enable=false

# topic一次存取的最大数据量
message.max.byte=52428800

其他几台服务器作相应的修改，但必须保证broker.id参数在一个kafka集群里唯一！

4.kafka内存分配
kafka对内存的要求不是特别高，默认1G,可以根据服务器的实际情况分配内存大小，修改位置：

[es@es2 kafka]# vi bin/kafka-server-start.sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"  ##修改内存大小，这里修改为4G
fi

5.启动kafka，分别在各台服务器启动kafka进程

[es@es2 kafka]# bin/kafka-server-start.sh -daemon config/server.properties #后台启动kafka进程

6.使用jps命令查看进程：

[es@es2 kafka]# jps
20754 Jps
18422 Kafka
4119 QuorumPeerMain

表示kafka启动成功！

kafka-manager

kafka-manager 简介

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：

1.管理多个kafka集群
2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
3.选择你要运行的副本
4.基于当前分区状况进行
5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删除（在0.8.2以上版本适用）
8.为已存在的topic增加分区
9.为已存在的topic更新配置
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址：https://github.com/yahoo/kafka-manager

下载安装 kafka-manager

下载编译

git clone https://github.com/yahoo/kafka-managercd kafka-manager
cd kafka-manager
# 因为要编译。所以下面这步操作要等很久
sbt clean distcd target/ 
# 在target目录下我们可以看到 kafka-manager
kafka-manager-1.3.3.18.tar.gz

tips:

使用sbt编译打包的时候时间可能会比较长，如果你hang在
Loading project definition from kafka-manager/project
可以修改project/plugins.sbt中的LogLevel参数
将logLevel := Level.Warn修改为logLevel := Level.Debug

解压

unzip kafka-manager-1.3.3.18.zip -d /usr/local/software
cd /usr/local/software/kafka-manager-1.3.3.18

修改配置 conf/application.properties

# 如果zk是集群，这里填写多个zk地址
kafka-manager.zkhosts="ip1:2181"

启动

bin/kafka-manager

报以下错：
rg.jboss.netty.channel.ChannelException: Failed to bind to: /0.0.0.0:9000
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:132)
    at play.core.server.NettyServer$$anonfun$1.apply(NettyServer.scala:129)
    at scala.Option.map(Option.scala:146)
    at play.core.server.NettyServer.<init>(NettyServer.scala:129)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:200)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:199)
    at play.core.server.ServerProvider$class.createServer(ServerProvider.scala:24)
    at play.core.server.NettyServerProvider.createServer(NettyServer.scala:199)
    at play.core.server.ProdServerStart$.start(ProdServerStart.scala:58)
    at play.core.server.ProdServerStart$.main(ProdServerStart.scala:27)
    at play.core.server.ProdServerStart.main(ProdServerStart.scala)
Caused by: java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)

kafka-manager 默认的端口是9000，而9000端口被占用，

root@es2:~# netstat -apn |grep 9000
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      6343/clickhouse-ser

可通过 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:

./bin/kafka-manager -Dhttp.port=9080

我们用浏览器访问试试，界面非常简洁

这样便安装成功了

参考：

kafka集群管理工具kafka-manager安装部署