Kafka监控系统Kafka Eagle

一，需求简介

kafka集群部署完成后需要有一个可视化web页面，便于实时查看和观测kafka集群状态，我这里使用kafka eagle监控集群状态。

二、安装部署流程

1、Kafka Eagle 整个系统所包含的功能，

image.png

2、资源如下：

• 源码： https://github.com/smartloli/kafka-eagle/
• 官网：https://www.kafka-eagle.org/
• 下载： http://download.kafka-eagle.org/
• 安装文档： https://docs.kafka-eagle.org/2.env-and-install

下载地址：https://github.com/smartloli/kafka-eagle-bin/archive/v2.1.0.tar.gz

3、解压缩包重命名目录 (此处注意，需要解压两次)

mkdir /mnt/data
tar -zxvf kafka-eagle-bin-2.0.6.tar.gz
cd /mnt/data/kafka-eagle-bin-2.0.6
tar -zxvf kafka-eagle-web-2.0.6-bin.tar.gz
cd /mnt/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6

4、配置环境变量
设置Kafka-Eagle目录

#kafka-eagle
#export JAVA_HOME=/kafka/jdk1.8.0_65
export KE_HOME=/mnt/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6
export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin

5、更新环境变量

source /etc/profile

6、修改Kafka-Eagle配置文件

cd /mnt/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/conf
vim system-config.properties

######################################
# multi zookeeper&kafka cluster list
# zookeeper和kafka集群配置
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=10.0.0.11:2181,10.0.0.12:2181,10.0.0.13:21813

######################################
# kafka eagle webui port 
# web页面访问端口号
######################################
kafka.eagle.webui.port=8080

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=Sirun@2018

7、启动kafka-eagle

cd /mnt/data/kafka-eagle-bin-2.0.6/kafka-eagle-web-2.0.6/bin
./ke.sh start

8、启动成功打印日志如下;

*******************************************************************
* Kafka Eagle system monitor port successful...
*******************************************************************
[2020-02-07 17:05:57] INFO: Status Code[0]
[2020-02-07 17:05:57] INFO: [Job done!]
Welcome to
__ __ ___ ____ __ __ ___ ______ ___ ______ __ ______
/ //_/ / | / __/ / //_/ / | / ____/ / | / ____/ / / / ____/
/ ,< / /| | / /_ / ,< / /| | / __/ / /| | / / __ / / / __/
/ /| | / ___ | / __/ / /| | / ___ | / /___ / ___ |/ /_/ / / /___ / /___
/_/ |_| /_/ |_|/_/ /_/ |_| /_/ |_| /_____/ /_/ |_|\____/ /_____//_____/
Version 1.3.8
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://127.0.0.1:8080'
* Account:admin ,Password:123456
*******************************************************************
* ke.sh [start|status|stop|restart|stats]
* https://www.kafka-eagle.org/
*******************************************************************

9、如果没问题，则直接登录

• image.png

• 默认用户名:admin

• 默认密码:12345

监控趋势图

Kafka系统默认是没有开启JMX端口的，所以Kafka Eagle的监控趋势图默认采用不启用的方式，即kafka.eagle.metrics.charts=false。如果需要查看监控趋势图，需要开启Kafka系统的JMX端口，设置该端口在$KAFKA_HOME/bin/kafka-server-start.sh脚本中，设置内容如下：

vim  /opt/software/kafka-eagle/conf/system-config.properties

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=true

vi /opt/software/kafka/bin/kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    # 这里的端口不一定非要设置成9999，端口只要可用，均可。
    export JMX_PORT="9999" 
    #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

Kafka Eagle系统会自动获取这个JMX端口

参考链接：https://www.jianshu.com/p/db9f37bb7f98

其他可视化工具链接：https://toscode.gitee.com/dushixiang/kafka-map，此工具需要java11版本。