Mac/Linux搭建本地kafka集群
2020-02-22 本文已影响0人
美菱朵
安装zookeeper
前提:装好Java8,配置好JAVA_HOME环境变量
1.下载
选择最新版(3.5.7)二进制包下载
链接:http://zookeeper.apache.org/releases.html#download
国内下载慢可以选择清华的源:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
2.安装
选择一个目录解压
apache-zookeeper-3.5.7-bin/conf 目录下zoo_sample.cfg复制到zoo.cfg
添加log和data路径
启动zk:
sh apache-zookeeper-3.5.7-bin/bin/zkServer.sh start
安装kafka
1.下载
下载最新版(2.4.0)二进制包:http://kafka.apache.org/downloads
2.安装
选择一个目录解压
找到kafka_2.13-2.4.0/config/server.properties设置文件中zk地址
zookeeper.connect=localhost:2181
3.启动kafka
sh kafka_2.13-2.4.0/bin/kafka-server-start.sh -daemon kafka_2.13-2.4.0/config/server.properties
安装prometheus监控
1.下载
选择对应的包
https://prometheus.io/download/
2.安装
选择一个目录解压
3.启动
./prometheus --config.file=prometheus.yml
4.测试
http://127.0.0.1:9090
安装grafana
1.下载
https://grafana.com/grafana/download
Mac 用homebrew安装
2.启动
brew services start grafana
3.测试
http://127.0.0.1:3000
页面默认密码为admin/admin
安装kafka_exporter
1.下载
https://github.com/danielqsj/kafka_exporter
2.启动
kafka_exporter --kafka.server=kafka:9092
3.下载grafana dashboards json 配置文件
https://grafana.com/grafana/dashboards/7589/revisions
4.配置prometheus
修改prometheus.yml,修改后kill掉进程重启
5.配置grafana
添加数据源
导入dashboard模板,3中下载的json文件
测试
kafka有数据可以看到图表