linux环境安装kafka和es
一、安装es
选择自己需要的版本，解压缩到指定目录，es下载参考连接1，这里我选的是7.15.1
1、修改配置文件
config目录编辑elssticsearch.yml
image.png
image.png
修改上述5项，注意：后是一个空格，否则写错会报：Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];
config目录编辑jvm.option，添加
image.png
否则启动可能会报内存不足的错。
bin目录修改初始化java走的版本，es需要java11的环境，我这里本地java是1.8，所以选择运行es自带的java环境
es自带java所在目录.png
修改bin下elasticsearch.env文件
image.png
只需要注释掉判断分支检测本地java这块即可，否则会报错：future versions of Elasticsearch will require Java 11
2、添加账号
先将es文件夹下的所有目录的所有权限迭代给esuser用户
useradd elastic
chown -R elastic:elastic /usr/local/elasticsearch-7.15.1
修改 vi /etc/security/limits.conf 添加
elastic hard nofile 65536
elastic soft nofile 65536
修改/etc/sysctl.conf
vm.max_map_count=655360
执行
sysctl -p
3、启动es
切换到新建的账户 su elastic
执行
./bin/elasticsearch---前天启动
./bin/elasticsearch -d ---------后台启动
访问前端地址: ip:9200查看是否启动成功
image.png
3、安装es可视化界面
ES的可视化插件有两种，一种是Elasticsearch-Head插件（推荐使用），另一种是ES的官方插件 Kibana（跟版本有关联，配置变更后因为不明原因闪退）
安装步骤参考：
1、Elasticsearch-Head包下载地址
下载后解压包
在谷歌浏览器里面输入：
chrome://extensions/
选择解压后路径即可
image.png
之后就可以在插件图标里选择即可
image.png
二、部署kafka
需要将zookeeper和kafka解压缩到机器
这里zk用的是3.6.2版本，kafka用的是2.13-3.2.0版本
1、部署zookeeper
config目录下执行
mv zoo_sample.cfg zoo.cfg
image.png
启动 zk
syatemctl start zookeeper
2、启动kafka
修改kafka配置文件server.properties,添加本机地址外部可访问
image.png
启动kafka，bin目录下
#前台启动
./kafka-server-start.sh -daemon ../config/server.properties
#后台启动
nohup ./kafka-server-start.sh ../config/server.properties &
3、创建topic
./kafka-topics.sh --create --bootstrap-server ip:9092 --replication-factor 1 --partitions 2 --topic test_info
#验证topic是否创建成功
./kafka-topics.sh --bootstrap-server ip:9092 --list
#开两个窗口验证下消费情况
./kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test_info
./kafka-console-producer.sh --bootstrap-server ip:9092 --topic test_info test
