EFK安装过程

一、安装Elasticsearch（ 7.6.0版本）

docker run -d -p 9200:9200 -p 9300:9300 --name elas1 -h elas1  -e cluster.name=sxb-es -e cluster.initial_master_nodes=elas1 -e ES_JAVA_OPTS="-Xms512m -Xmx512m" docker.elastic.co/elasticsearch/elasticsearch:7.6.0

二、安装Kibana（7.6.0版本）

docker run -d --name kibana  --link elas1 -e ELASTICSEARCH_HOSTS=http://elas1:9200 -p 5601:5601 docker.elastic.co/kibana/kibana:7.6.0

三、安装Fluentd

升级ruby到2.5.0

https://www.jianshu.com/p/9212dbb2e445

安装fluentd

gem install fluentd --no-ri --no-rdoc

安装fluentd插件

# 查询插件
gem search fluent-plugin -rd # 列出github地址
# 安装elasticsearch插件
gem install fluent-plugin-elasticsearch --no-ri --no-rdoc

fluent-plugin-elasticsearch插件案例

https://jiaopeng.gitbooks.io/openstack-kolla/content/fluentd/fluent-plugin-elasticsearch%E6%8F%92%E4%BB%B6.html

初始化fluentd

fluentd --setup /etc/fluentd

启动

# 后台启动
fluentd -c /etc/fluentd/fluent.conf --log /etc/fluentd/log/fluentd.log --log-rotate-size 1024MB &

查询进程

#查看fluentd进程
ps -ef | grep fluentd
#通过端口号查看进程
netstat -nap | grep 端口号
#通过进程id查看端口号
netstat -nap | grep 进程pid

配置命令修改

vi /etc/fluentd/fluent.conf
<source>
  @type forward
  @id forward_input

  port 24224
</source>

<match *.**>
  @type copy
  <store>
    @type elasticsearch
    host 127.0.0.1
    port 9200
    logstash_format true
    logstash_prefix fluent
    logstash_dateformat %Y%m%d
    include_tag_key true
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>
  <store>
    @type stdout
  </store>
</match>

开放端口号

#开放24224/tcp端口
firewall-cmd --zone=public --add-port=24224/tcp --permanent
#重新加载防火墙
firewall-cmd --reload
#查看端口是否开放
firewall-cmd --query-port=24224/tcp