EFK之filebeat收集日志并遵循索引生命周期管理->ES冷

2023-01-11 本文已影响0人怎么肥细

es集群中所有节点加入以下配置:
冷热节点根据项目实际应用设置
推荐集群为1主四从则设置三热二冷
冷热节点分别加入以下配置

# 标识为热节点
node.attr.temperature: hot
# 标识为冷节点
node.attr.temperature: warm

filebeat配置为

值得一提的是,这样创建出的索引的生命周期是由filebeat自动创建的名叫filebeat的索引生命周期策略管理,接下来的操作也是围绕这个索引生命周期管理策略的
核心配置:
setup.ilm.enabled: auto
setup.ilm.rollover_alias: "fcs-pord-admin"
setup.ilm.pattern: "{now/d}"

# ================================ Filebeat inputs ================================
filebeat.inputs:
- type: log
  #设置为true以启用此输入配置
  enabled: true
## 配置你要收集的日志目录，可以配置多个目录
  paths:
   - /home/devops/project/fcs-admin.log/sys-info.log
   - /home/devops/project/fcs-admin.log/sys-error.log
   - /home/devops/project/fcs-admin.log/sys-user.log
# ================================ template setting ================================

# 允许自动生成index模板
setup.template.enabled: true
# 如果存在模块则覆盖
setup.template.overwrite: true
setup.template.name: "fcs-pord-admin-log"
setup.template.pattern: "fcs-pord-admin-*"
#当我们该属性为false时，就不再遵循ilm的管理，而是索引到我们自己指定的index中
setup.ilm.enabled: auto
# 这里一定要注意会在alas后面自动添加 -
# 完整的索引名为 fcs-pord-admin-2023.01.11
setup.ilm.rollover_alias: "fcs-pord-admin"
setup.ilm.pattern: "{now/d}"

# ================================ Filebeat output ================================
output.elasticsearch:
hosts: ["http://192.168.30.163:9200","http://192.168.30.164:9200","http://192.168.30.165:9200"]
username: "elastic"
password: "***********"
setup.kibana:
  host: "http://192.168.30.163:5601"

这里有一个坑,如果你这个filebeat已经创建过索引模板了,则启动时会抛出一个索引模板相关的异常,
进入kibana删除相关索引模板即可,如下图