37.索引生命周期管理—kibana 索引配置
2022-06-16 本文已影响0人
大勇任卷舒
37.1 背景
- 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化
- 如通过spark streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每分钟接近100w,希望es能够对单分片超过50g或者30天前的索引进行归档,并能够自动删除90天前的索引
- 这个场景可以通过ILM进行策略配置来实现
37.2 介绍
- ES索引生命周期管理分为4个阶段:hot、warm、cold、delete
- 其中hot主要负责对索引进行rollover操作
-
warm、cold、delete分别对rollover后的数据进一步处理(前提是配置了hot)
37.3 kibana 索引配置
- 配置索引生命周期
-
点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期
-
-
首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置
- 配置好生命周期策略后,我们需要创建一个模板,将我们现在的输入 index 接管过来,然后将策略应用于这个模板,这就达到了,每次创建的 index 都能应用于这一策略
- 其实最方便的就是将你创建的索引都以 logstash-* 开头,默认就包含一个名为logstash 的模板
大数据视频推荐:
腾讯课堂
CSDN
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通