索引生命周期管理—kibana 索引配置

更多精彩，请点击上方蓝字关注我们！

1 背景

• 引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化

• 如通过spark streaming读取Kafka中的日志实时写入es，这些日志高峰期每天10亿+，每分钟接近100w，希望es能够对单分片超过50g或者30天前的索引进行归档，并能够自动删除90天前的索引

• 这个场景可以通过ILM进行策略配置来实现

2 介绍

• ES索引生命周期管理分为4个阶段：hot、warm、cold、delete

• 其中hot主要负责对索引进行rollover操作

• warm、cold、delete分别对rollover后的数据进一步处理（前提是配置了hot）

  
  

  
  

3 kibana 索引配置

• 配置索引生命周期

• 点击Manage ->Index Lifecycle Policies 可以配置策略管理索引生命周期

  
  

  
  

• 首先创建 Index Lifecycle Policies 也就官方文档中的四个阶段配置

  
  

  
  

  
  

  
  

  
  

  
  

• 配置好生命周期策略后，我们需要创建一个模板，将我们现在的输入 index 接管过来，然后将策略应用于这个模板，这就达到了，每次创建的 index 都能应用于这一策略

• 其实最方便的就是将你创建的索引都以 logstash-* 开头，默认就包含一个名为logstash 的模板

关注公众号：领取精彩视频课程&海量免费语音课程