日志分析与实时监控：Elasticsearch 在 DevOps 中的核心作用

1. 高性能检索：支持 PB 级数据的近实时查询。

2. 分布式架构：易于扩展，适合高并发场景。

3. 丰富的生态系统：与Logstash、Kibana（ELK Stack）无缝集成，提供完整的日志解决方案。

一个典型的ELK架构包括以下组件：

1. Logstash：日志收集与预处理。

2. Elasticsearch：日志存储与检索。

3. Kibana：日志可视化与监控。

数据流示例：

应用日志 → Logstash（收集与过滤） → Elasticsearch（存储与索引） → Kibana（可视化与告警）

1. 日志收集与预处理（Logstash）

以下是一个Logstash配置文件示例，用于收集Nginx日志并解析为结构化数据：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}


output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "nginx-logs-%{+YYYY.MM.dd}"
  }
}
复制

2. 日志存储与索引（Elasticsearch）

Elasticsearch会自动创建索引并存储日志数据。可以通过以下API查看索引状态：

GET nginx-logs-*/_search
{
  "query": {
    "match_all": {}
  }
  }
复制

3. 日志可视化与监控（Kibana）

在Kibana中创建仪表板，实时监控日志数据：

• 创建索引模式（Index Pattern）：nginx-logs-*

• 可视化日志数据：

            创建柱状图，显示每分钟的请求量。

            创建饼图，显示HTTP状态码分布。

• 设置告警规则：

            当5分钟内错误日志（状态码≥500）超过10条时触发告警。

PUT _watcher/watch/nginx_error_alert
{
  "trigger": {
    "schedule": { "interval": "5m" }
  },
  "input": {
    "search": {
      "request": {
        "indices": ["nginx-logs-*"],
        "body": {
          "query": {
            "range": {
              "response": { "gte": 500 }
            }
          }
        }
      }
    }
  },
  "condition": {
    "compare": { "ctx.payload.hits.total": { "gt": 10 } }
  },
  "actions": {
    "send_email": {
    "email": {
        "to": "devops-team@example.com",
        "subject": "Nginx Error Alert",
        "body": "Found {{ctx.payload.hits.total}} error logs in the last 5 minutes."
      }
    }
  }
}
复制

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": { "actions": { "rollover": { "max_size": "50GB" } } },
      "delete": { "min_age": "30d", "actions": { "delete": {} } }
    }
  }
}
复制

PUT nginx-logs-*/_settings
{
  "index": {
    "number_of_replicas": 1,
    "number_of_shards": 3
  }
}
复制

感谢您关注新智锦绣科技（北京）有限公司！作为 Elastic 的 Elite 合作伙伴及 EnterpriseDB 在国内的唯一代理和服务合作伙伴，我们始终致力于技术创新和优质服务，帮助企业客户实现数据平台的高效构建与智能化管理。无论您是关注 Elastic 生态系统，还是需要 EnterpriseDB 的支持，我们都将为您提供专业的技术支持和量身定制的解决方案。

欢迎关注我们，获取更多技术资讯和数字化转型方案，共创美好未来！