【ES三周年】| 基于国产化操作系统搭建ELK日志分析平台

引入

鲲鹏认证-Kylin麒麟操作系统-ELK日志分析平台

开篇

何为ELK Stack？它又能够给我们带来什么？

综述

ELK为三个开源项目的首字母缩写，分别对应是：Elasticsearch、Logstash、Kibana，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

实战

go…

硬件

操作系统

配置编译环境

首先，将jdk安装包传输到ARM服务器/usr/local/java 目录下

在文件末尾加入

使用命令更新配置的文件

source /etc/profile
复制

测试安装配置成功

安装elasticsearch

获取安装文件到 /usr/local/

创建用户及用户组

验证elasticsearch是否配置正确

在浏览器访问：http://ip:9200/

或在终端输入命令：

curl ip:9200
复制

监控elasticsearch集群状态：http://ip:9200/_cluster/health?pretty=true

若status为green，表示在正常运行，若status为yellow，表示副本分片丢失，若status为red，表示主分片丢失。

常见问题FAQ

安装logstash

获取安装文件

cd ../
复制

rm -rf jruby-complete-9.2.11.1
复制

运行测试

新建配置文件，读取指定日志文件，发送到elasticsearch

vim /etc/logs/system-log.conf
复制

input {
复制

    file {
复制

        path => "/var/log/messages"           
复制

        type => "systemlog"
复制

        start_position => "beginning"  
复制

        stat_interval => "2"   
复制

    }
复制

}
复制

output {
复制

    elasticsearch {
复制

        hosts => ["ip:9200"]            
复制

        index => "logstash-%{type}-%{+YYYY.MM.dd}"
复制

    }
复制

}
复制

指定文件启动logstash

./logstash-7.8.0/bin/logstash -f /etc/logs/system-log.conf
复制

安装kibana

获取安装文件

cd /usr/local
复制

tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz    #解压
复制

server.host: "ip"    #监听地址
复制

server.port: 5601    #监听端口
复制

elasticsearch.hosts: ["http://ip:9200"]    #elasticsearch服务器地址 i18n.locale: "zh-CN"    #修改为中文
复制

日志收集

通过logstash收集系统message日志

在 /usr/local/logstash-7.8.0/config 下创建随意名称的 logstash 配置文件 example.conf

需要注意的问题是：通过logstash收集别的日志文件，前提需要logstash用户对被收集的日志文件有读的权限并对要写入的文件有写的权限…

日志检索

通过kibana控制台检索收集到的日志信息