ELK从零开始搭建.pdf - 墨天轮文档

ELK从零开始搭建.pdf

进击的CJR

35页

0次

2024-07-17

5墨值下载

企业级⽇志中⼼

⼀、组件介绍

1、Elasticsearch

是⼀个基于Lucene的搜索服务器。提供搜集、分析、存储数据

三⼤功能。它提供了⼀个分布式多⽤户能⼒的全⽂搜索引擎，基于

RESTful web接⼝。Elasticsearch是⽤Java开发的，并作为Apache许可

条款下的开放源码发布，是当前流⾏的企业级搜索引擎。设计⽤于云计

算中，能够达到实时搜索，稳定，可靠，快速，安装使⽤⽅便。

2、Logstash

主要是⽤来⽇志的搜集、分析、过滤⽇志的⼯具。⽤于管理⽇志

和事件的⼯具，你可以⽤它去收集⽇志、转换⽇志、解析⽇志并将他们

作为数据提供给其它模块调⽤，例如搜索、存储等。

3、Kibana

是⼀个优秀的前端⽇志展示框架，它可以⾮常详细的将⽇志转化

为各种图表，为⽤户提供强⼤的数据可视化⽀持,它能够搜索、展示存

储在 Elasticsearch 中索引数据。使⽤它可以很⽅便的⽤图表、表格、

地图展示和分析数据。

4、Kafka

主机名 IP地址系统版本安装软件配置要求

master 192.168.1.190 centos7.6 Elasticsearch/zookeeper/kafka/Logstash/kibana Mem>=4G

node1 192.168.1.191 centos7.6 Elasticsearch/zookeeper/kafka Mem>=4G

node2 192.168.1.192 centos7.6 Elasticsearch/zookeeper/kafka Mem>=4G

node3 192.168.1.193 centos7.6 Filebeat Mem>=2G

数据缓冲队列。作为消息队列解耦了处理过程，同时提⾼了可扩展

性。具有峰值处理能⼒，使⽤消息队列能够使关键组件顶住突发的访问

压⼒，⽽不会因为突发的超负荷的请求⽽完全崩溃。

1.发布和订阅记录流，类似于消息队列或企业消息传递系统。

2.以容错持久的⽅式存储记录流。

3.处理记录发⽣的流。

5、Filebeat

⾪属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder

的源码改造出来。换句话说：Filebeat就是新版的 Logstash-

fowarder，也会是 ELK Stack 在 Agent 的第⼀选择,⽬前Beats包含四

种⼯具：

1.Packetbeat（搜集⽹络流量数据）

2.Metricbeat（搜集系统、进程和⽂件系统级别的 CPU 和内存

使⽤情况等数据。通过从操作系统和服务收集指标，帮助您监

控服务器及其托管的服务。）

3.Filebeat（搜集⽂件数据）

4.Winlogbeat（搜集 Windows 事件⽇志数据）

⼆、环境介绍

三、版本说明

of 35

5墨值下载

jenk

关注

评论