flume实时日志收集.docx
免费下载
一、
flume
实时日志收集
:tail -F
1.
简介：
1) source
Client
端操作消费数据的来源，
Flume
支持
Avro
，
log4j
，
syslog
和
http post(body
为
json
格 式
)
。 可 以 让 应 用 程 序 同 已 有 的
Source
直 接 打 交 道 ， 如
AvroSource
，
SyslogTcpSource
。也可以 写一个
Source
，以
IPC
或
RPC
的方式接入自己的
应用，
Avro
和
Thrift
都可以
(
分别有
NettyAvroRpcClient
和
ThriftRpcClient
实现了
RpcClient
接口
)
，其中
Avro
是默认的
RPC
协议。具体代码级别的
Client
端数据接入，可以参考官方
手册。
对现有程序改动最小的使用方式是使用是直接读取程序原来记录的日志文件，基本可以实
现无缝接入，不需要对现有程序进行任何改动。
对于直接读取文件
Source,
有两种方式：
ExecSource:
以运行
Linux
命令的方式，持续的输出最新的数据，如
tail -F
文件名 指令，
在这种方式下，取的文件名必须是指定的。
ExecSource
可以实现对日志的实时收集，
但是存在
Flume
不运行或者指令执行出错时，将无法收集到日志数据，无法保证日志
数据的完整性。
SpoolSource:
监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意
两点：拷贝到
spool
目录下的文件不可以再打开编辑；
spool
目录下不可包含相应的子
目录。
SpoolSource
虽然无法实现实时的收集数据，但是可以使用以分钟的方式分割文件，趋近于
实时。
如果应用无法实现以分钟切割日志文件的话， 可以两种收集方式结合使用。 在实际
使用的过程中，可以结合
log4j
使用，使用
log4j
的时候，将
log4j
的文件分割机制设为
1
分钟一次，将文件拷贝到
spool
的监控目录。
log4j
有一个
TimeRolling
的插件，可以把
log4j
分割文件到
spool
目录。基本实现了实
时的监控。
Flume
在传完文件之后，将会修改文件的后缀，变为
.COMPLETED
（后缀也可
以在配置文件中灵活指定）。
Flume Source
支持的类型：
Source
类型 说明
Avro Source
支持
Avro
协议（实际上是
Avro RPC
），内置支持
Thrift Source
支持
Thrift
协议，内置支持
Source
类型 说明
Exec Source
基于
Unix
的
command
在标准输出上生产数据
JMS Source
从
JMS
系统（消息、主题）中读取数据，
ActiveMQ
已经测试过
Spooling Directory Source
监控指定目录内数据变更
Twitter 1% firehose Source
通过
API
持续下载
Twitter
数据，试验性质
Netcat Source
监控某个端口，将流经端口的每一个文本行数据作为
Event
输入
Sequence Generator Source
序列生成器数据源，生产序列数据
Syslog Sources
读取
syslog
数据，产生
Event
，支持
UDP
和
TCP
两种协议
HTTP Source
基于
HTTP POST
或
GET
方式的数据源，支持
JSON
、
BLOB
表示形式
Legacy Sources
兼容老的
Flume OG
中
Source
（
0.9.x
版本）
1) Channel
当 前 有 几 个
channel
可 供 选 择 ， 分 别 是
Memory Channel, JDBC Channel , File
Channel
，
Psuedo Transaction Channel
。
比较常见的是前三种
channel
。
MemoryChannel
可以实现高速的吞吐，但是无法保证数据的完整性。
MemoryRecoverChannel
在官方文档的建议上已经建义使用
FileChannel
来替换。
FileChannel
保证数据的完整性与一致性。在具体配置
FileChannel
时，建议
FileChannel
设置的目录和程序日志文件保存的目录设成不同的磁盘，以便提高效率。
File Channel
是一个持久化的隧道（
channel
），它持久化所有的事件，并将其存储到磁
盘中。因此，即使
Java
虚拟机当掉，或者操作系统崩溃或重启，再或者事件没有在管道中
成功地传递到下一个代理（
agent
），这一切都不会造成数据丢失。
Memory Channel
是一个
不稳定的隧道，其原因是由于它在内存中存储所有事件。如果
java
进程死掉，任何存储在
内存的事件将会丢失。另外，内存的空间收到
RAM
大小的限制
,
而
File Channel
这方面是
它的优势，只要磁盘空间足够，它就可以将所有事件数据存储到磁盘上。
Flume Channel
支持的类型：
Channel
类型 说明
Memory Channel Event
数据存储在内存中
JDBC Channel
Event
数据存储在持久化存储中，当前
Flume Channel
内置支持
Derby
File Channel Event
数据存储在磁盘文件中
Spillable Memory Channel Event
数据存储在内存中和磁盘上，当内存队列满了，
会持久化到磁盘文件（当前试验性的，不建议生产环
of 5
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论