本期要为大家介绍的大数据采集平台，并不是一个完整的平台，而是一个完整平台的一部分，虽然只是一部分，却也拥有着十分强大的功能，并且被用户所喜爱。它就是分布式的机器数据平台Splunk的重要部分Forwarder！
Splunk Forwarder是什么？
Splunk是业界领先的机器数据收集、处理、分析和管理平台，它主要有三个角色： 1）Search Head，负责数据的搜索和处理，提供搜索时的信息抽取。 2）Indexer，负责数据的存储和索引。 3）Forwarder，负责数据的收集，清洗，变形，并发送给Indexer。
Splunk的功能
Splunk是一个托管的日志文件管理工具，它的主要功能包括：
日志聚合功能 · 搜索功能 · 提取意义 · 对结果进行分组，联合，拆分和格式化 · 可视化功能 · 电子邮件提醒功能
Splunk的应用场景
Splunk可以处理各种类型的数据，适用场景广泛。
应用程序交付：快速定位并修复应用程序问题，减少宕机时间。提升 DevOps协作效率。
大数据：从一个位置搜索、探究、浏览、导航、分析、可视化PB级的数据。
业务分析：作为现有BI环境的补充，借助机器数据提供实时洞察力和分析。
云解决方案：更加自信的拥抱云。Splunk提供SaaS解决方案，托管于亚马逊Web服务之上。
物联网：为探究传感器、设备和工业系统提供洞察力。
IT 运维管理：对IT基础设施提供端到端的可见性，提升IT投资的转化率以更好的为企业服务。
日志管理：实时收集、搜索、监控、报告和分析所有日志数据。
安全与防欺诈：使用实时搜索、监控、告警、报告和可视化图表驱动基于分析的安全。
Splunk的特点
多平台支持
Splunk是一个可以在所有主流操作系统上运行的独立软件包 - 只需选择您的平台，然后下载并安装即可。您需要处理和运行的是用户使用的 Web 界面，以及用于索引计算机数据的引擎。
从任意源索引任意数据
Splunk可以从任何源实时索引任何类型的计算机数据。可以在 Splunk 中指向您的服务器或网络设备的系统日志、设置 WMI 轮询、监视实时日志文件，并能够监视您的文件系统或Windows注册表中的更改，或安排脚本获取系统指标。Splunk 可以索引您的所有机器数据，而无需购买、编写或维护任何特定的分析器或适配器。
从远程系统转发数据
Splunk forwarder 为成千上万的端点提供安全、分布式实时全局数据收集。它们可以监视本地应用程序日志文件、捕获有关时间表的状态命令输出、获取来自虚拟或非虚拟来源的性能指标，或监控配置、权限和属性变化的文件系统。
关联复杂事件
Splunk 支持五种关联类型。基于时间的关联，用于根据时间、接近性或距离来确定关系。基于交易的关联，用于跟踪构成单次交易的一系列相关事件，进而评估时间长度、状态或进行其它分析。子搜索，用于获取其中一个搜索的结果并在其它搜索中使用这些结果。查找，用于关联 Splunk 以外的外部数据来源。连接，用于支持类似 SQL 的内部和外部连接。
专为大型数据构建
使用 Splunk ，每天可收集和索引成千上万太字节的数据。其可扩展性体系结构基于 MapReduce，因此，随着日常数据量和数据来源不断增长，您只需添加更多商品服务器即可扩展效能。自动负载平衡可以优化工作负载和响应时间，并提供内置故障转移机制。
在整个数据中心扩展
Splunk 分布式体系结构可让您在一个数据中心跨多个部署进行搜索，或在您的所有数据中心进行全局搜索。借助基于角色的访问，您可以控制指定用户的搜索将要跨越的范围。区域用户可以查看区域系统的数据，而企业范围内用户则可以查看所有数据中心的数据。
提供角色型的安全性
从各个方面来说，Splunk 均可谓是一种强大的安全模型。各项 Splunk 交易均会得到验证，其中包括通过 Web 用户界面和命令行接口执行的用户活动，以及通过 Splunk API 执行的系统活动。使用一整套按用户类型来限制功能的记录控制点，您可以自己为 Splunk 用户定义角色。这些精细的访问控制可以限制搜索、警报、报告、仪表板以及不同 Splunk 角色可以查看的视图。
Splunk Forwarder的不足
金无足赤，人无完人，Splunk Forwarder也是一样。Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的Farwarder上。
