浅谈安全数据需求

作为安全一线的人员对于安全数据的需求应该是非常清晰的，我们需要主机、终端和网络的安全数据，这些安全数据一般来自于HIDS、NIDS和EDR等安全设备，这类传统安全设备的安全数据通通都是由规则驱动，安全数据的格式并不统一，海量的安全规则对应海量的告警事件。

看看下图传统的IDS的事件日志，这些安全告警都是离散的事件日志。我们也许可以通过某个告警对应解决某个安全问题，但是最终却是淹没在无穷无尽的单点告警中。

于是安全人员开始有了安全数据聚合的需求，比如依靠ELK套件将安全设备的数据聚合起来，用以达成以下目的。

• 数据可以聚合、度量
  

• 数据可供搜索、关联
  

进一步要提炼这些数据需求，实际上和常规的网络监控数据需求是完全吻合的，现代的网络监控数据一般分为下图所示的三种类型。

1. Metrics是收敛聚合的指标

2. Tracing是带有请求范围的信息

3. logging是离散的事件

这三者都是日志数据，三者的内容相互交叉，但是各自所关注重点是不一样的，从安全需求的角度去解释三者是非常清晰的：

1. 日志是应用或者系统事件的一个记录，比如windows本身的各种event log，我们要根据不同类型的系统日志调查取证、分析排错。

2. 度量指标是基于时间序列的计量数据，比如我们有分析统计需求，一段时间某个系统有多少次身份认证失败了，就需要聚合日志进行分析。

3. 调用链关心的是应用的上下文关系和过程，比如SQL注入最终在数据库中产生的SQL查询语句到底是什么，是否可以通过某个告警点的日志进行回溯反推。

最终，在我看来，一个安全大数据平台的好坏，实际上是考验这三者的数据质量 ：）