通过爬虫实现对大数据信息的监控分析

  

现场工作中，需要提供一个能力服务到能力中台，服务要具备对大数据信息的采集分析能力，且不能依赖与我们的产品服务做开发。失去了原本对资源运维监控的方式，我们通过爬虫的方式，对配置的大数据控制台抓取我们要的信息，经过业务处理后，展示可视化界面信息。

在我们的服务中，我们提供可视化界面对我们的mysql数据库的相关表进行增删改查。

我们通过引入webmagic(webmagic是一个开源的java垂直爬虫框架)简化爬虫的开发流程，根据基础配置里存放的链接地址抓取大数据控制台的页面信息，在通过业务逻辑代码解析，分析出我们需要展示的监控数据。

1. 核心业务流程代码

2. 爬虫方法调用

3. 相关信息页面 （敏感信息已屏蔽）