-
案例背景
本案例来自大型环境监管和经济管理部门真实用户应用。经过多年的环境数据集中管理工作，其数据管理中心已实现集中统一管理的环境数据总量超300TB。但各专题业务领域数据库建设进展程度不一，建设标准不一，且互不联通，亟需开展环境专题数据库集成以及与环境综合数据库的整合，统一数据字典、统一服务接口、统一查询检索和统一协同展示，形成环境全业务领域综合数据库，实现各类各来源环境数据的综合管理、全程管控和高效协同应用，提升环境数据的综合服务效能。 -
案例简介
环境大数据平台实现环境各业务数据资源的高效汇聚、环境综合数据库的整合集成、以及基于综合数据库的分析共享，呈现“三横两纵”的整体架构，依托环境数据标准规范体系，分别在接入汇聚、资源整合和数据服务三个层面进行平台建设，打通环境各类数据资源的“汇聚-整合-服务”的整体流程，并建立数据全生命周期的综合监管与实时监控机制，确保整体系统的数据资源质量与健康运行。
环境大数据平台架构图
环境基础数据汇聚平台
数据汇聚层，负责环境各业务系统中结构化数据、非结构化数据与空间数据的接入与汇聚，并对汇聚流程状态进行统一监管。
环境大数据资源平台
数据存储整合层，采用镜像和同步的方式，负责存储已汇聚的所有数据，根据业务需求和数据应用场景，进行智能分析整合，建立结构化数据与非结构化数据的对应关系，打造环境全业务领域综合数据库。
数据综合监管平台
综合监管数据汇聚与数据整合业务，对系统内各类环境数据资源实现全生命周期的综合管理，做到数据汇聚可监控、数据来源可追溯、数据质量可评估，并为更上层的大数据分析展现平台提供数据支撑。
环境综合数据服务平台
数据服务层，为外部的数据使用者提供多样的数据访问形式，统一对数据访问服务进行全生命周期管理，保证数据服务的安全、可靠与高效。
- 案例实施效果
数据库生成数据记录836亿条；
部署计算节点80个；
单表数据记录将近700亿行；
处理数据总量360.2TB；
原始数据文件模板已处理原始数据文件45种；
加载标准数据文件155种；
ETL调度任务286个，每天实时处理记录数量11.2万行；
已基本建成环境综合数据标准数据集、综合数据集和要素数据集
- 案例价值
本案例的实施建设了标准统一、开放兼容的环境综合数据库，实现各类环境信息数据的动态汇集、处理、管理、分析与共享服务功能，打造环境信息资源“数据-信息-知识-价值”的高效整合分析利用的生态链，显著提升环境信息资源的处理管理、分析挖掘和共享开放服务水平。对提升环境科学管理服务水平和重大环境事务决策能力、拓展环境经济利益和利益攸关区安全的保障能力、增强环境预报和防灾减灾能力、提高环境信息技术创新水平具有战略意义。
