暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据仓库

ellipse数据库技术 2019-09-09
249

*了解数据仓库相关技术

*了解数据仓库设计过程建造,运行及维护

*了解OLAP及多维数据模型


决策支持系统及其演化

一般将数据分为:分析型数据与操作型数据

操作型数据:由企业的基本业务系统产生的数据,用于联机处理环境(OLTP)

决策支持系统(DSS):综合利用大量数据有机组合众多模型(数据模型及数据处理模型)通过人机交互。辅助各级决策者实现科学决策的系统。


      建立数据仓库的目的:根据决策需求对企业的数据采取适当的手段进行集成。形成一个综合的。面向分析的数据环境,用于支持企业的信息型,决策型的分析应用。

      数据仓库的特性:面向主题性,集成性,不可更新和时间性

集成:数据仓库最重要的特性,分为数据抽取转换,清理(过滤)和装载

不可更新:数据仓库中的数据以批量方式处理,不进行一般主义上的数据更新。

随时间变化:不断捕捉数据。

数据仓库的体系结构与环境

从数据层次角度的体系结构来看,典型的数据仓库的数据体系结构包括:操作型数据、操作型

数据存储、数据仓库、数据集市和个体层数据

从功能结构看,可分为数据处理、数据管理和数据应用三个层次

数据仓库的数据组织< 粒度、数据分割(分区)、元数据>

     数据仓库的数据单位中保存数据的细化程度或综合程度的级别。细化程度越高,粒度越小

粒度影响到数据仓库的数据量及系统能回答的查询的类型

     进行数据仓库的数据组织时,应根据当前应用的需求进行多粒度级设计。满足多角度,多层次数据查询要求。

       数据分散到各自的物理单元中去,他们能独立地处理

最常见的是按照时间标准分区。

        数据分区的方式可以分成系统层分区(数据库系统提供的机制)和应用层分区(由应用代码实现)两种

如何分区由开发者和程序员控制

元数据:对数据描述的数据

ODS分为4类

ODSⅠ:数据更新频率秒级。

ODSⅡ:数据更新频率小时级。

ODSⅢ:数据更新频率天级。

ODSⅣ:根据数据来源方向和类型区分。

SDLC是典型的需求驱动开发生命周期,CLDS是典型的数据驱动开发生命周期

传统的系统开发生命周期支持操作型环境,为建立系统,必须首先理解需求,然后进入到设计开发阶段。

CLDS由数据开始,一旦数据到手,就集成数据,然后,如果数据有偏差,就检验看看数据存

在什么偏差,在针对数据写程序,分析程序执行结果,最后,系统需求才得到理解。

数据仓库维护的基本思路:

       根据某种维护策略,在一定条件下触发维护操作;维护操作捕捉到数据源中的数据变化;

通过一定策略对数据仓库中的数据进行相应的更新操作,以保持两者的一致性。

捕捉数据源的变化

       当数据源发生变化时,告知数据仓库源数据发生变化的机制,就是源数据变化的监听及

捕获问题。典型的方法有:

触发器

修改数据源应用程序

通过日志文件

快照比较法

OLAP——主要用于支持复杂的分析操作,侧重对决策人员和高层管理人员的《决策支持》

OLAP工具一般具有快速、可分析和多维的特点

文章转载自ellipse数据库技术,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论