PolarDB PostgreSQL版(以下简称 PolarDB-PG)是一款阿里云自主研发的企业级数据库产品,采用计算存储分离架构,兼容 PostgreSQL 与 Oracle。PolarDB-PG 的存储与计算能力均可横向扩展,具有高可靠、高可用、弹性扩展等企业级数据库特性。同时,PolarDB-PG 具有大规模并行计算能力,可以应对 OLTP 与 OLAP 混合负载;还具有时空、向量、搜索、图谱等多模创新特性,可以满足企业对数据处理日新月异的新需求。
三、遇到的问题【 业务数据量不断增加】
数据仓库的初衷需求,一个原因主要是数据空间不够用,一个原因是资源竞争,交易应用和分析应用都在一个容器,当任务分派对数据进行使用,两者就会发生竞争关系,导致互相影响,严重会发生交易失败或者分区进程无法获取足够的资源。
所以数据仓库 面对的问题是 业务中的数据需要一个独立的分析环境满足不断膨胀的业务需求。为了满足客户的需求和时代的节奏,数据仓库也演进迭代了多个版本,现在的数据仓库在数据采集、数据传输、数据转换、数据同步、数据存储有了自己的个性化的打造和成熟的技术实现方式。一直秉承传统没有变化的是,数据反复ETL,不停的进行ETL。随着数据进一步的增长,ETL方案的基础上产生了ELT。再随着数据再进一步的增长,产生了数据复制技术。下面我们图示三种技术的区别。
总结三种技术的共性,打通数据孤岛之间的壁垒,底层技术都是数据传输搬送,ETL是先把数据处理后再传输,而ELT是先传输后再处理,即使是数据复制,它能识别数据源的增量变化数据的,也要把数据放到管道 ,根据设定的程序,源源不断同步到目标端,确认数据持久化后才能进一步的处理。三种数据集成模式,各有各的特点和优势。在不同的业务场景,三种模式可以交替使用,互相弥补不足。
大数据时代,数据增长速度远超人们想像,我们说4V ,规模性、多样性、高速性、价值性。 传统的数据集成方式 数据传输和搬送毕竟存在损耗,而且处理流程启动笨重耗时。为了解决数据孤岛问题,把所有的孤岛都装入一个大岛里面,随着业务应用的增多,大岛又变成另外一个数据孤岛。
有没有一种系统架构简洁、访问入口统一、系统集成度更好的解决方案呢?中小企业更偏好什么样的数据库。