暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据库技术架构的演进

1、RDMS

Share Everthing架构(1980年)

优缺点:

技术成熟、架构简单、部署运维便捷扩展的唯一方法是升级硬件并行处理能力弱小规模关系数据、100GB是瓶颈

场景:

适用于OLTP、小规模关系数据OLAP

2、RAC

Share Disk架构(2001年)

优缺点:

高可用(负载均衡、故障切换、集群自动检测)集群一般不超过10性能受限于集群规模、网络带宽及磁盘IO小规模关系数据、100GB是瓶颈

场景:

适用于OLTP、小规模关系数据OLAP

                                       图 Oracle RAC集群架构图


3、MPP

Share Nothing架构(2002年)

优缺点:

相较于RAC、集群规模、并行处理能力、OLAP性能、数据规模均显著提升集群的整体性能受限于故障节点小集群:100~200,10TB是瓶颈并发50~100

场景:

适用于中等规模关系数据OLAP

图 MPP 架构

4、Hadoop到Hadoop+MPP

大规模分布式集群架构Hadoop Hive2010年)

优缺点:

高扩展:上万节点高可用:数据冗余多副本、副本丢失自动恢复;管理节点高可用海量存储:100TB~PB以上低成本:构建在廉价的商用服务器上

场景:

不适合低延迟数据访问、不适合大量小文件适用于大规模数据离线分析、不适用于OLAP。


备注:

数据库技术的对比如下:

OLTP和OLAP

OLTP(On-line transaction processing):在线事务处理/联机事务处理。

OLAP(On-Line Analytical Processing): 在线分析处理/联机分析处理。

OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作;

OLAP 系统则强调数据分析,强调SQL执行市场,强调磁盘I/O,强调分区等。

OLTP与OLAP之间的比较:

由上述对比可预见未来大数据存储与处理趋势:MPPDB+Hadoop混搭使用,用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL和事物支持能力;用Hadoop实现半结构化、非结构化数据处理。这样可以同时满足结构化、半结构化和非结构化数据的高效处理需求。


Hadoop

+MPP


Hadoop

+MPP


Hadoop

+MPP







MPP


文章转载自智能制造信息化售前百科,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论