1、RDMS
Share Everthing架构(1980年)
优缺点:
•技术成熟、架构简单、部署运维便捷•扩展的唯一方法是升级硬件•并行处理能力弱•小规模关系数据、100GB是瓶颈
场景:
•适用于OLTP、小规模关系数据OLAP
2、RAC
Share Disk架构(2001年)
优缺点:
•高可用(负载均衡、故障切换、集群自动检测)•集群一般不超过10台•性能受限于集群规模、网络带宽及磁盘IO•小规模关系数据、100GB是瓶颈
场景:
•适用于OLTP、小规模关系数据OLAP
图 Oracle RAC集群架构图
3、MPP
Share Nothing架构(2002年)
优缺点:
•相较于RAC、集群规模、并行处理能力、OLAP性能、数据规模均显著提升•集群的整体性能受限于故障节点•小集群:100~200,10TB是瓶颈•低并发:50~100
场景:
•适用于中等规模关系数据OLAP
图 MPP 架构
4、Hadoop到Hadoop+MPP
大规模分布式集群架构Hadoop Hive(2010年)
优缺点:
•高扩展:上万节点•高可用:数据冗余多副本、副本丢失自动恢复;管理节点高可用•海量存储:100TB~PB以上•低成本:构建在廉价的商用服务器上
场景:
•不适合低延迟数据访问、不适合大量小文件•适用于大规模数据离线分析、不适用于OLAP。
备注:
数据库技术的对比如下:
OLTP和OLAP
OLTP(On-line transaction processing):在线事务处理/联机事务处理。
OLAP(On-Line Analytical Processing): 在线分析处理/联机分析处理。
OLTP 系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作;
OLAP 系统则强调数据分析,强调SQL执行市场,强调磁盘I/O,强调分区等。
OLTP与OLAP之间的比较:
由上述对比可预见未来大数据存储与处理趋势:MPPDB+Hadoop混搭使用,用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL和事物支持能力;用Hadoop实现半结构化、非结构化数据处理。这样可以同时满足结构化、半结构化和非结构化数据的高效处理需求。
Hadoop
+MPP
Hadoop
+MPP
Hadoop
+MPP
MPP