目录
产品简介
南大通用统一数据平台系统,简称:GBase UP,它是融合了GBase 8a MPP、GBase 8s、开源Hadoop生态系统的大数据平台产品,兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库,以及Hadoop生态系统的多种大规模结构化与非结构化数据处理技术,能够适应OLAP、OLTP和NOSQL三种计算模型的业务场景,是构建企业数据平台的重要基础设施。
GBase UP以成熟的GBase 8a MPP商用数据库为基础,扩展出针对Hive & Spark、HBase、GBase 8s的计算和存储引擎,建立引擎之间高效数据交换通道,构建了对外统一,对内可扩展的集群数据库产品。
产品架构
GBase UP是以GBase 8a MPP最新超大规模集群版本为基础,融合GBase 8s和Hadoop Hive/Spark,实际部署时可以理解为5个小集群/集合,其中:
- GBaseUP负责连接接入,元数据管理,跨集群查询调度,安全认证,日志记录等一系列分布式数据库的功能;
- GBase 8a集群(集合)负责高质量高密度高性能的数据存储和计算;Gbase 8s负责支撑高端事务处理;
- Hive集群负责驱动Hadoop或Spark集群实现对低密度、低质量、结构化/非结构化的大数据进行分析;
- Hadoop集群的HDFS负责高效高可用的存储海量数据,HBase负责存储海量中小文件,以及作为分布式可扩展的KV型数据仓库。
技术特性
GBase UP继承了GBase 8a MPP的Shared Nothing节点对等的扁平架构,能够运行在普通的X86服务器上,同时还具备以下技术特征:
1、统一的标准化接入:支持C API、ODBC、JDBC、ADO.NET等接口规范。
2、统一的标准化查询语言:支持SQL92标准,并在此基础上支持HiveHQL、GBase 8s的SQL扩展,DDL部分支持方言,DML尽可能采用标准SQL。
3、统一的数据视图:通过统一的元数据管理,将OLTP、OLAP、Hadoop数据库可以看作一个视图,供数据建模工程师构建统一的信息的生产流程。
4、统一安全:基于GBase 8a MPP的安全体系,扩展对其他引擎的安全认证,避免了多种认证模式,弥补如HIVE等对安全实现不足的短板。
5、统一事务:支持跨异构集群的事务管理。
6、统一调度:透明实现跨引擎关联查询。
7、统一日志:增加保存日志到hadoop的机制,供诸多分析工具访问。
8、统一监控:监视UP平台的各个服务器的软硬件指标。
9、高效数据交换:内置引擎之间建立高速多对多的内部通道。
10、高可扩展性,GBase 8a MPP、GBase 8s、Hive是GBase UP的内置引擎,还可以通过开发对应的扩展插件实现各层的扩展。
11、数据生命周期管理:根据数据在不同时期的存储和计算特征,实现跨异构引擎的数据分区功能,实现数据透明的跨分区访问和在线迁移。
12、增强的管理能力:数据通过副本提供冗余保护,自动故障探测和管理,自动同步元数据和业务数据。提供图形化工具,对GBase 8s、GBase 8a MPP和Hadoop生态提供统一的管理工作。
相关资料
- GBase 官网:http://www.gbase.cn/index.html
- 《GBase UP 技术白皮书》