暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【GBASE案例】GBase 8a成功替换国外软硬一体机产品

GBASE 2020-05-29
1841

GBASE南大通用自主研发的分析型数据库GBase 8a MPP集群在某国有大型保险公司数据仓库上完成对国外软硬一体机产品前期阶段的替换,解决原有环境下性能压力大、架构复杂、扩展难度大、扩容费用高等难题。替换过程中GBase 8a在功能、性能、稳定性、可用性上均优于国外软硬一体产品,并证明迁移成功率达到100%,迁移工作量可控,说明GBase 8a MPP可替换国外软硬一体机产品各种应用场景。


项目背景:
某国有大型保险公司数据仓库原本采用国外软硬一体机产品,在原环境下:性能压力大,软硬一体产品数仓业务多、负载高、日报有时只能T+2更新、月报经常只能在15日发布;架构复杂,数据流向复杂,上下游异构数据库间数据同步依赖复杂调度程序;成本高,采用国外软硬一体机以及封闭架构,软硬件紧耦合,使用和运维成本高;扩容难度大,数仓存储容量和处理性能已经达到瓶颈,无法纵向扩容,扩容需要中断业务,不能利旧。
 
建设情况
 

试点先行:ACRM业务作为试点,首先进行迁移测试工作,首个试点迁移项目3个月内完成迁移上线;
仓库迁移:整体仓库业务迁移根据业务优先程度分阶段进行,目前数仓一阶段迁移工作基本完成;
Dblink、集群间同步工具建设双活集群:基于GBase 8a MPP集群dblink和数据同步工具搭建数仓和集市的双活备份系统;
搭建大数据湖平台,构建基于GBASE新架构系统:搭建基于GBASE架构大数据湖平台,接入上游业务系统数据;
逐渐剥离主仓业务:从集市入手逐渐降低原国外软硬一体机主仓业务负载,剥离核心业务,从并行运行到逐步迁移替代;
实施规模:目前已完成8套生产集群共100多个节点安装部署。
 
迁移工作
对于整个迁移过程,南大通用有可以实现异构数据库迁移的工具GBaseMigrationToolKit,可以实现在联机状态下对源端表对象,以及数据到GBase的全量迁移,人员准备充分,同时拥有整体完善的迁移方案,涵盖了迁移过程和风险应对方案,使迁移工作达到:工具自动化、过程标准化、工作简单化、风险最小化等标准。
 
在本项目,南大通用通过搭建两套A、B集群承载主要业务,SGA、ODS、F、DW、DM各层整体数据量200+TB,完成1000+个程序迁移工作。
 
系统架构
 
实现效果


使用GBase 8a MPP替换原有国外软硬一体机环境后,增量执行时间由原平台下的18小时提高到7小时,日增量基础数据可在每日 7:00 前完成,提升2.5倍;月度报表执行之前由原平台下的48小时提高到4.5小时,可在每月 3 日前完成数据发布,提升10倍;全量执行时间由7天提高到16小时,提升10倍,整体性能提升 2~10 倍。
 
GBase 8a MPP目前已在国内外几百个用户处上线使用,是国内部署节点最多的OLAP数据库。特别多次在金融、电信等有海量数据处理需求的行业顺利安装部署,有力证明了其在架构先进性、集群规模、高可用、可扩展性、安全性等方面的强大优势。

最后修改时间:2020-05-29 12:19:43
文章转载自GBASE,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论