暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

PGconf.Aisa 2021 主题分享:Greenplum 数据的迁移与同步

Greenplum中文社区 2022-01-14
469


2021年12月14日-17日,PostgresConf.CN & PGconf.Aisa 2021大会通过云端盛大召开。在大会上,来自Greenplum中文社区的技术专家阿福分享了《Greenplum数据迁移与同步》主题演讲。

本次《Greenplum数据迁移与同步》的主要演讲内容包含了四个部分,阿福从工程的角度出发,阐述了在真实情况下将其他类型数据库迁移到Greenplum的过程,并在中间穿插了一些技术逻辑和建议。 


  • Greenplum基础架构梳理

  • 数据迁移与同步逻辑

  • 如何从Oracle快速迁移数据

  • 如何有效校验数据一致性


首先,阿福带大家一起回顾了Greenplum的基础架构。Greenplum是基于PostgreSQL的开源分布式数据库,底层由一组组PostgreSQL实例作为基础元素。当前的Greenplum数据库集群,对外提供唯一访问入口Master,相对于应用而言,Greenplum是一个统一的、功能完备的、标准SQL支持的、具有ACID特性的数据库;在集群内部,Greenplum为了追求更好的分布式特性,做了大量优化,包括分布式死锁检测、网络层优化等,并提供一副本机制来保障数据库高可用。限于本次分享主题为数据迁移与同步,阿福在第一部分演讲内容的最后带大家了解了Greenplum当前支持的数据入库方式,并向大家简单介绍了性能最好的gpfdist入库逻辑。

 

在熟悉了Greenplum整体架构后,阿福对生产数据迁移的过程进行了逻辑性阐述,整个过程分为8大部分,包括:


  1. 应用和数据库可迁移性评估;

  2. 规划迁移到Greenplum的过程;

  3. 模式转换:数据类型映射,表结构迁移;

  4. 函数/存储过程的迁移;

  5. 应用程序SQL语句适配;

  6. 迁移数据到Greenplum;

  7. 应用测试;

  8. 生产切换。

 

在分享的最后部分,分别进行了案例讲解及一致性校验逻辑的分享。案例讲解部分,介绍了通过copy方式进行数据迁移的小工具sqldata和通过sqluldr2+gpfdist从Oracle完成大容量数据迁移时的注意事项及执行步骤;一致性校验部分,介绍了数据校验的集中常用方法,其中一致性最高的校验方法当属MD5校验。


点击链接👇,观看完整演讲


点击文末“阅读原文”,获取Greenplum中文资源。



来一波 “在看”、“分享”和 “赞” 吧!


文章转载自Greenplum中文社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论