暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
分布式数据库集群间表数据的同步方法及系统_CN117971984A_南大通用.pdf
15
15页
0次
2024-06-11
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202410377004 .5
(22)申请日 2024 .03 .29
(71)申请人 天津南大通用数据技术股份有限公
地址 300384 天津市滨海新区华苑产业区
海泰发展六道6号海泰绿色产业基地J
(72)发明人 郭朋 
(74)专利代理机构 天津展誉专利代理有限公司
12221
专利代理师 刘红春
(51)Int.Cl .
G06F
16/27
(2019 .01)
G06F
11/30
(2006 .01)
G06F
16/21
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/242
(2019 .01)
(54)发明名称
分布式数据库集群间表数据的同步方法及
系统
(57)摘要
本发明涉及数据处理技术领域公开了一种
分布式数据库集群间表数据的同步方法及系统
用于提高分布式数据库集群间表数据的同步的
效率方法包括创建临时外部表基于所述同步
任务列表以及所述待同步表数据通过所述目标
同步命令对所述临时外部表进行表数据文件同
得到同步临时表对所述同步临时表以及所
述待同步表数据进行同步完整性校验得到校验
结果当所述校验结果为通过时将所述同步临
时表的数据插入预置的目标同步表中同时
集同步日志信息将所述同步日志信息传输至预
置的同步展示终端
权利要求书2页 说明书10页 附图2页
CN 117971984 A
2024.05.03
CN 117971984 A
1 .一种分布式数据库集群间表数据的同步方法其特征在于包括
通过连接配置文件对预置的源数据库以及预置的目标数据库进行连接信息配置
中,所述连接配置文件包括IP地址端口数据库名称用户名及用户密码
采集待同步表数据并根据所述待同步表数据生成同步任务列表
基于预置的SQL组件根据所述同步任务列表生成目标同步表同时对所述同步任务列
表进行同步命令生成得到目标同步命令
创建临时外部表基于所述同步任务列表以及所述待同步表数据并通过所述目标同
步命令对所述临时外部表进行表数据文件同步,得到同步临时表
对所述同步临时表以及所述待同步表数据进行同步完整性校验得到校验结果
当所述校验结果为通过时将所述同步临时表的数据插入预置的目标同步表中同时
采集同步日志信息并将所述同步日志信息传输至预置的同步展示终端
2 .根据权利要求1所述的分布式数据库集群间表数据的同步方法其特征在于所述基
于预置的SQL组件根据所述同步任务列表生成目标同步表同时对所述同步任务列表进行
同步命令生成得到目标同步命令步骤包括
对所述连接配置文件进行解析得到解析数据并根据所述解析数据对所述源数据库
以及所述目标数据库建立连接
通过所述SQL组件获取所述源数据库的建表语句得到第一建表语句集合
通过所述SQL组件获取所述目标数据库的建表语句得到第二建表语句集合
基于所述第一建表语句集合以及所述第二建表语句集合通过所述同步任务列表生成
目标同步表
对所述目标数据库进行文件存储路径提取得到文件存储路径并根据所述文件存储
路径对所述同步任务列表进行同步命令生成得到目标同步命令
3 .根据权利要求2所述的分布式数据库集群间表数据的同步方法其特征在于所述基
于所述第一建表语句集合以及所述第二建表语句集合通过所述同步任务列表生成目标同
步表步骤包括
对所述第一建表语句集合以及所述第二建表语句集合进行语句比对得到语句比对结
果;
当所述语句比对结果为所述目标数据库不存在同步表时通过所述同步任务列表生成
目标同步表
当所述语句比对结果为所述目标数据库存在非目标同步表时对所述非目标同步表进
行删除同时通过所述同步任务列表生成所述目标同步表
4 .根据权利要求1所述的分布式数据库集群间表数据的同步方法其特征在于所述创
建临时外部表基于所述同步任务列表以及所述待同步表数据并通过所述目标同步命令
对所述临时外部表进行表数据文件同步得到同步临时表步骤包括
创建临时外部表基于所述同步任务列表对所述待同步表数据进行数据存储位置提
取,得到数据存储位置;
执行所述目标同步命令基于所述数据存储位置将所述待同步表数据同步至所述临
时外部表得到所述同步临时表
5 .根据权利要求1所述的分布式数据库集群间表数据的同步方法其特征在于所述对
权 利 要 求 书
1/2
2
CN 117971984 A
2
所述同步临时表以及所述待同步表数据进行同步完整性校验得到校验结果步骤包括
对所述源数据库进行同步数据条数采集得到第一同步数据条数
对所述目标数据库进行同步数据条数采集得到第二同步数据条数
基于所述第一同步数据条数对所述同步临时表进行MD5值计算得到第一MD5值集合
基于所述第二同步数据条数对所述待同步表数据进行MD5值计算得到第二MD5值集
合;
基于所述第一MD5值集合以及所述第二MD5值集合对所述同步临时表以及所述待同步
表数据进行同步完整性校验得到校验结果
6 .根据权利要求1所述的分布式数据库集群间表数据的同步方法其特征在于所述当
所述校验结果为通过时将所述同步临时表的数据插入预置的目标同步表中同时采集同
步日志信息并将所述同步日志信息传输至预置的同步展示终端步骤包括
当所述校验结果为通过时将所述同步临时表的数据插入预置的目标同步表中
采集同步日志信息其中所述同步日志信息包括同步开始时间同步结束时间以及
同步状态数据
将所述同步日志信息传输至预置的同步展示终端
7 .根据权利要求6所述的分布式数据库集群间表数据的同步方法其特征在于所述将
所述同步日志信息传输至预置的同步展示终端步骤包括
对所述同步日志信息进行数据展示内容筛选得到目标展示内容
将所述目标展示内容传输至所述同步展示终端进行数据展示
8.一种分布式数据库集群间表数据的同步系统用以执行如权利要求17任一项所述
的分布式数据库集群间表数据的同步方法其特征在于包括
配置模块用于通过连接配置文件对预置的源数据库以及预置的目标数据库进行连接
信息配置其中所述连接配置文件包括IP地址端口数据库名称用户名及用户密码
采集模块用于采集待同步表数据并根据所述待同步表数据生成同步任务列表
生成模块用于基于预置的SQL组件根据所述同步任务列表生成目标同步表同时对
所述同步任务列表进行同步命令生成得到目标同步命令
同步模块用于创建临时外部表基于所述同步任务列表以及所述待同步表数据并通
过所述目标同步命令对所述临时外部表进行表数据文件同步得到同步临时表
校验模块用于对所述同步临时表以及所述待同步表数据进行同步完整性校验得到
校验结果
插入模块用于当所述校验结果为通过时将所述同步临时表的数据插入预置的目标
同步表中同时采集同步日志信息并将所述同步日志信息传输至预置的同步展示终端
权 利 要 求 书
2/2
3
CN 117971984 A
3
of 15
免费下载
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文档的来源(墨天轮),文档链接,文档作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。