一种基于Quart的分布式异步数据同步方法_CN118051564A_南大通用.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202410452922 .X
(22)申请日 2024 .04 .16
(71)申请人 天津南大通用数据技术股份有限公
司
地址 300384 天津市滨海新区华苑产业区
海泰发展六道6号海泰绿色产业基地
J-518
(72)发明人 刘文刚
(74)专利代理机构 天津企兴智财知识产权代理
有限公司 12226
专利代理师 石倩倩
(51)Int.Cl.
G06F
16/27
(2019 .01)
G06F
9/48
(2006 .01)
G06F
16/2455
(2019 .01)
G06F
16/25
(2019 .01)
(54)发明名称
一种基于Quart的分布式异步数据同步方法
(57)摘要
本发明提供了一种基于Quart的分布式异步
数据同步方法，方法由同步系统实现，同步系统
包括Quartz调度中心、业务源数据库、同步目标
数据库、WEB可视图界面和同步数据执行器，方法
包括数据配置同步方法和异常数据修正方法。本
发明有益效果：可以在对主业务流程不影响的提
前下，对大量历史业务数据在较短的时间内，进
行异步同步完成，同时对当前业务产生的数据，
也能持续的在极短的时间内同步完成，保证数据
同步的可靠性和一致性。
权利要求书2页 说明书10页 附图4页
CN 118051564 A
2024.05.17
CN 118051564 A
1 .一种基于Quart的分布式异步数据同步方法，其特征在于：所述方法由同步系统实
现，所述同步系统包括Quartz调度中心、业务源数据库、同步目标数据库、WEB可视图界面和
同步数据执行器，所述WEB可视图界面通过Quartz调度中心与同步数据执行器通信连接，所
述同步数据执行器还分别与业务源数据库、同步目标数据库通信连接；
所述方法包括数据配置同步方法和异常数据修正方法，所述异常数据修正方法用于监
控数据配置同步方法，当出现异常数据时对异常数据进行修正，所述数据配置同步方法包
括以下步骤：
A1、配置业务源数据库、同步目标数据库信息资源；
A2、Quartz调度中心配置同步信息；
A3、对数据同步执行任务加锁，保证同步只能执行一个数据同步执行任务；
A4、Quartz调度中心执行Corn调度，根据Corn配置，查询业务源数据库信息；
A5、查询业务源表数据量；
A6、判断数据量是否超过预设值，大于预设值则进入步骤A7，小于或等于预设值则直接
进入步骤A8；
A7、将数据量拆分多线程，执行查询后进入步骤A8；
A8、将步骤A6或者步骤A7查询到的数据批量保存至目标数据库；
A9、同步结束，并将步骤A1‑步骤A8的同步记录持久化存储。
2 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：所
述WEB可视图界面用于提供给用户一个可视化界面，用于配置和监控数据同步任务；
所述Quartz调度中心是基于Quartz框架实现的调度中心，负责调度和执行数据同步任
务；
所述业务源数据库用于存储需要同步的原始数据；
所述同步目标数据库用于同步任务，将从业务源数据库获取到的数据同步到目标数据
库中；
所述同步数据执行器负责实际执行数据同步任务。
3 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤A2中，Quartz调度中心配置同步信息任务，其配置包括：
通过WEB可视图界面允许用户根据业务需求定义数据同步的触发条件和时间，通过配
置Quartz的Cron表达式或简单触发器实现，Cron表达式是一个字符串，该字符串由6个空格
分为7个域，每一个域代表一个时间含义；
注册Scheduler，通过Trigger和JobDetail调度、新增、暂停和删除任务操作；
配置Trigger触发器，用于描述触发Job执行的时间触发规则；
配置JobDetail，用于表示任务详情，包括任务的唯一标识和具体要执行的任务。
4 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤A3中，数据同步执行任务包括：
定义同步数据开始时间为S，结束时间为E，获取数据步长时间T，Quartz执行次数为N；
将数据拆分成小批次的方式进行同步，查询以[S ,S+T] ,[S+T ,S+T+T]等差数列的方式
为条件，即[S+(N‑1)*T，S+N*T]，间隔获取[S+(N‑1)*T，S+N*T]条件内的业务源数据库数据
内容，将获取到的数据批量保存到目标数据库。
权 利 要 求 书
1/2 页
2
CN 118051564 A
2
5 .根据权利要求1所述的一种基于Quart的分布式异步数据同步方法，其特征在于：异
常数据修正方法，包括：
B1、在WEB可视图界面中，配置异常数据同步任务，选择同步业务源数据库、目标数据库
信息；
B2、Quartz调度中心选择需要验证异常数据库表，填写Quartz Corn表达式，数据验证
同步开始时间，验证结束时间，数据验证查询区间，设置同步最小误差时间；
B3、新增业务源数据异常同步信息，验证Quartz调度运行状态；
B4、同步数据执行器根据步骤B1配置的数据库信息，验证数据库状态，根据步骤B2信
息，开始数据异常同步作业；对作业执行加锁，保证同一执行器只能执行一个，防止本次同
步没有结束，下次执行进入；
B5、根据步骤B2数据验证查询区间，查询源数据库与目标数据库区间数据，验证源数据
库与目标数据库数据量，当二者数据不一致时，按照异常数据处理方式开始异常数据采集，
当二者数据一致时，直接进入步骤B6；
B6、当本次执行结束后，对步骤B4加的锁进行释放，保证下次执行可以进入。
6 .根据权利要求5所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤B5中，异常数据处理方式，包括：
B51a、以对折查询区间为查询条件，再次查询验证；
B52a、验证查询区间的最小验证区间，当大于最小验证区间时，则返回B51a对折查询区
间再次查询，直到小于最小验证区间时，查询最小验证区间内异常数据，并同步数据。
7 .根据权利要求6所述的一种基于Quart的分布式异步数据同步方法，其特征在于：在
步骤B5中，异常数据处理方式还包括人工验证同步数据方式，人工验证同步数据方式包括：
B51b、WEB可视图界面选择已经持久化存储的同步记录；
B52b、用户填写比对数据范围、业务源数据表与目标数据表信息；
B53b、对数据范围加锁，保证验证区间范围不能重复；
B54b、开始业务源数据表与目标数据表之间的数据量比对；
B55b、验证数据是否一致，当数据不一致时，验证查询数据范围是否大于步骤B52a中配
置的最小验证区间 ,当大于配置的最小验证区间时，按照步骤B52a继续对折查询区间，再次
查询验证，直到小于配置的最小验证区间，按照最小验证区间范围查询数据开启业务源数
据到目标源数据的同步；
B56b、数据同步之后，解锁查询范围，返回数据同步结果。
权 利 要 求 书
2/2 页
3
CN 118051564 A
3
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
下载排行榜
1
2
白鳝-DBAIOPS：国产化替换浪潮进行时，信创数据库该如何选型？.pdf
3
centos7下oracle11.2.0.4 rac安装详细图文（虚拟机模拟多路径）.docx
4
李飞-AI 引领的企业级智能分析架构演进与行业实践.pdf
5
PostgreSQL 缓存命中率低？可以这么做.doc
6
达梦数据2024年年度报告.pdf
7
刘杰-江苏广电：从Oracle+Hadoop到TiDB，数据中台、实时数仓运维0负担.pdf
8
AI 开发工具的过去现在和将来-施乔.pdf
9
从指令到 Agent：基于大语言模型构建智能编程助手.pdf
10
贾玮-蚂蚁集团向量检索技术的挑战与实践.pdf
相关文档
评论