CN202210945141.5-数据同步过程中增量数据的解析方法及存储介质.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210945141.5
(22)申请日 2022.08 .08
(71)申请人 北京人大金仓信息技术股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 冷建全 王凯龙
(74)专利代理机构 北京智汇东方知识产权代理
事务所(普通合伙) 11391
专利代理师 刘长江
(51)Int.Cl.
G06F
16/27
(2019 .01)
(54)发明名称
数据同步过程中增量数据的解析方法及存
储介质
(57)摘要
本发明提供了一种数据同步过程中增量数
据的解析方法及存储介质，数据同步过程中增量
数据的解析方法，包括获取数据库日志；将数据
库日志划分为设定数量的数据块，在预设的全局
登记区中按顺序定义数据块的块号并将数据块
定义为未读取状态；利用多个读取线程读取数据
块，每个读取线程将读取完成的数据块放入各自
的队列中。多个读取线程同时读取数据，减少了
解析线程空等情况的发生，提高了解析效率。全
局登记区对每个数据块的块号和状态进行管理，
使得多个读取线程能够在全局登记区的协调下
有序地进行数据读取，保证了数据读取有序进
行。
权利要求书2页 说明书9页 附图6页
CN 115328999 A
2022.11.11
CN 115328999 A
1 .一种数据同步过程中增量数据的解析方法，包括：
获取数据库日志；
将所述数据库日志划分为设定数量的数据块，在预设的全局登记区中按顺序定义所述
数据块的块号并将所述数据块定义为未读取状态；
利用多个读取线程按照所述块号分别读取所述数据块，每个所述读取线程将读取完成
的数据块放入各自的队列中。
2.根据权利要求1所述的数据同步过程中增量数据的解析方法，其中，
每个所述读取线程按照所述块号分别读取所述数据块的步骤包括：
在所述全局登记区查询顺序最靠前且为未读取状态的块号；
根据块号找到对应的数据块开始读取；
将读取完成的所述数据块放入自己对应的队列中。
3 .根据权利要求2所述的数据同步过程中增量数据的解析方法，其中，
根据块号找到对应的数据块开始读取的步骤之前包括；
在所述全局登记区将查询到的所述块号进行加锁，以防止其他读取线程对所述块号进
行查询。
4 .根据权利要求2所述的数据同步过程中增量数据的解析方法，其中，
将读取完成的数据块放入自己对应的队列中的步骤之后包括：
判断所述队列是否已满，若是，停止所述读取线程的读取工作，并进入等待阶段，若否，
返回执行在所述全局登记区查询顺序最靠前且为未读取状态的块号的步骤。
5 .根据权利要求4所述的数据同步过程中增量数据的解析方法，其中，
停止所述读取线程的读取工作，并进入等待阶段的步骤之后包括：
判断所述读取线程的等待时间是否超出阈值，若是，终止所述读取线程的读取工作，待
所述读取线程对应的队列存有的全部数据被解析完成后，将所述读取线程退出，若否，返回
执行判断队列是否已满的步骤。
6 .根据权利要求1所述的数据同步过程中增量数据的解析方法，其中，
在每个所述读取线程将读取完成的数据块放入各自的队列中的步骤之后，还包括：
在所述全局登记区中将已放入队列的所述数据块的状态信息更新为已读取状态，并将
所述数据块所在的队列号录入所述全局登记区；
利用解析线程从所述多个读取线程的队列的队首中挑选块号顺序最靠前的数据块进
行解析。
7 .根据权利要求6所述的数据同步过程中增量数据的解析方法，其中，
解析线程从所述多个读取线程的队列的队首中挑选块号顺序最靠前的数据块进行解
析的步骤包括：
在所述全局登记区查询顺序最靠前的且为已读取状态的块号；
按照查询到的所述块号到相应的队列号对应的队列中取出所述数据块并对所述数据
块进行解析；
在所述全局登记区将所述数据块的状态信息更新为已解析状态。
8.根据权利要求7所述的数据同步过程中增量数据的解析方法，其中，
按照查询到的块号到相应的队列号对应的队列中取出所述数据块并对所述数据块进
权 利 要 求 书
1/2 页
2
CN 115328999 A
2
行解析的步骤之前包括：
判断对所有数据块查询一遍后是否有符合条件的数据块，若是，执行按照查询到的块
号到相应队列号对应的队列中取出所述数据块的步骤，若否，返回执行在所述全局登记区
查询块号顺序最靠前的且为已读取状态的数据块的步骤。
9.根据权利要求8所述的数据同步过程中增量数据的解析方法，其中，
返回执行在所述全局登记区查询块号顺序最靠前的且为已读取状态的数据块的步骤
之前还包括：
判断在所述全局登记区进行查询的时间是否超过阈值，若是，生成新的读取线程，使新
的读取线程加入读取工作，初始化查询时间并继续查询，若否，继续查询。
10 .一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理
器执行时实现根据权利要求1至9任一项所述的数据同步过程中增量数据的解析方法。
权 利 要 求 书
2/2 页
3
CN 115328999 A
3
of 18
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
tencent dba
最新上传
相关文档
评论