【GoldenDB】一种oracle数据库增量数据采集方法、装置、设备及存储介质_202311853491.X_金篆信科有限责任公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202311853491 .X
(22)申请日 2023 .12.29
(71)申请人 金篆信科有限责任公司
地址 100176 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层(北
京自贸试验区高端产业片区亦庄组
团)
(72)发明人 王增臣 沈文宽 喻宏源 朱洪利
朱成博
(74)专利代理机构 南京利丰知识产权代理事务
所(特殊普通合伙) 32256
专利代理师 艾中兰
(51)Int.Cl .
G06F
9/46
(2006 .01)
G06F
9/50
(2006 .01)
G06F
16/27
(2019 .01)
G06F
16/21
(2019 .01)
(54)发明名称
一种oracle数据库增量数据采集方法、装
置、设备及存储介质
(57)摘要
本发明涉及分布式数据库技术领域，公开一
种oracle数据库增量数据采集方法、装置、设备
及存储介质，引入同步锁，结合事务并发解析，在
保证oracle增量事务的顺序性的基础上，有效提
高采集性能。本发明方法针对大事务场景，采用
子线程大事务分批解析采集，解决大事务缓存导
致内存溢出的问题，提高可用性和实用性，增量
迁移场景适配度高。
权利要求书2页 说明书6页 附图6页
CN 117632385 A
2024.03.01
CN 117632385 A
1 .一种基于事务并发解析的oracle数据库增量数据采集方法，其特征在于，包括：
根据SCN起点、终点，基于logmnr操作产生Oracle日志结果集；
事务管理线程依次获取Oracle日志结果集的每一条日志结果行，根据日志结果行的事
务号XID分配到对应的事务缓存；
事务管理线程将事务提交给事务解析线程池并发解析；
各事务解析线程获取要解析的完整事务，同时自增分配事务序号；
当前事务的事务解析线程对当前事务进行解析，解析完成后尝试拿锁；若上一条事务
尚未完成解析和数据发送，锁状态尚未释放，则等待；若上一条事务已完成解析和数据发
送，锁状态已释放，则当前事务的事务解析线程拿到锁，将当前事务的数据发送到事件队列
中，然后释放锁。
2 .如权利要求1所述的基于事务并发解析的oracle数据库增量数据采集方法，其特征
在于，所述锁包括自定义同步锁，锁的内部自定义从1开始的自增序号，与事务序号一一对
应，当事务解析线程尝试拿锁时，只有当前事务序号和当前锁序号一致才可以拿到锁，独占
进行数据发送，数据发送完成后锁被释放，锁序号自增1。
3 .如权利要求1所述的基于事务并发解析的oracle数据库增量数据采集方法，其特征
在于，所述事务管理线程将事务提交给事务解析线程池并发解析步骤之前，还包括大事务
筛选步骤，包括：
判断当前事务缓存是否是大事务缓存，如果是，更新记录大事务SCN起点、终点和事务
号XID，继续获取下一条日志结果行，等待该事务提交下发进行大事务解析；如果不是，则将
该事务分配到对应的普通事务缓存；
判断当前普通事务缓存是否超过大事务阈值，如果没有超过阈值，则继续获取下一条
日志结果行，等待该事务提交下发进行普通事务解析；如果超过阈值，则清空日志结果行记
录缓存，只记录事务SCN起点、终点和事务号XID，标记为大事务缓存，然后继续获取下一条
日志结果行，等待该事务提交下发进行大事务解析。
4 .如权利要求3所述的基于事务并发解析的oracle数据库增量数据采集方法，其特征
在于，还包括大事务解析步骤，包括：
事务解析线程按照大事务SCN起点、终点和事务号XID进行logmnr解析操作，过滤出该
事务的redo日志结果集，依次对日志结果行进行解析，当增量数据达到批次阈值时，将解析
到的增量数据分发到采集数据队列，直到该大事务全部解析完。
5 .一种基于事务并发解析的oracle数据库增量数据采集装置，其特征在于，包括：
日志结果集生成模块，用于根据SCN起点、终点，基于logmnr操作产生Oracle日志结果
集；
缓存分配模块，用于事务管理线程依次获取Oracle日志结果集的每一条日志结果行，
根据日志结果行的事务号XID分配到事务缓存中；
事务提交模块，用于事务管理线程将事务提交给事务解析线程池并发解析；
事务序号分配模块，用于各事务解析线程获取要解析的完整事务，同时自增分配事务
序号；
事务解析模块，用于当前事务的事务解析线程对当前事务进行解析，解析完成后尝试
拿锁；若上一条事务尚未完成解析和数据发送，锁状态尚未释放，则等待；若上一条事务已
权 利 要 求 书
1/2 页
2
CN 117632385 A
2
完成解析和数据发送，锁状态已释放，则当前事务的事务解析线程拿到锁，将当前事务的数
据发送到事件队列中，然后释放锁。
6 .如权利要求5所述的基于事务并发解析的oracle数据库增量数据采集装置，其特征
在于，还包括大事务筛选模块，所述大事务筛选模块用于：
判断当前事务缓存是否是大事务缓存，如果是，更新记录大事务SCN起点、终点和事务
号XID，继续获取下一条日志结果行，等待该事务提交下发进行大事务解析；如果不是，则将
该事务分配到对应的普通事务缓存；
判断当前普通事务缓存是否超过大事务阈值，如果没有超过阈值，则继续获取下一条
日志结果行，等待该事务提交下发进行普通事务解析；如果超过阈值，则清空日志结果行记
录缓存，只记录事务SCN起点、终点和事务号XID，标记为大事务缓存，然后继续获取下一条
日志结果行，等待该事务提交下发进行大事务解析。
7 .如权利要求6所述的基于事务并发解析的oracle数据库增量数据采集装置，其特征
在于，所述事务解析模块包括：
普通解析模块，用于进行普通事务解析；
大事务解析模块，用于进行大事务解析，事务解析线程按照大事务SCN起点、终点和事
务号XID进行logmnr解析操作，过滤出该事务的redo日志结果集，依次对日志结果行进行解
析，当增量数据达到批次阈值时，将解析到的增量数据分发到采集数据队列，直到该大事务
全部解析完。
8.一种电子设备，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的
程序，其特征在于，所述程序被所述处理器执行时实现权利要求1‑4任一项所述的基于事务
并发解析的oracle数据库增量数据采集方法的步骤。
9 .一种计算机可读存储介质，存储有至少一个程序，其特征在于，所述至少一个程序可
被至少一个处理器执行，以实现权利要求1‑4任一项所述的基于事务并发解析的oracle数
据库增量数据采集方法的步骤。
权 利 要 求 书
2/2 页
3
CN 117632385 A
3
of 15
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
金篆信科 市场策划经理
最新上传
文档被以下合辑收录
相关文档
评论