一种元数据变更捕获方法_CN113626453A_上海沄熹科技有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202110868149 .1
(22)申请日 2021.07 .30
(71)申请人 浪潮云信息技术股份公司
地址 250100 山东省济南市高新区浪潮路
1036号浪潮科技园S01号楼
(72)发明人 石梦飞 鲍之骁 徐扬 刘文硕
袁声思 田祥雨 沈瑜
(74)专利代理机构 济南信达专利事务所有限公
司 37100
代理人 姜鹏
(51)Int.Cl .
G06F
16/23
(2019 .01)
G06F
16/27
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/21
(2019 .01)
(54)发明名称
一种元数据变更捕获方法
(57)摘要
本发明涉及数据库数据捕获技术领域，具体
提供了一种元数据变更捕获方法 ，具有一下步
骤：S1、在分布式数据库执行CDC语句并带有元数
据捕获功能；S2、用户执行DDL操作，数据库服务
语法解析SQL生成语法树，再通过语法树生成执
行计划；S3、数据库将执行计划下发给各个执行
节点执行，计划执行完成后，将元数据的变更记
录更新至系统表中，监控器将这些元数据变更记
录推送到changefeed中；S4、判断changefeed发
送模式是否为DDL发送模式，如果是，则直接发送
DDL；如不是，等待发送模式切换为DDL发送模式
后方可发出。与现有技术相比 ，本发明无需改变
数据库的去中心化结构，不依赖中心节点的授时
服务，通过一系列判断来保证捕获DDL的事务语
义，不依赖于中心节点数据库仍保有良好的可拓
展性。
权利要求书2页 说明书5页 附图4页
CN 113626453 A
2021.11.09
CN 113626453 A
1 .一种元数据变更捕获方法，其特征在于，具有一下步骤：
S1、在分布式数据库执行CDC语句并带有元数据捕获功能；
S2、用户执行DDL操作，数据库服务语法解析SQL生成语法树，再通过语法树生成执行计
划；
S3、数据库将执行计划下发给各个执行节点执行，计划执行完成后，将元数据的变更记
录更新至系统表中，监控器将这些元数据变更记录推送到changefeed中；
S4、判断changefeed发送模式是否为DDL发送模式，如果是，则直接发送DDL；如不是，等
待发送模式切换为DDL发送模式后方可发出。
2.根据权利要求1所述的一种元数据变更捕获方法，其特征在于，在步骤S1中，创建CDC
的具体操作包括：
S101、创建CDC语句；
S102、CDC开启对元数据变更捕获后，会在数据库内部打开对记录表结构变更的系统表
的监控。
3 .根据权利要求2所述的一种元数据变更捕获方法，其特征在于，在步骤S2中，生成执
行计划后，首先查询操作对象的CDC注册信息，判断是否创建了CDC。
4 .根据权利要求3所述的一种元数据变更捕获方法，其特征在于，在步骤S2中，判断是
否创建CDC的步骤为：
a)、如果没有创建CDC，则生成正常的执行计划；
b)、如果发现已经创建了CDC，则根据CDC注册信息生成CDC处理器，并将执行计划和CDC
处理器封装为执行计划的派生对象。
5 .根据权利要求4所述的一种元数据变更捕获方法，其特征在于，在步骤S3中，进一步
包括：
S301、如果存在CDC处理器，且打开了对元数据的变更捕获，则将元数据的变更记录推
送至changefeed中：
S302、如果不存在CDC处理器，或没打开对元数据的变更捕获，事务直接提交。
6 .根据权利要求5所述的一种元数据变更捕获方法，其特征在于，在步骤S4中，进一步
包括：
S401、如果当前changefeed的发送模式为DDL发送模式，则发送DDL到指定位置，并读取
临时文件中的DML，随后更新changfeed状态为DML发送模式。
S402、如果当前changefeed的发送模式为其他模式，则需要阻塞DDL发送进程，等待发
送模式被其他进程更新为DDL发送模式。
7 .根据权利要求6所述的一种元数据变更捕获方法，其特征在于，changefeed发送DML
需要满足以下条件：
(1)当前发送模式为DML发送模式；
(2)lastDDLSendTime小于ModificationTime；
如果不满足上诉条件，则DML不会直接发送而是记录到临时文件中，等待DDL发送完毕
后读取临时文件中的DML内容。
8.根据权利要求7所述的一种元数据变更捕获方法，其特征在于，changefeed的模式切
换需满足以下条件：
权 利 要 求 书
1/2 页
2
CN 113626453 A
2
(1)ChangeFeedSyncDML切换为ChangeFeedExecDDL
a)DDL对应的blockTime非空，这意味着当前有阻塞着的DDL等待发送；
b)lastDMLTransactionCommitTime小于等于sfTime，这意味着上一次DML的事务提交
时间小于各个range的以解析时间；
(2)ChangeFeedExecDDL转换为ChangeFeedWaitToExecDDL；捕获到元数据变更但还没
有成功发送；
(3)ChangeFeedWaitToExecDDL转换为ChangeFeedSyncDML；元数据变更已经成功发送。
9.根据权利要求1所述的一种元数据变更捕获方法，其特征在于，异步启动带有元数据
变更监控的CDC处理器，对元数据变更进行监控，将数据发送至数据池。
10 .根据权利要求9所述的一种元数据变更捕获方法，其特征在于，异步启动带有元数
据变更监控的CDC处理器，对元数据变更的监控，将数据发送至数据池，这一过程的具体操
作为：
a)、开启对用户表监控的同时，开启一个特殊的监控程序，监控记录表结构变更的系统
表；
b)、解析并重组捕获到的数据，依据表的唯一标识进行过滤；
c)、连接外部的数据池，并将表元数据变更输出到外部的数据池。
权 利 要 求 书
2/2 页
3
CN 113626453 A
3
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论