一种基于wal实现分布式数据库集群任意时间点恢复的方法_CN112925676B_上海沄熹科技有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202110253613.6
(22)申请日 2021.03 .09
(65)同一申请的已公布的文献号
申请公布号 CN 112925676 A
(43)申请公布日 2021.06 .08
(73)专利权人 上海沄熹科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区张东路1158号、丹桂
路1059号2幢305-22室
(72)发明人 秦利鹏 张炜刚 贾德星
(74)专利代理机构 济南信达专利事务所有限公
司 37100
专利代理师 孙晶伟
(51)Int.Cl .
G06F
11/14
(2006 .01)
G06F
16/27
(2019 .01)
(56)对比文件
CN 111221922 A ,2020 .06 .02
US 5278982 A,1994.01 .11
审查员 李一
(54)发明名称
一种基于WAL实现分布式数据库集群任意时
间点恢复的方法
(57)摘要
本发明公开一种基于WAL实现分布式数据库
集群任意时间点恢复的方法 ,涉及分布式数据库
恢复技术领域；增加相关DDL语句，并重写分布式
数据库集群LOAD数据恢复流程，完成DUMP预处
理 ，加载W A L 文件到 临时 Roc k s D B实 例 ，通过
RocksDB实例获取WAL记录的所有应该落盘的
key‑value数据，并对key‑value数据解析处理，
并构建新DUMP文件和SST文件，交由LOAD数据恢
复流程，恢复数据库集群至此WAL所记录的之前
任意时间点。
权利要求书2页 说明书5页 附图2页
CN 112925676 B
2023.01.17
CN 112925676 B
1 .一种基于WAL实现分布式数据库集群任意时间点恢复的方法，其特征是增加相关DDL
语句，并重写分布式数据库集群LOAD数据恢复流程，完成DUMP预处理，其中通过分布式数据
库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指定的WAL汇集目录读取WAL文件，
并按照指定时间点提取WAL中存放的时间点之前的落盘数据，加载WAL文件到临时RocksDB
实例，
通过RocksDB实例获取WAL记录的所有应该落盘的key‑value数据，并对key‑value数据
解析处理，并构建新DUMP文件和SST文件，交由LOAD数据恢复流程，恢复数据库集群至此WAL
所记录的之前任意时间点，
所述恢复数据库集群至此WAL所记录的之前任意时间点的流程为：
S1：解析预处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL
文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
根据数据内容时间戳与指定时间点进行比较，将处于恢复时间范围内的descriptor进
行处理，记录descriptor修改和最新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key‑Value写
入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
S2：将DUMP文件和SST文件路径加入备份文件路径列表，继续执行原有LOAD数据恢复流
程。
2.一种基于WAL实现分布式数据库集群任意时间点恢复的系统，其特征是包括预处理
模块、数据提取和准备模块以及恢复模块，
预处理模块利用增加的相关DDL语句和重写的分布式数据库集群LOAD数据恢复流程，
完成DUMP预处理，通过分布式数据库集群从指定的WAL汇集目录读取WAL文件并汇集WAL，其
中预处理模块通过分布式数据库集群汇集WAL，利用WAL记录的所有应该落盘的数据，从指
定的WAL汇集目录读取WAL文件，并按照指定时间点提取WAL中存放的时间点之前的落盘数
据，加载WAL文件到临时RocksDB实例，
数据提取和准备模块根据重写的LOAD数据恢复流程，通过RocksDB实例获取WAL记录的
所有应该落盘的key‑value数据，并对key‑value数据解析处理，并构建新DUMP文件和SST文
件，交由恢复模块继续LOAD数据恢复流程，恢复数据库集群至此WAL所记录的之前任意时间
点，
所述恢复数据库集群至此WAL所记录的之前任意时间点的流程中，预处理模块解析预
处理已有的DUMP文件，获取descriptors信息，得到WAL汇集目录下所有WAL文件列表；
遍历WAL数据，将读取的数据记录写入临时RocksDB引擎；
数据提取和准备模块根据预处理模块加载到临时RocksDB数据内容的时间戳与指定时
间点进行比较，将处于恢复时间范围内的descriptor进行处理，记录descriptor修改和最
新descriptor；
构建新的SST文件，遍历临时RocksDB引擎中的数据，将处于恢复时间内的Key‑Value写
入SST并更新descriptors记录的span信息；
处理descriptor，写入生成DUMP文件；
权 利 要 求 书
1/2 页
2
CN 112925676 B
2
将DUMP文件和SST文件路径加入备份文件路径列表，继续交由恢复模块执行LOAD数据
恢复流程。
3 .一种基于WAL实现分布式数据库集群任意时间点恢复的装置，其特征是包括至少一
个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1所述一种基于WAL
实现分布式数据库集群任意时间点恢复的方法。
4 .计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机
指令在被处理器执行时，使所述处理器执行权利要求1所述一种基于WAL实现分布式数据库
集群任意时间点恢复的方法。
权 利 要 求 书
2/2 页
3
CN 112925676 B
3
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
盛天
最新上传
相关文档
评论