一种数据库分片复制过程中聚合分裂的处理方法及系统_CN117290440A_上海沄熹科技有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202311170325 .X
(22)申请日 2023 .09 .12
(71)申请人 上海沄熹科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区张东路1158号、丹桂
路1059号2幢305-22室
(72)发明人 陈磊 李伟 冯友旭
(74)专利代理机构 济南信达专利事务所有限公
司 37100
专利代理师 陈婷婷
(51)Int.Cl .
G06F
16/27
(2019 .01)
(54)发明名称
一种数据库分片复制过程中聚合分裂的处
理方法及系统
(57)摘要
本发明公开了一种数据库分片复制过程中
聚合分裂的处理方法及系统，属于数据复制处理
技术领域，该方法 的 实现 包 括 增加注 册缓存
preSpan，KV缓存rangeKVbuf，副本复制状态机
splitMergeState，在复制断开和重新注册这段
时间缓存主库发送的KV，在复制注册成功后，补
足发送缓存的KV。本发明实现分布式数据库主备
复制过程中分片的聚合、分裂情况下保持主备数
据一致性，解决了主备数据丢失的问题。
权利要求书2页 说明书5页 附图3页
CN 117290440 A
2023.12.26
CN 117290440 A
1 .一种数据库分片复制过程中聚合分裂的处理方法，其特征在于，该方法的实现包括
增加注册缓存preSpan，KV缓存rangeKVbuf，副本复制状态机splitMergeState，在复制断开
和重新注册这段时间缓存主库发送的KV，在复制注册成功后，补足发送缓存的KV；
所述注册缓存preSpan，在分片聚合时，将Left和Right副本的注册Span合并后赋值给
Left副本的注册缓存preSpan；在分片分裂时，将Left副本的注册Span按照Left和Right的
范围分割，分别赋值给Left和Right副本的注册缓存preSpan；
所述KV缓存rangeKVbuf，在主库数据KV发送过程中，如果复制状态处于复制断开和重
新注册成功之间，则将KV缓存到rangeKVbuf中，当复制重新注册成功后，将KV缓存的数据
rangeKVbuf补足发给备库。
2 .根据权利要求1所述的一种数据库分片复制过程中聚合分裂的处理方法，其特征在
于，所述副本复制状态机splitMergeState，
复制断开时，主库发送的KV被缓存；
复制重新注册成功时，主库发送缓存的KV；
复制正常时，主库发送的KV被实时发送给备库。
3 .根据权利要求2所述的一种数据库分片复制过程中聚合分裂的处理方法，其特征在
于，所述副本复制状态机splitMergeState，
复制断开时，复制状态机为1，即复制断开状态；
复制重新注册成功时，复制状态机为2，即复制重新注册状态；
复制正常时，即复制状态机为0，即复制正常状态。
4 .根据权利要求1或2或3所述的一种数据库分片复制过程中聚合分裂的处理方法，其
特征在于，主数据库KV发送过程具体如下：
主库数据KV发送过程中，判断复制状态机为正常复制状态，则正常将KV向备库发送；
主库数据KV发送过程中，如果复制状态机为复制断开状态，或复制重新注册成功状态，
则将KV缓存到rangeKvBuffer中；
主库数据KV发送过程中，独立线程携带超时机制检测状态机为复制重新注册成功状
态，则将缓存rangeKvBuffer的KV向备库发送，并将副本状态机设置为复制正常状态。
5 .根据权利要求1或2或3所述的一种数据库分片复制过程中聚合分裂的处理方法，其
特征在于，分片聚合或分裂过程具体如下：
分片聚合或分裂处理过程中，如果是分片聚合，对Left副本，获取Left副本和Right副
本的注册Span，做区间合并，将总的注册Span赋值给Left的注册缓存preSpan；并设置Left
副本状态机为复制断开状态；
分片聚合或分离处理过程中，如果是分片聚合，对Right副本，设置副本状态机为复制
断开状态；
分片聚合或分裂处理过程中，如果是分片分裂，对Left副本，获取原注册Span，按照
Left副本和Right副本的范围分割Span，将属于Left副本的Span的赋值给Left副本的注册
缓存preSpan；并设置副本状态机为复制断开状态；
分片聚合或分裂处理过程中，如果是分片分裂，对Right副本，将属于Right副本的Span
赋值给Right副本的注册缓存preSpan；并设置Right副本状态机为复制断开状态。
6 .根据权利要求1或2或3所述的一种数据库分片复制过程中聚合分裂的处理方法，其
权 利 要 求 书
1/2 页
2
CN 117290440 A
2
特征在于，对于重新注册处理过程中，如果当前注册Span与副本的注册缓存preSpan相等，
则设置副本状态机为重新注册完成状态，否则等待下次的复制的注册。
7 .一种数据库分片复制过程中聚合分裂的处理系统 ，其特征在于，包括注册缓存
preSpan模块，KV缓存rangeKVbuf模块，副本复制状态机splitMergeState模块；通过在复制
断开和重新注册这段时间缓存主库发送的KV，在复制注册成功后补足发送缓存的KV，实现
在分片聚合和分裂情况下主备数据的一致性；
所述注册缓存preSpan模块，在分片聚合时，将Left和Right副本的注册Span合并后赋
值给Left副本的注册缓存preSpan；在分片分裂时，将Left副本的注册Span按照Left和
Right的范围分割，分别赋值给Left和Right副本的注册缓存preSpan；
所述KV缓存rangeKVbuf模块，在主库数据KV发送过程中，如果复制状态处于复制断开
和重新注册成功之间，则将KV缓存到rangeKVbuf中，当复制重新注册成功后，将KV缓存的数
据rangeKVbuf补足发给备库。
8.根据权利要求7所述的一种数据库分片复制过程中聚合分裂的处理系统，其特征在
于，所述副本复制状态机splitMergeState模块，
复制断开时，主库发送的KV被缓存；
复制重新注册成功时，主库发送缓存的KV；
复制正常时，主库发送的KV被实时发送给备库。
9 .一种数据库分片复制过程中聚合分裂的处理装置，其特征在于，包括至少一个存储
器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，实现权利要求1至6任一所述的方
法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机指令，所述
计算机指令在被处理器执行时，使所述处理器执行权利要求1至6任一所述的方法。
权 利 要 求 书
2/2 页
3
CN 117290440 A
3
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
dba
最新上传
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
7
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
相关文档
评论