CN119862170A 一种基于数据文件的分布式多副本高性能高可用方案.PDF
100墨值下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411887506 .9
(22)申请日 2024 .12.20
(71)申请人 天谋科技（北京）有限公司
地址 100192 北京市海淀区宝盛南路1号院
26号楼6层101号
(72)发明人 乔嘉林 王建民 黄向东 谭新宇
田原 彭俊植 谷新豪
(74)专利代理机构 北京清亦华知识产权代理事
务所(普通合伙) 11201
专利代理师 金星玉
(51)Int.Cl .
G06F
16/182
(2019 .01)
G06F
16/27
(2019 .01)
G06F
16/23
(2019 .01)
(54)发明名称
一种基于数据文件的分布式多副本高性能
高可用方案
(57)摘要
本公开提出了一种基于数据文件的分布式
多副本高性能高可用方案，包括：获取用户的写
入请求，并通过分布式集群中的领导者共识层执
行写入请求；监听存储引擎中生成的数据文件；
基于数据文件生成加载事项，并将加载事项异步
发送给跟随者进行加载数据文件，领导者继续执
行下一写入请求；在跟随者通过直接加载技术完
成数据加载后，通过异步回调的方式将加载结果
更新至分布式集群的共识数据中。相较于当前主
流的共识协议，本公开采取异步复制机制，返回
用户写入成功不依赖副本同步的结果，无需额外
等待，本公开还利用高压缩比的数据文件进行状
态同步，在确保系统资源利用效率的同时，有效
降低了副本同步的性能瓶颈，具备性能随副本数
线性扩展的优势。
权利要求书2页 说明书10页 附图3页
CN 119862170 A
2025.04.22
CN 119862170 A
1 .一种基于数据文件的分布式多副本高性能高可用方案，其特征在于，包括：
获取用户的写入请求，并通过分布式集群中的领导者共识层执行所述写入请求；
在所述领导者共识层执行完所述写入请求后，监听存储引擎中生成的最新数据文件；
基于所述最新数据文件生成加载事项，并将所述加载事项异步发送给跟随者进行加载
最新数据文件，同时所述领导者继续执行下一写入请求；
在所述跟随者通过直接加载技术加载最新数据文件完成后，通过异步回调的方式将加
载结果更新至所述分布式集群的共识数据中。
2 .根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于共识任务重启时，获取所述存储引擎中的历史数据文件；
基于所述历史数据文件确定所述跟随者未加载的最新数据文件；
将所述未加载的最新数据文件对应的加载事项重新发送给所述跟随者进行加载最新
数据文件。
3 .根据权利要求2所述的方法，其特征在于，所述通过分布式集群中的领导者共识层执
行所述写入请求，包括：
通过所述领导者共识层将所述写入请求转发至状态机中；
对所述写入请求进行排序编号以生成目标排序，并通过所述状态机基于所述目标排序
执行所述写入请求。
4 .根据权利要求3所述的方法，其特征在于，所述通过所述状态机基于所述目标排序执
行所述写入请求之后，包括：
通过所述状态机将执行结果更新至所述分布式集群的共识数据中。
5 .根据权利要求3所述的方法，其特征在于，所述基于所述最新数据文件生成加载事
项，包括：
基于所述目标排序生成所述最新数据文件的操作标识；
基于所述操作标识和所述最新数据文件生成所述加载事项。
6 .根据权利要求1‑5中任一项所述的方法，其特征在于，所述将所述加载事项异步发送
给跟随者进行加载最新数据文件，包括：
创建异步回调处理器；
通过所述异步回调处理器将所述加载事项异步发送给跟随者进行加载最新数据文件。
7 .根据权利要求3所述的方法，其特征在于，所述通过异步回调的方式将加载结果更新
至所述分布式集群的共识数据中，包括：
响应于所述加载结果为加载成功，将所述写入请求对应的事件从缓冲区移除，并更新
所述共识数据，释放所述写入请求对应的资源；或者，
响应于所述加载结果为加载失败，将所述加载事项放入重新加载队列中进行重新加
载。
8.一种基于数据文件的分布式多副本高性能高可用装置，其特征在于，包括：
获取模块，用于获取用户的写入请求，并通过分布式集群中的领导者共识层执行所述
写入请求；
监听模块，用于在所述领导者共识层执行完所述写入请求后，监听存储引擎中生成的
最新数据文件；
权 利 要 求 书
1/2 页
2
CN 119862170 A
2
of 16
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论