【GoldenDB】一种分布式数据库导出方法、装置、设备及存储介质_202311803913.2_金篆信科有限责任公司.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202311803913 .2
(22)申请日 2023 .12.26
(71)申请人 金篆信科有限责任公司
地址 100176 北京市大兴区北京经济技术
开发区科谷一街10号院8号楼18层(北
京自贸试验区高端产业片区亦庄组
团)
(72)发明人 张棋福 张锋民
(74)专利代理机构 南京利丰知识产权代理事务
所(特殊普通合伙) 32256
专利代理师 艾中兰
(51)Int.Cl .
G06F
16/27
(2019 .01)
(54)发明名称
一种分布式数据库导出方法、装置、设备及
存储介质
(57)摘要
本发明涉及分布式数据库技术领域，公开一
种分布式数据库导出方法、装置、设备及存储介
质，该分布式数据库导出方法基于数据分区，通
过多种数据分区方式相结合，在保证数据完整的
情况下构造符合数据分布特征的导出语句，不仅
能实现数据表间并发导出，还能实现数据在分片
间和分片内并发导出，从而极大提升分布式数据
库的导出性能，提高数据并发导出效率。
权利要求书1页 说明书5页 附图3页
CN 117633118 A
2024.03.01
CN 117633118 A
1 .一种基于数据分区的分布式数据库导出方法，其特征在于，包括：
解析待导出数据所在表的DDL，获取待导出数据的分片、分区信息；
根据待导出数据的分片、分区信息构造各分区数据对应的导出语句；
创建待导出数据的直方图，反馈待导出数据的分布情况；
根据待导出数据的分布情况构造各导出语句的where子语句，对待导出数据进一步分
块，使并发导出的数据量趋向于平均；
利用构造好的各导出语句并发导出数据。
2 .如权利要求1所述的基于数据分区的分布式数据库导出方法，其特征在于，所述创建
待导出数据的直方图，包括：对于复制分发的表，按照用户自定义where条件、主键、唯一索
引、普通索引的优先级顺序，使用其一对任意一个分片上的表创建直方图。
3 .如权利要求1所述的基于数据分区的分布式数据库导出方法，其特征在于，所述创建
待导出数据的直方图，包括：对于依赖于分发字段的表，若各分片数据非均匀分布，根据分
发键创建直方图；若各分片数据趋向于均匀分布，按照主键、唯一索引、普通索引的优先级
顺序，使用其一创建直方图。
4 .如权利要求1所述的基于数据分区的分布式数据库导出方法，其特征在于，所述根据
待导出数据的分布情况构造各导出语句的where子语句，对待导出数据进一步分块，使并发
导出的数据量趋向于平均，包括：对于整型字段的直方图，当数据分布呈正态分布，构造
where子语句将数据量少的区间合并，使并发导出的数据量趋向于平均。
5 .如权利要求1所述的基于数据分区的分布式数据库导出方法，其特征在于，所述根据
待导出数据的分布情况构造各导出语句的where子语句，对待导出数据进一步分块，使并发
导出的数据量趋向于平均，包括：对于非整型字段的直方图，根据字段名及其对应数据的分
布特征，使用模糊匹配或全匹配构造where子语句，使并发导出的数据量趋向于平均。
6 .如权利要求1所述的基于数据分区的分布式数据库导出方法，其特征在于，当用户指
定了待导出数据的分片、分区信息，则无需解析待导出数据所在表的DDL，根据用户指定的
分片、分区信息构造各分区数据对应的导出语句。
7 .一种基于数据分区的分布式数据库导出装置，其特征在于，包括：
解析模块，用于解析待导出数据所在表的DDL，获取待导出数据的分片、分区信息；
导出语句构造模块，用于根据待导出数据的分片、分区信息构造各分区数据对应的导
出语句；
创建模块，用于创建待导出数据的直方图，反馈待导出数据的分布情况；
子语句构造模块，用于根据待导出数据的分布情况构造各导出语句的where子语句，对
待导出数据进一步分块，使并发导出的数据量趋向于平均；
导出模块，用于利用构造好的各导出语句并发导出数据。
8.一种电子设备，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的
程序，其特征在于，所述程序被所述处理器执行时实现权利要求1‑6任一项所述的基于数据
分区的分布式数据库导出方法的步骤。
9 .一种计算机可读存储介质，存储有至少一个程序，其特征在于，所述至少一个程序可
被至少一个处理器执行，以实现权利要求1‑6任一项所述的基于数据分区的分布式数据库
导出方法的步骤。
权 利 要 求 书
1/1 页
2
CN 117633118 A
2
一种分布式数据库导出方法、装置、设备及存储介质
技术领域
[0001]
本发明涉及分布式数据库技术领域，尤其涉及分布式数据库导出方法。
背景技术
[0002]
随着分布式技术的不断完善和信息量的不断膨胀，越来越多的企业选择使用分布
式数据库。数据导出是企业日常使用数据库的关键一环，而更高的导出性能可以缩减数据
迁移的耗时。因此，提升导出性能是一个迫切的需求。
[0003]
当前普遍应用的数据库导出方案是将各个表的数据整表导出，在并发度上仅进行
表级并发。这种并发方式在多表导出时，数据量差距越大并发效果越差，极端情况可能仅有
一个大表在导出。即使有些工具能在导出字段为数值类型时能进行行级并发，但使用场景
受限制，不能满足分布式数据库大多数情况下数据导出的需求。
[0004]
分布式数据库通过CN（Compute Node 计算节点，简称CN）将数据按不同的规则分
成多个分片，并分发到不同的DN（Data Node 数据节点，简称DN）上。在进行导出任务时，CN
需要处理来自导出工具的SELECT（查询） SQL语句，经过计算后分发到不同的DN上进行处
理，并将各个数据节点的结果汇总成完整的结果集返回给导出工具。此过程中导出效率受
限于CN和DN的处理耗时，往往导出工具发起导出任务时的查询语句没携带有分片信息，也
没有限定数据区间，完全依赖CN和DN的处理。在分布式计算场景下如何更高效的实现并发
是影响导出性能的关键。
发明内容
[0005]
本发明的目的是提出一种基于数据分区的分布式数据库导出方案，该方案支持多
种分发方式的表行级并发导出，解决目前分布式数据库导出慢、导出语句没有契合数据分
布特性的问题。
[0006]
为实现本发明目的，本申请一实施例提供一种基于数据分区的分布式数据库导出
方法，其特征在于，包括：
解析待导出数据所在表的DDL，获取待导出数据的分片、分区信息；
根据待导出数据的分片、分区信息构造各分区数据对应的导出语句；
创建待导出数据的直方图，反馈待导出数据的分布情况；
根据待导出数据的分布情况构造各导出语句的where子语句，对待导出数据进一
步分块，使并发导出的数据量趋向于平均；
利用构造好的各导出语句并发导出数据。
[0007]
本申请一实施例还提供一种基于数据分区的分布式数据库导出装置，其特征在
于，包括：
解析模块，用于解析待导出数据所在表的DDL，获取待导出数据的分片、分区信息；
导出语句构造模块，用于根据待导出数据的分片、分区信息构造各分区数据对应
的导出语句；
说 明 书
1/5 页
3
CN 117633118 A
3
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
金篆信科 市场策划经理
最新上传
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
7
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
文档被以下合辑收录
相关文档
评论