CN119441359A-分布式数据库的分片方法及相关产品_电科金仓.PDF
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202411597006 .1
(22)申请日 2024 .11 .08
(71)申请人 中电科金仓（北京）科技股份有限公
司
地址 100102 北京市朝阳区容达路7号院5
号楼1至3层101内二层201
(72)发明人 张蓓蓓 阮青松
(74)专利代理机构 北京智汇东方知识产权代理
事务所(普通合伙) 11391
专利代理师 胡向阳
(51)Int.Cl .
G06F
16/27
(2019 .01)
G06F
18/24
(2023 .01)
G06F
16/22
(2019 .01)
(54)发明名称
分布式数据库的分片方法及相关产品
(57)摘要
本发明提供了一种分布式数据库的分片方
法及相关产品。分片方法包括：获取待处理数据
库的表对象的第一信息，第一信息包括表对象的
基础数据量、关联表和日志信息；根据第一信息，
确定表对象的分片类型，分片类型包括单表、广
播表和分片表；根据分片类型，对表对象进行分
片。本发明的分布式数据库的分片方法，通过获
取待处理数据库的表对象的相关信息，根据表对
象的业务特点确定不同的分片策略并进行合理
分片，将热点数据均匀分布在各个分片上，避免
某些节点过载而其他节点资源未充分利用的情
况，可优化查询效率、减少响应时间，并提升整体
系统处理能力。
权利要求书2页 说明书10页 附图10页
CN 119441359 A
2025.02.14
CN 119441359 A
1 .一种分布式数据库的分片方法，其特征在于，包括：
获取待处理数据库的表对象的第一信息，所述第一信息包括所述表对象的基础数据
量、关联表和日志信息；
根据所述第一信息，确定所述表对象的分片类型，所述分片类型包括单表、广播表和分
片表；
根据所述分片类型，对所述表对象进行分片。
2 .根据权利要求1所述的分片方法，其特征在于，所述的根据所述第一信息，确定所述
表对象的分片类型，包括：
响应于所述表对象的SQL语句只包含插入语句，所述表对象的基础数据量小于或等于
第一预设阈值，且其插入语句频次小于或等于第二预设阈值，则判定为单表；
响应于所述表对象的SQL语句只包含查询语句，所述表对象的基础数据量小于或等于
第三预设阈值，且其关联表个数超过第四预设阈值，则判定为广播表；
若否，则判定为分片表。
3 .根据权利要求1所述的分片方法，其特征在于，所述的根据所述分片类型，对所述表
对象进行分片，包括：
响应于所述表对象为单表，将所述表对象存储在一个数据库节点中；
响应于所述表对象为广播表，将所述表对象存储在所有数据库节点中；
响应于所述表对象为分片表，根据第一预设分片键算法生成分片键，并根据预设分片
算法生成分片表，存储在多个数据库节点中。
4 .根据权利要求3所述的分片方法，其特征在于，所述第一预设分片键算法包括：
获取预设分片键策略，所述预设分片键策略包括关联优先策略；
响应于所述预设分片键策略为关联优先策略，判断所述表对象的SQL语句是否包含关
联字段；
若包含关联字段，则将关联字段中频次最高者设置为分片键；若未包含关联字段，则判
断所述SQL语句是否包含过滤字段；
在所述SQL语句包含过滤字段的情况下，将过滤字段中频次最高者设置为分片键；在所
述SQL语句未包含所述过滤字段的情况下，根据第二预设分片键算法生成分片键；
其中，所述第二预设分片键算法包括：
判断所述表对象是否有主键；
若有主键，则以主键为分片键；若无主键，则判断所述表对象是否有唯一索引；
在所述表对象有唯一索引的情况下，以唯一索引为分片键；在所述表对象无唯一索引
的情况下，以第一列为分片键。
5 .根据权利要求3所述的分片方法，其特征在于，所述第一预设分片键算法包括：
获取预设分片键策略，所述预设分片键策略包括过滤优先策略；
响应于所述预设分片键策略为过滤优先策略，判断所述表对象的SQL语句是否包含过
滤字段；
若包含过滤字段，则将过滤字段中频次最高者设置为分片键；若未包含过滤字段，则判
断所述SQL语句是否包含关联字段；
在所述SQL语句包含关联字段的情况下，将关联字段中频次最高者设置为分片键；在所
权 利 要 求 书
1/2 页
2
CN 119441359 A
2
述SQL语句未包含关联字段的情况下，根据第二预设分片键算法生成分片键；
其中，所述第二预设分片键算法包括：
判断所述表对象是否有主键；
若有主键，则以主键为分片键；若无主键，则判断所述表对象是否有唯一索引；
在所述表对象有唯一索引的情况下，以唯一索引为分片键；在所述表对象无唯一索引
的情况下，以第一列为分片键。
6 .根据权利要求4或5所述的分片方法，其特征在于，所述第一预设分片键算法还包括：
响应于所述预设分片键策略为空，获取所述表对象的查询语句的执行时间；
判断所述查询语句的执行时间是否大于第五预设阈值；
若是，将所述预设分片键策略设置为关联优先策略；
若否，获取所述查询语句的服务器资源占用率；
若所述服务器资源占用大于第六预设阈值，则将所述预设分片键策略设置为关联优先
策略；若所述服务器资源占用小于或等于第六预设阈值，则将所述预设分片键策略设置为
过滤优先策略。
7 .根据权利要求3所述的分片方法，其特征在于，所述预设分片算法包括：
判断所述分片键是否为自增列，且所述表对象的SQL语句中包含范围查询；
若是，以范围分片算法生成分片；
若否，以hash分片算法生成分片。
8.根据权利要求1所述的分片方法，其特征在于，所述的获取待处理数据库的表对象的
第一信息，包括：
获取所述表对象、所述表对象的元数据、所述表对象的关联表以及所述待处理数据库
的第一预设时间内的日志信息；
根据所述日志信息，对所述表对象的SQL语句进行特征提取，以至少得到插入语句频
次、查询语句频次、关联字段频次、过滤字段频次、范围查询频次信息。
9 .一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被
处理器执行时实现如权利要求1至8中任一项所述的分布式数据库的分片方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行
时实现如权利要求1至8中任一项所述的分布式数据库的分片方法的步骤。
权 利 要 求 书
2/2 页
3
CN 119441359 A
3
of 23
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
7
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
相关文档
评论