一种基于预处理优化join的数据库优化方法_CN117633024B_南大通用.pdf
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202410090319 .1
(22)申请日 2024 .01 .23
(65)同一申请的已公布的文献号
申请公布号 CN 117633024 A
(43)申请公布日 2024 .03 .01
(73)专利权人 天津南大通用数据技术股份有限
公司
地址 300384 天津市滨海新区华苑产业区
海泰发展六道6号海泰绿色产业基地
J-518
(72)发明人 张灵
(74)专利代理机构 天津企兴智财知识产权代理
有限公司 12226
专利代理师 石倩倩
(51)Int.Cl.
G06F
16/2453
(2019 .01)
G06F
16/2455
(2019 .01)
G06F
16/22
(2019 .01)
(56)对比文件
CN 116821127 A ,2023 .09.29
CN 114969110 A ,2022.08.30
CN 116775696 A ,2023 .09.19
US 2015302035 A1 ,2015.10.22
WO 2023202394 A1 ,2023 .10.26
CN 102542071 A ,2012 .07 .04
CN 104866608 A,2015 .08.26
CN 111552710 A ,2020 .08.18
CN 113868230 A ,2021 .12.31
US 2003233403 A1 ,2003.12.18
WO 2024000896 A1 ,2024 .01 .04
努力中的小栗子.不用left-join实现多表
查询.《CSDN》.2022,全文.
王梅 .列存储系统面向列的连接顺序优化研
究 .《计算机研究与发展》.2013,全文.
审查员 祁志阳
(54)发明名称
一种基于预处理优化join的数据库优化方
法
(57)摘要
本发明提供了一种基于预处理优化join的
数据库优化方法，包括：保存输入的表结构，并为
表设置数据组、哈希索引、分区标识；为表的数据
选择相应的加载区域，并在选定的加载区域的前
一个加载区域中执行哈希查找操作；根据元数据
管理器中的设置对原SQL进行转换，去除其中的
join操作；将转换后的SQL插入目标表中，完成对
数据库的优化。本发明有益效果：优化掉两表之
间的join操作，将两表join优化成了单表分区扫
描，避免了大范围扫描数据，减少数据扫描范围，
降低资源使用，大幅缩短了查询的整体时间。
权利要求书1页 说明书5页 附图1页
CN 117633024 B
2024.04.23
CN 117633024 B
1 .一种基于预处理优化join的数据库优化方法，其特征在于，包括：
保存输入的表结构，并为表设置数据组、哈希索引、分区标识；
为表的数据选择相应的加载区域，并在选定的加载区域的前一个加载区域中执行哈希
查找操作；
根据元数据管理器中的设置对原SQL进行转换，去除其中的join操作；
将转换后的SQL插入目标表中，完成对数据库的优化；
为表设置分区标识的过程包括：
将表中的一列数据作为表中与其相对应的各行数据的分区标识；
为表的数据选择相应的加载区域的过程包括：
将表中所有携带相同分区标识的行的数据写入同一个分区中；
通过哈希索引查找当前数据所在分区的前一个分区中，是否存在与数据组相对应的表
的数据，并执行相应的哈希查找操作；
在选定的加载区域的前一个加载区域中执行哈希查找操作的过程包括：
若在前一个分区中存在与数据组相对应的表的数据，则将对应数据的值写入数据组
中；
若在前一个分区中不存在与数据组相对应的表的数据，则将对应数据的值设置为空，
并写入数据组中；
为表设置数据组的过程包括：
将表的结构保存在元数据管理器中；
在元数据管理器中创建数据组，数据组中的每一个数据分别与表中的一行数据相对
应。
2 .根据权利要求1所述的一种基于预处理优化join的数据库优化方法，其特征在于：
为表设置哈希索引的过程包括：
在元数据管理器中创建哈希索引，哈希索引中的每一个数据分别与表中的一列数据相
对应。
3 .根据权利要求1所述的一种基于预处理优化join的数据库优化方法，其特征在于：
根据元数据管理器中的设置对原SQL进行转换，去除其中的join操作的过程包括：
将原SQL中的join操作替换为筛选非空的对应数据的操作；
当进行两表间的关联查询时，仅使用当前分区内的数据组中的数据，以及与数据组相
对应的表的数据，执行关联查询。
4 .一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行
指令的存储器，其特征在于：所述处理器用于执行上述权利要求1‑3任一所述的一种基于预
处理优化join的数据库优化方法。
5 .一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储
器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，
以使所述至少一个处理器执行如权利要求1‑3任一所述的一种基于预处理优化join的数据
库优化方法。
6 .一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处
理器执行时实现权利要求1‑3任一所述的一种基于预处理优化join的数据库优化方法。
权 利 要 求 书
1/1 页
2
CN 117633024 B
2
一种基于预处理优化join的数据库优化方法
技术领域
[0001]
本发明属于计算机技术领域，尤其是涉及一种基于预处理优化join的数据库优化
方法。
背景技术
[0002]
数据库作为算计技术领域的常用技术内容，其使用范围非常广泛，在数据库的使
用过程中，因为业务需要常常要进行多表之间的关联查询，现有技术中执行关联查询的缺
点主要包括以下几个方面：
[0003]
关联查询中的JOIN操作通常涉及对多个表进行连接，这可能导致性能开销较高，
特别是在处理大量数据时，JOIN操作的计算成本和时间复杂度可能显著增加；
[0004]
使用JOIN操作会增加查询语句的复杂性，尤其是涉及多个表、多个条件的情况，这
增加了查询的理解和维护难度，同时可能引入错误；
[0005]
JOIN操作可能涉及大量内存和计算资源的使用，尤其是在连接大型表时。这可能
导致系统资源紧张，影响其他任务的执行；
[0006]
由于JOIN操作的复杂性，查询的响应时间可能较长，特别是在大型数据库中，这会
降低用户体验，尤其是对于需要快速查询和响应的应用场景；
[0007]
在使用JOIN操作时，需要确保连接条件的准确性和数据一致性，如果连接条件不
正确或数据不一致，可能导致错误的查询结果；
[0008]
随着数据量的增加，使用JOIN操作的查询可能难以进行有效的水平扩展，这使得
处理大规模数据集的性能优化变得更加复杂；
[0009]
综上所述，现有技术中执行关联查询所使用的JOIN操作可能会限制查询性能、增
加开发和维护的难度，以及引入一些潜在的数据一致性和资源消耗问题。
发明内容
[0010]
有鉴于此，本发明旨在提出一种基于预处理优化join的数据库优化方法，以期解
决上述部分技术问题中的至少之一。
[0011]
为达到上述目的，本发明的技术方案是这样实现的：
[0012]
本发明第一方面提供了一种基于预处理优化join的数据库优化方法，包括：
[0013]
保存输入的表结构，并为表设置数据组、哈希索引、分区标识；
[0014]
为表的数据选择相应的加载区域，并在选定的加载区域的前一个加载区域中执行
哈希查找操作；
[0015]
根据元数据管理器中的设置对原SQL进行转换，去除其中的join操作；
[0016]
将转换后的SQL插入目标表中，完成对数据库的优化。
[0017]
进一步的，为表设置数据组的过程包括：
[0018]
将表的结构保存在元数据管理器中；
[0019]
在元数据管理器中创建数据组，数据组中的每一个数据分别与表中的一行数据相
说 明 书
1/5 页
3
CN 117633024 B
3
of 8
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论