一种基于htap数据库的分布式储存方法_CN115438046B_北京万里开源软件有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利
(10)授权公告号
(45)授权公告日
(21)申请号 202211023175.5
(22)申请日 2022.08 .25
(65)同一申请的已公布的文献号
申请公布号 CN 115438046 A
(43)申请公布日 2022.12 .06
(73)专利权人 北京万里开源软件有限公司
地址 100000 北京市丰台区汽车博物馆东
路6号院3号楼10层1单元1001内18室
(72)发明人 娄帅 郑超 林韶宾 党中华
张文凤 司同 龙禹 王佳明
田俊
(74)专利代理机构 北京冠和权律师事务所
11399
专利代理师 赵银萍
(51)Int.Cl.
G06F
16/22
(2019 .01)
G06F
16/27
(2019 .01)
G06F
16/28
(2019 .01)
G06F
16/174
(2019 .01)
(56)对比文件
CN 103188346 A ,2013 .07 .03
CN 112487093 A ,2021 .03 .12
US 2021297480 A1 ,2021 .09 .23
审查员 陈菲菲
(54)发明名称
一种基于HTAP数据库的分布式储存方法
(57)摘要
本发明提供了一种基于HTAP数据库的分布
式储存方法，方法包括：通过数据导入系统获取
数据源中的数据，并存储于HTAP数据库的存储引
擎中；处理器将数据分散存储到各进程的服务器
中，构建数据在一组进程的分布式存储；根据数
据上已有分布式存储中源并行剖分，对数据进行
重新分布，构建数据上与源并行剖分对应的目标
并行剖分的分布式存储；根据数据在一组进程的
分布式存储及目标并行剖分的分布式存储，构建
分布式存储模型，采用自适应适量查找压缩算法
进行数据压缩并加密实现HTAP数据库的分布式
储存。本发明实现了实时业务决策，避免了繁琐
且昂贵的数据仓库技术操作，更快地对最新数据
分析；构建分布式存储，降低每个进程的工作负
荷。
权利要求书3页 说明书8页 附图2页
CN 115438046 B
2023.03.28
CN 115438046 B
1 .一种基于HTAP数据库的分布式储存方法，其特征在于，包括以下步骤：
通过数据导入系统获取数据源中的数据，并存储于HTAP数据库的存储引擎中；处理器
将数据分散存储到各进程的服务器中，构建数据在一组进程的分布式存储；
构建数据上与源并行剖分对应的目标并行剖分的分布式存储，构建分布式存储模型实
现HTAP数据库的分布式储存；
构建数据在一组进程的分布式存储包括：
接收要存储在具有多个各进程的服务器中的数据；
处理器计算负载平衡状态，各处理器按照计算时间相等的原则，以其速度为权值划分
计算量，再根据计算量划分确定数据剖分；
确定数据剖分后，接收与数据的至少一个特性相关联的信息，基于与数据相关联的特
性来分区数据以存储在服务器中，将所分区的数据存储在与多个数据服务器相关联的存储
单元中；
处理器计算负载平衡状态的公式为：
其中，h表示平衡诊断量，
M
表示处理器数量，处理器与进程一一对应，
z
表示为处理器的
序号， 表示处理器运行一次的计算时间， 表示序号为1的处理器运行一次的计算时间，
表示预定义的处理器的负载平衡阈值；
负载平衡状态的浮动控制方程为：
其中， 表示序号为
i
处理器上的
j
个进程的负载度， 表示
j
个进程的总负
载度，
M
表示处理器的数量，
n
表示各个数据的数量， 表示在序号为
i
处理器上的第
j
个进
程访问的次数， 表示序号为
i
处理器上的
j
个进程的独立性， 表示在序号为
i
的处
理器上的
j
个进程执行的时间， 表示序号为
i
的处理器上的
j
个进程花费的执行的时
间比重。
2.如权利要求1所述的基于HTAP数据库的分布式储存方法，其特征在于，存储引擎包
括：
权 利 要 求 书
1/3 页
2
CN 115438046 B
2
存储引擎模块，当查询及数据导入服务模块需要查询数据的时候都要向HTAP数据库发
出请求；
存储引擎助手模块；主要负责为存储引擎模块提供可靠性保障，将存储引擎模块序列
化到磁盘的数据通过多副本机制存放，同时维护了副本之间的一致性；
数据导入服务模块，根据存储引擎模块的负载情况实现负载均衡；
查询模块，是一个分布式的查询引擎，当处理器指派一个存储引擎模块成为主存储引
擎以后，接收并解析结构化查询语言语句，然后生成分布式逻辑执行计划优化后转为分布
式的物理执行计划，并生成物理算子分散到存储引擎模块集群中进行调度和执行。
3 .如权利要求1所述的基于HTAP数据库的分布式储存方法，其特征在于，处理器计算负
载平衡状态通过平衡诊断量与预定义的处理器的负载平衡阈值进行比对，当平衡诊断量不
大于预定义的处理器的负载平衡阈值时，则处理器正常根据计算量划分确定数据剖分；当
平衡诊断量大于预定义的处理器的负载平衡阈值时，则按照最小的平衡诊断量的数值进行
计算量划分确定数据剖分；通过平衡诊断量与预定义的处理器的负载平衡阈值进行比对确
保处理器不会超载。
4 .如权利要求3所述的基于HTAP数据库的分布式储存方法，其特征在于，处理器的负载
平衡状态的浮动控制在6%以内。
5 .如权利要求1所述的基于HTAP数据库的分布式储存方法，其特征在于，根据数据上已
有分布式存储中源并行剖分，对数据进行重新分布，构建数据上与源并行剖分对应的目标
并行剖分的分布式存储。
6 .如权利要求1所述的基于HTAP数据库的分布式储存方法，其特征在于，根据数据在一
组进程的分布式存储及目标并行剖分的分布式存储，构建分布式存储模型，采用自适应适
量查找压缩算法进行数据压缩并加密实现HTAP数据库的分布式储存。
7 .如权利要求6所述的基于HTAP数据库的分布式储存方法，其特征在于，分布式存储模
型的构建方法包括：
对在一组进程的分布式存储及目标并行剖分的数据按照类型分类；
抽取数据特征，作为分配到各服务器存储的分散因子；
结合一致性哈希算法以分布式环境虚拟化服务器作为数据存储核心，应用动态分配策
略将虚拟化服务器动态地分配到一致性哈希环形空间，依据抽取的特征信息将数据均匀地
分配到各虚拟存储服务器；
虚拟服务器存储节点内部使用面向对象数据库收集和管理；同时与处理器交换数据属
性信息及元数据信息，虚拟磁盘空间以支持直接寻址法的文件目录结构存储数据，通过面
向对象数据库建立索引支持对数据的并发模糊检索。
8.如权利要求6所述的基于HTAP数据库的分布式储存方法，其特征在于，自适应适量查
找压缩算法进行数据压缩具体包括：
编码器第一次读取重新分布后数据，编码器初始化码书，码书中的每一个码字均由序
列标识和内容标识组成，第一次接收数据码书中是没有内容的，码书将数据编码写入第一
个序列标识，将重新分布后数据写入第一个内容标识，并将码字写入存储数据流；
再次读取重新分布后数据时进行查找操作，如果在码书中找到内容标识，使内容标识
与再次读取重新分布后数据相同，那么取出内容标识对应的序列标识，将序列标识写入存
权 利 要 求 书
2/3 页
3
CN 115438046 B
3
of 14
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
1
2
9-数据库人的进阶之路：从PG分区、SQL优化到拥抱AI未来（罗敏）.pptx
3
1-PG版本兼容性案例（彭冲）.pptx
4
2-TDSQL PG在复杂查询场景中的挑战与实践-opensource.pdf
5
6-PostgreSQL 哈希索引原理浅析（文一）.pdf
6
3-AI时代的变革者-面向机器的接口语言(MOQL)_吕海波.pptx
7
8-基于PG向量和RAG技术的开源知识库问答系统MaxKB.pptx
8
4-IvorySQL V4：双解析器架构下的兼容性创新实践.pptx
9
7-拉起PG好伙伴DifySupaOdoo.pdf
10
《云原生安全攻防启示录》李帅臻.pdf
相关文档
评论