暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
文档 / 一种兼容数据仓库和数据湖的数据存储平台构建方法_徐辛_CN 114528273 A_石原子科技.pdf
一种兼容数据仓库和数据湖的数据存储平台构建方法_徐辛_CN 114528273 A_石原子科技.pdf
StoneDB
207
6页
0次
2022-11-28
25墨值下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210031313.8
(22)申请日 2022.01.12
(71)申请人 杭州石原子科技有限公司
地址 310000 浙江省杭州市余杭区五常街
道西坝路51号B座203、204室
(72)发明人 徐辛　
(74)专利代理机构 沈阳工匠智诚知识产权代理
事务所(普通合伙) 21256
专利代理师 孙楠
(51)Int.Cl.
G06F
16/21
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/28
(2019 .01)
(54)发明名称
一种兼容数据仓库和数据湖的数据存储平
台构建方法
(57)摘要
本发明公开的属于数据处理技术领域，具体
为一种兼容数据仓库和数据湖的数据存储平台
构建方法，包括以下步骤：步骤1：采用列式存储
以及行列混存对数据湖和数据仓库的数据进行
存储；步骤2：对数据仓库和数据湖的存储层进行
整合，并采用分区的方式独立区隔数据湖和数据
仓储的存储区域；步骤3：构建统一的元数据管理
层，通过本层实现对上层应用负载屏蔽底层存储
实现细节，提供对上层应用负载的统一数据服
务，本发明不仅可以保证数据湖和数据仓库的正
常使用，还可以解决在两个产品之间存在的数据
冗余问题并向用户提供全局统一的数据管理视
图，进一步的还能够减少并简化了技术栈，减少
整体的管理和运维成本减少数据冗余和存储成
本。
权利要求书1页 说明书3页 附图1页
CN 114528273 A
2022.05.24
CN 114528273 A
1 .一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：包括以下步骤：
步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；
步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和
数据仓储的存储区域；
步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细
节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数据管
理视图；
其中所述元数据管理层包括数据仓库、数据湖的应用负载层与数据平台层，且数据平
台层包括数据层和元数据管理及数据管控层。
2.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述数据层用于存储数仓和数据湖中真实的物理数据，且数据层包括：Raw，数据湖
内的原始数据；Modeled，数据仓库内经过加工处理后的结果数据；Staging，数据仓库内进
行数据加工处理时需要临时保存的暂存数据。
3 .根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述元数据管理及数据管控层用于管理下层数据层内的全部数据，并通过元数据
提供对上层的统一数据服务，且元数据管理及数据管控层包括：数据管控，面向下层数据层
内数据的管控功能，可以实现数据分区，数据监控，数据统一管理等服务；元数据管理，元数
据管理基于数据管控功能，提取和保存所有存储在数据层中数据的元数据，并通过Unity
catalog的形式向上层的应用负载提供统一的数据服务。
4 .根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特
征在于：所述步骤1中数据湖和数据仓库的数据存储与计算相互分离。
权　利　要　求　书
1/1 页
2
CN 114528273 A
2
一种兼容数据仓库和数据湖的数据存储平台构建方法
技术领域
[0001]
本发明涉及数据处理技术领域，具体为一种兼容数据仓库和数据湖的数据存储平
台构建方法。
背景技术
[0002]
现状：随着大数据时代的到来，越多越多的大数据产品出现，其中数据仓库和数据
湖是两种比较有代表性的大数据产品为用户提供服务。
[0003]
1 .数据湖：数据湖是对各类未经处理的原始数据的存储，包括任意规模的结构化、
半结构化和非结构化数据，需要支持对所有用户的便利访问。数据湖可以被用来当作数仓
或其他大数据应用的数据来源。
[0004]
2 .数据仓库：数据仓库适用于作为一般分析的数据库选择，包括报表、数据大盘、
交互式分析和其他高性能分析。数仓一般仅包含经过处理和精炼的数据。
[0005]
问题：
[0006]
因为两种产品的使用场景不同，数据湖存储未经加工的原始数据数据，包括结构
化、半结构化和非结构化，数据仓库存储经过处理和精炼的数据。所以一般情况下会被当做
两个彼此独立的产品为用户提供服务，数据湖和数据仓库分别管理各自内部的数据，这种
现状所带来的问题主要包括两方面：
[0007]
1 .存在着大量的数据冗余，造成极大的存储成本浪费
[0008]
企业中同时存在着大量的即需要保留原始数据，同时又要做经一处理和精炼的数
据，那么这部分数据就需要被同时保存在数据湖和数据仓库中，造成存储成本浪费
[0009]
2.无法面向用户提供全局统一的数据管理视图
[0010]
这个问题比较容易理解，因为在两个产品之间存在着大量的相同数据，而且数据
湖和数据仓库两个产品的数据目录是彼此独立的，这就造成了用户无法全局统一的对数据
进行管理，无法看清全局数据全貌。
发明内容
[0011]
本发明的目的在于提供一种兼容数据仓库和数据湖的数据存储平台构建方法，以
解决上述背景技术中提出的存在着大量的数据冗余，造成极大的存储成本浪费、无法面向
用户提供全局统一的数据管理视图的问题。
[0012]
为实现上述目的，本发明提供如下技术方案：一种兼容数据仓库和数据湖的数据
存储平台构建方法，包括以下步骤：
[0013]
步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；
[0014]
步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据
湖和数据仓储的存储区域；
[0015]
步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实
现细节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数
说　明　书
1/3 页
3
CN 114528273 A
3
of 6
25墨值下载
stonedbpatent
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

文档被以下合辑收录

StoneDB学术分享会（共19篇）
解读最新的前沿数据库论文，重点关注HTAP相关学术进展

相关文档

【GoldenDB】一种分布式数据库的License管理方法、装置、系统及介质_CN202411939226.8_金篆信科有限责任公司.pdf
1浏览
【GoldenDB】数据传输方法、装置、计算机设备及存储介质_​​​202311798705.8_金篆信科有限责任公司.PDF
1浏览
【GoldenDB】数据库的数据迁移方法、装置、计算机设备及存储介质_​​​202311826157.5_金篆信科有限责任公司.PDF
8浏览
【GoldenDB】数据库日志的同步系统、方法、存储介质以及电子设备_CN202411916143.7_金篆信科有限责任公司.pdf
6浏览
【GoldenDB】数据库双向数据同步方法、装置、电子设备及存储介质_​​​202311811465.0_金篆信科有限责任公司.PDF
12浏览
【GoldenDB】一种分布式数据库变更数据检索方法、装置、设备及介质_CN202411914568.4_金篆信科有限责任公司.pdf
21浏览

评论