一种通用的实时查询引擎_王万平_CN 114756632 A_石原子科技.pdf
25墨值下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202210476729.0
(22)申请日 2022.04 .30
(71)申请人 杭州石原子科技有限公司
地址 310000 浙江省杭州市余杭区五常街
道西坝路51号B座203、204室
(72)发明人 王万平
(74)专利代理机构 北京盛凡佳华专利代理事务
所(普通合伙) 11947
专利代理师 王艳
(51)Int.Cl.
G06F
16/28
(2019 .01)
G06F
16/22
(2019 .01)
G06F
16/215
(2019 .01)
G06F
16/21
(2019 .01)
G06F
16/2455
(2019 .01)
(54)发明名称
一种通用的实时查询引擎
(57)摘要
本发明属于数仓技术领域，具体为一种通用
的实时查询引擎，包括注册模块、数据接入模块、
查询模块、数据清理模块以及FoundationDB；所
述注册模块，用于在FoundationDB上建立表格以
及注册索引，表格用于辅助数据的导入以及查
询，索引用于调用FoundationDB的查询能力；所
述数据接入模块，用于录入数据以及提供插件扩
展机制，插件扩展机制可以通过插件提取不同格
式的数据，最后将录入的数据及提取的数据写入
FoundationDB的表格中；注册模块支持数据的表
格建模，数据接入模块具有灵活的数据接入能
力，提供插件扩展机制支持各种数据格式的录
入，查询模块支持新数据的事实查询，从而实现
新写入的数据实时可查，数据清理模块可以对过
期数据进行清理，进而避免过期占用内存。
权利要求书1页 说明书3页 附图1页
CN 114756632 A
2022.07.15
CN 114756632 A
1 .一种通用的实时查询引擎，其特征在于：包括注册模块、数据接入模块、查询模块、数
据清理模块以及FoundationDB；
所述注册模块，用于在FoundationDB上建立表格以及注册索引，表格用于辅助数据的
导入以及查询，索引用于调用FoundationDB的查询能力；
所述数据接入模块，用于录入数据以及提供插件扩展机制，插件扩展机制可以通过插
件提取不同格式的数据，最后将录入的数据及提取的数据写入FoundationDB的表格中；
所述查询模块，用于通过索引调用FoundationDB的查询能力，然后对FoundationDB的
表格中的数据进行快速查询；
所述数据清理模块，用于分析FoundationDB的表格中的数据是否过期，并对表格中过
期数据进行清理。
2.根据权利要求1所述的一种通用的实时查询引擎，其特征在于：所述注册模块还包括
时间添加模块，所述时间添加模块用于为导入FoundationDB的表格中的数据添加操作时
间，操作时间也会录入在FoundationDB的表格中。
3 .根据权利要求2所述的一种通用的实时查询引擎，其特征在于：所述数据清理模块还
包括时间设定模块，所述时间设定模块用于设定过期数据的具体时间，当数据的操作时间
超过过期数据的具体时间时，该数据即为过期数据。
4 .根据权利要求2所述的一种通用的实时查询引擎，其特征在于：所述查询模块在查询
时，也可以FoundationDB的表格中的数据的操作时间对FoundationDB的表格中数据进行查
询。
5 .根据权利要求1所述的一种通用的实时查询引擎，其特征在于：所述数据接入模块在
接受新数据的录入时支持流式写入。
6 .根据权利要求1所述的一种通用的实时查询引擎，其特征在于：所述数据清理模块还
包括数据导出模块，所述数据导出模块用于导出FoundationDB的表格中的过期数据。
7 .根据权利要求1所述的一种通用的实时查询引擎，其特征在于：所述数据清理模块采
用lock‑free的引擎模型。
权 利 要 求 书
1/1 页
2
CN 114756632 A
2
一种通用的实时查询引擎
技术领域
[0001]
本发明涉及数仓技术领域，具体为一种通用的实时查询引擎。
背景技术
[0002]
数仓是数据仓库的简称。它是一个面向主题的、集成的、相对稳定的、反映历史变
化的数据集合，用于支持管理决策。不同于传统数据库对应于某一个或多个项目，数据仓库
根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都
围绕某一主题来组织。数据仓库中存储的数据是来源于多个数据源的集成，原始数据来自
不同的数据源，存储方式各不相同。数据仓库中保存的数据是一系列历史快照，不允许被修
改，用户只能通过分析工具进行查询和分析。数据仓库会定期接收新的集成数据，反应出最
新的数据变化。
[0003]
在数仓领域中，写入数据后需要经过一系列复杂的数据处理后，才可以对数据进
行查询，该过程需要较长的时间，即新写入的数据不能实时可查，数据的延时不利于对数据
进行实时追踪，也不能及时的了解到数据的变化，因此需要一种实时查询引擎，用于让新写
入的数据实时可查。
发明内容
[0004]
本发明的目的在于提供一种通用的实时查询引擎，以解决上述背景技术中提出的
目前数仓领域无法做到新写入的数据实时可查的问题。
[0005]
为实现上述目的，本发明提供如下技术方案：一种通用的实时查询引擎，包括注册
模块、数据接入模块、查询模块、数据清理模块以及FoundationDB；
[0006]
所述注册模块，用于在FoundationDB上建立表格以及注册索引，表格用于辅助数
据的导入以及查询，索引用于调用FoundationDB的查询能力；
[0007]
所述数据接入模块，用于录入数据以及提供插件扩展机制，插件扩展机制可以通
过插件提取不同格式的数据，最后将录入的数据及提取的数据写入FoundationDB的表格
中；
[0008]
所 述 查 询 模 块 ，用 于 通 过 索 引 调 用 F o u n d a t i o n D B 的 查 询 能 力 ，然 后 对
FoundationDB的表格中的数据进行快速查询；
[0009]
所述数据清理模块，用于分析FoundationDB的表格中的数据是否过期，并对表格
中过期数据进行清理。
[0010]
优选的 ，所述注册模块还包括时间添加模块 ，所述时间添加模块 用于为导入
FoundationDB的表格中的数据添加操作时间，操作时间也会录入在FoundationDB的表格
中。
[0011]
优选的，所述数据清理模块还包括时间设定模块，所述时间设定模块用于设定过
期数据的具体时间，当数据的操作时间超过过期数据的具体时间时，该数据即为过期数据。
[0012]
优选的，所述查询模块在查询时，也可以FoundationDB的表格中的数据的操作时
说 明 书
1/3 页
3
CN 114756632 A
3
of 6
25墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
文档被以下合辑收录
相关文档
评论