基于传感器监测数据文件的数据库管理系统_CN110321392A_海量数据.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201910556574.X
(22)申请日 2019 .06 .25
(71)申请人 北京海量数据技术股份有限公司
地址 100083 北京市海淀区学院路30号科
大天工大厦B座6层01室
(72)发明人 黄晓涛 张志杰
(74)专利代理机构 北京市商泰律师事务所
11255
代理人 孙洪波
(51)Int .Cl.
G06F
16/28
(2019 .01)
G06F
16/245
(2019 .01)
(54)发明名称
基于传感器监测数据文件的数据库管理系
统
(57)摘要
本发明提供了一种基于传感器监测数据文
件的数据库管理系统，包括：关系型数据库管理
子系统和文件外部数据包装器；关系型数据库管
理子系统，用于创建数据库和外部表，同时用于
接收来自客户端的检索条件，并根据所述检索条
件查询所述的外部表，进而直接访问传感器监测
数据文件，并以结构化数据格式返回 ；文件外部
数据包装器，用于根据外部表的查询命令的检索
条件，获取传感器监测数据文件对应的路径和文
件名，然后读取文件内容、解析文件内容并将文
件内容格式化成结构化数据，并将所述结构化数
据返回给外部表的查询命令。本系统可以提高对
监测数据文件访问的灵活性和访问效率。
权利要求书1页 说明书4页 附图1页
CN 110321392 A
2019.10.11
CN 110321392 A
1 .一种基于传感器监测数据文件的数据库管理系统，其特征在于，包括：关系型数据库
管理子系统和文件外部数据包装器；
所述的关系型数据库管理子系统，用于创建数据库和外部表，同时用于接收来自客户
端的检索条件，并根据所述检索条件查询所述的外部表，进而直接访问传感器监测数据文
件，并以结构化数据格式返回；
所述的文件外部数据包装器，用于根据外部表的查询命令的检索条件，获取传感器监
测数据文件对应的路径和文件名，然后读取文件内容、解析文件内容并将文件内容格式化
为结构化数据，并将所述结构化数据返回给外部表的查询命令。
2.根据权利要求1所述的系统，其特征在于，所述的关系型数据库管理子系统，具体用
于基于所述的文件外部数据包装器创建外部数据包装器服务FDW SERVER，然后基于所述的
FDW SERVER创建外部表。
3 .根据权利要求2所述的系统，其特征在于，所述的关系型数据库管理子系统包括：SQL
模块、扩展功能模块和关系型数据库存储模块；
所述的SQL模块，用于接收客户端的检索条件和解析SQL查询命令；
所述的扩展功能模块，用于加载所述的文件外部数据包装器，创建基于所述文件外部
数据包装器的FDW SERVER；
所述关系型数据库存储模块，用于存储基于所述FDW SERVER的外部表。
4 .根据权利要求3所述的系统，其特征在于，所述的FDW SERVER，用于调用所述文件外
部包装器，并将SQL语句的操作和参数传递给所述文件外部数据包装器以及接收所述文件
外部数据包装器的返回结果。
5 .根据权利要求3所述的系统，其特征在于，所述的文件外部数据包装器包括：定位模
块和解析模块；
所述的定位模块，用于接收所述关系型数据库管理子系统的SQL模块解析的SQL查询命
令，并根据解析的SQL查询命令定位和获取操作系统文件系统中的传感器监测数据文件对
应的路径和文件名；
所述的解析模块，用于读取所述的对应的路径和文件名的传感器监测数据文件的文件
内容，然后解析文件内容，并将所述的文件内容格式化成结构化数据返回给外部表的查询
命令。
6 .根据权利要求1-5任一项所述的系统，其特征在于，所述的关系型数据库管理子系统
为AtlasDB。
权 利 要 求 书
1/1 页
2
CN 110321392 A
2
基于传感器监测数据文件的数据库管理系统
技术领域
[0001]
本发明涉及数据库管理技术领域，尤其涉及一种基于传感器监测数据文件的数据
库管理系统。
背景技术
[0002]
在现今的大数据时代，各个领域都大量的使用监测设备，通过传感器实时监控和
检测各种对象的状态数据，比如环保领域中空气的PM2 .5数值、地震预测领域中的震感电磁
信号和新能源汽车关键零部件的温度等等。许多监测设备和传感器生成的是专用格式的数
据文件，多为几分钟或者几秒钟生成一个小文件，文件是按时间、设备号、信号类型等特征
分子目录有规律存放，但数量极为庞大，数据总量还是海量的。一般的情况下，要使用这些
数据，有两种方法：第一：转换成结构化数据以文本方式访问；第二：导入数据库。其缺点为：
第一种方法由于单个文件小且数量庞大，会因文件系统inode数量过大而导致访问效率极
低，且转换成结构化文本也非常麻烦，所以只能在需要用到特点数据的时候进行部分文件
的下载和转换，严重影响使用者的工作效率，每次分析文件数据内容至少需要几十分钟；第
二种方法由于数据量太大，每年几十TB到几百TB量级的数据需要入库，必然会使用分布式
的数据库系统，这个平台的建设费用将会比较高昂，且架构的复杂程度会导致运维的难度
很高。
[0003]
因此，亟需一种可以提高对监测数据文件访问的灵活性及效率的系统。
发明内容
[0004]
本发明提供了一种基于传感器监测数据文件的数据库管理系统，以解决以上问
题。
[0005]
为了实现上述目的，本发明采取了如下技术方案。
[0006]
本发明提供了一种基于传感器监测数据文件的数据库管理系统，包括：关系型数
据库管理子系统和文件外部数据包装器；
[0007]
所述的关系型数据库管理子系统，用于创建数据库和外部表，同时用于接收来自
客户端的检索条件，并根据所述检索条件查询所述的外部表，进而直接访问传感器监测数
据文件，并以结构化数据格式返回；
[0008]
所述的文件外部数据包装器，用于根据外部表的查询命令的检索条件，获取传感
器监测数据文件对应的路径和文件名，然后读取文件内容、解析文件内容并将文件内容格
式化为结构化数据，并将所述结构化数据返回给外部表的查询命令。
[0009]
优选地，关系型数据库管理子系统，具体用于基于所述的文件外部数据包装器创
建外部数据包装器服务FDW SERVER，然后基于所述的FDW SERVER创建外部表。
[0010]
优选地，关系型数据库管理子系统包括：SQL模块、扩展功能模块和关系型数据库
存储模块；
[0011]
所述的SQL模块，用于接收客户端的检索条件和解析SQL查询命令；
说 明 书
1/4 页
3
CN 110321392 A
3
of 7
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
相关文档
评论