基于用户空间文件系统的时序数据分区压缩方法及系统_CN116974993A_上海沄熹科技有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310430669.3
(22)申请日 2023 .04 .21
(71)申请人 上海沄熹科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区张东路1158号、丹桂
路1059号2幢305-22室
(72)发明人 张晖 张炜刚 贾德星
(74)专利代理机构 济南信达专利事务所有限公
司 37100
专利代理师 潘悦梅
(51)Int.Cl .
G06F
16/14
(2019 .01)
G06F
16/174
(2019 .01)
G06F
16/11
(2019 .01)
(54)发明名称
基于用户空间文件系统的时序数据分区压
缩方法及系统
(57)摘要
本发明公开了基于用户空间文件系统的时
序数据分区压缩方法及系统，属于数据处理技术
领域，要解决的技术问题为如何对时序数据进行
分区压缩存储，在不影响数据读取的情况下，减
少存储占 用。包括如下步骤：按照预定时间期限
对时序数据进行分区，形成热分区和冷分区，热
分区内数据为当前或预定期限内的热数据，冷分
区内数据为超过预定时间期限的冷数据；对于热
分区内数据，以原存储格式进行读写；定时对冷
分区内数据进行压缩，在冷分区内数据压缩完毕
后，将冷分区内原始数据删除，只保留形成的压
缩文件，压缩文件支持读写和查询、但不支持修
改；在用户空间文件系统中配置用于读取压缩文
件的接口，在不解压的情况下、通过接口读取冷
分区内压缩文件。
权利要求书2页 说明书6页 附图1页
CN 116974993 A
2023.10.31
CN 116974993 A
1 .一种基于用户空间文件系统的时序数据分区压缩方法，其特征在于，包括如下步骤：
按照预定时间期限对时序数据进行分区，形成热分区和冷分区，热分区内数据为当前
或预定期限内的热数据，冷分区内数据为超过预定时间期限的冷数据；
对于热分区内数据，以原存储格式进行读写；
对于冷分区，定时对冷分区内数据进行压缩，在冷分区内数据压缩完毕后，将冷分区内
原始数据删除，只保留形成的压缩文件，所述压缩文件支持读写和查询、但不支持修改；
在用户空间文件系统中配置用于读取压缩文件的接口，在不解压的情况下、通过所述
接口读取冷分区内压缩文件。
2.根据权利要求1所述的基于用户空间文件系统的时序数据分区压缩方法，其特征在
于，对于冷分区，通过标准压缩方式定时对冷分区内数据进行压缩，所述标准压缩方式包括
ZIP、TAR、GZIP。
3 .根据权利要求1所述的基于用户空间文件系统的时序数据分区压缩方法，其特征在
于，对于冷分区，定时对冷分区内数据进行压缩时，冷分区内原始的数据仍存在并支持查询
服务，当冷分区内所有数据压缩完毕且原始的数据读取结束，将冷分区内原始的数据删除，
只保留形成的压缩文件。
4 .根据权利要求1‑3任一项所述的基于用户空间文件系统的时序数据分区压缩方法，
其特征在于，所述接口的形式为如下形式：
通过v_open接口打开压缩文件并获取访问句柄，无论是压缩的文件还是目录都可以打
开；
通过v_lseek接口进行压缩文件读取偏移字节数；
通过v_read接口进行压缩文件数据读取，返回读取长度。
5 .根据权利要求4所述的基于用户空间文件系统的时序数据分区压缩方法，其特征在
于，通过所述接口读取冷分区内压缩文件，包括如下步骤：
通过v_open进行路径解析，获取压缩文件ts_d1 .zip的位置，以及要读取的压缩文件内
的具体文件路径table .data，读取压缩文件的元数据获取具体文件路径table .data在压缩
文件ts_d1 .zip的起始位置file_offset；
v_lseek记录应该偏移的offset ,记录到指针对象里；
v_read会根据起始位置file_offset和文件头大小找到table .data的压缩数据开始位
置，每次读取预定长度字节压缩数据,然后使用inflate算法解压 ,解压后的数据总长度如
果仍然小于v_lseek设置的偏移offset，继续读取定长度字节压缩数据,如此反复 ,直到总
长度超过了offset；
根据已经解压的数据和offset偏移位置开始，将解压数据复制返回，如果解压数据不
够就继续读取定长度字节压缩数据，然后解压，返回数据，直到完成数据读取。
6 .一种基于用户空间文件系统的时序数据分区压缩系统，其特征在于，用于执行如权
利要求1‑5任一项所述的基于用户空间文件系统的时序数据分区压缩方法对时序数据进行
分区压缩，所述系统包括分区压缩模块和查询读取模块：
所述分区压缩模块用于按照预定时间期限对时序数据进行分区，形成热分区和冷分
区，热分区内数据为当前或预定期限内的热数据，冷分区内数据为超过预定时间期限的冷
数据；
权 利 要 求 书
1/2 页
2
CN 116974993 A
2
对于热分区内数据，所述分区压缩模块用于以原存储格式进行读写；
对于冷分区，所述分区压缩模块用于定时对冷分区内数据进行压缩，在冷分区内数据
压缩完毕后，将冷分区内原始数据删除，只保留形成的压缩文件，所述压缩文件支持读写和
查询、但不支持修改；
所述查询读取模块用于在用户空间文件系统中配置用于读取压缩文件的接口，在不解
压的情况下，通过所述接口读取冷分区内压缩文件。
7 .根据权利要求6所述的基于用户空间文件系统的时序数据分区压缩系统，其特征在
于，对于冷分区，所述分区压缩模块用于通过标准压缩方式定时对冷分区内数据进行压缩，
所述标准压缩方式包括ZIP、TAR、GZIP。
8.根据权利要求6所述的基于用户空间文件系统的时序数据分区压缩系统，其特征在
于，对于冷分区，定时对冷分区内数据进行压缩时，冷分区内原始的数据仍存在并支持查询
服务，当冷分区内所有数据压缩完毕且原始的数据读取结束，所述分区压缩模块用于将冷
分区内原始的数据删除，只保留形成的压缩文件。
9.根据权利要求6‑8任一项所述的基于用户空间文件系统的时序数据分区压缩系统，
其特征在于，所述接口的形式为如下形式：
通过v_open接口打开压缩文件并获取访问句柄，无论是压缩的文件还是目录都可以打
开；
通过v_lseek接口进行压缩文件读取偏移字节数；
通过v_read接口进行压缩文件数据读取，返回读取长度。
10.根据权利要求9所述的基于用户空间文件系统的时序数据分区压缩系统，其特征在
于，所述查询读取模块用于调用接口、通过如下操作读取压缩文件：
通过v_open进行路径解析，获取压缩文件ts_d1 .zip的位置，以及要读取的压缩文件内
的具体文件路径table .data，读取压缩文件的元数据获取具体文件路径table .data在压缩
文件ts_d1 .zip的起始位置file_offset；
v_lseek记录应该偏移的offset ,记录到指针对象里；
v_read会根据起始位置file_offset和文件头大小找到table .data的压缩数据开始位
置，每次读取预定长度字节压缩数据,然后使用inflate算法解压 ,解压后的数据总长度如
果仍然小于v_lseek设置的偏移offset，继续读取定长度字节压缩数据,如此反复 ,直到总
长度超过了offset；
根据已经解压的数据和offset偏移位置开始 ,将解压数据复制返回 ,如果解压数据不
够那就继续读取定长度字节压缩数据，然后解压，返回数据，直到完成数据读取。
权 利 要 求 书
2/2 页
3
CN 116974993 A
3
of 10
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
下载排行榜
1
2
centos7下oracle11.2.0.4 rac安装详细图文（虚拟机模拟多路径）.docx
3
白鳝-DBAIOPS：国产化替换浪潮进行时，信创数据库该如何选型？.pdf
4
PostgreSQL 缓存命中率低？可以这么做.doc
5
达梦数据2024年年度报告.pdf
6
李飞-AI 引领的企业级智能分析架构演进与行业实践.pdf
7
刘杰-江苏广电：从Oracle+Hadoop到TiDB，数据中台、实时数仓运维0负担.pdf
8
刘晓国-基于 Elasticsearch 创建企业 AI 搜索应用实践.pdf
9
晋鑫宇_AI Agent 赋能社交媒体-构建未来社交生态的核心驱动力.pdf
10
Sunny duan-大模型安全挑战与实践：构建 AI 时代的安全防线.pdf
相关文档
评论