一种基于OpenCL实现时序数据延迟压缩的方法_CN117112197A_上海沄熹科技有限公司.pdf
免费下载
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202310760591 .1
(22)申请日 2023 .06.27
(71)申请人 上海沄熹科技有限公司
地址 200120 上海市浦东新区中国（上海）
自由贸易试验区张东路1158号、丹桂
路1059号2幢305-22室
(72)发明人 苑晓龙 金宁
(74)专利代理机构 济南信达专利事务所有限公
司 37100
专利代理师 冯春连
(51)Int.Cl .
G06F
9/50
(2006 .01)
G06F
9/54
(2006 .01)
G06F
15/16
(2006 .01)
(54)发明名称
一种基于OpenCL实现时序数据延迟压缩的
方法
(57)摘要
本发明公开一种基于OpenCL实现时序数据
延迟压缩的方法，涉及数据处理技术领域，包括：
设 计 结 构 体 C L S e r i e s 、C L L a z y B u f f e r 、
CLUncompressedChunk、CLCompressedChunk；注
册事件处理器，定义REDISMODULE_EVENT_TS_
CHUNK类型事件并发送，事件处理器根据不同的
事件类型和延迟压缩策略中的控制参数驱动是
否协调GPU执行实现了压缩算法的内核程序；定
义内存管理器，为未压缩和已压缩数据块申请和
回 收 内 存 空 间 ；C P U 将 共 享 内 存 空间 映 射 为
CLSeries中间接引用CLUncompressedChunk和
CLCompressedChunk的指针；CPU处理器响应客户
端 写 入 时 序 数 据 请 求 时 ， 通 过
CLUncompressedChunk填充时序数据，事件处理
器接收到REDISMODULE_EVENT_TS_CHUNK事件，触
发延迟压缩策略，GPU处理器压缩数据并填充到
C L C o m p r e s s e d C h u n k ，C P U 处 理 器 用
CLCompressedChunk的压缩数据替换基数树的原
对应数据。本发明可以降低数据库进程的CPU和
内存空间的占用率。
权利要求书2页 说明书6页 附图3页
CN 117112197 A
2023.11.24
CN 117112197 A
1 .一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于,包括如下步骤：
S1、设计CLSeries结构体、CLLazyBuffer结构体、CLUncompressedChunk结构体、
CLCompressedChunk结构体，作为时序数据异构延迟压缩数据的存储容器和辅助工具，将
cl_uncompressed_chunk定义为CLUncompressedChunk具体实例对象，将cl_compressed_
chunk定义为CLCompressedChunk具体实例对象；
S2、执行RedisModule_Onload函数，在RedisModule_Onload函数中通过RedisModule_
SubscribeToServer函数以回调函数的方式来注册事件处理器EvtTsChunkHandler；
定义REDISMO DULE_EVENT_ TS_CHUNK类型事件，通过Red is Mod ule的 API增加
RedisModule_FireServerEvent函数来发送定义的事件；
事件处理器EvtTsChunkHandler根据不同的事件类型和延迟压缩策略中的控制参数驱
动是否协调GPU执行实现了压缩算法的内核程序；
S3、定义CPU和GPU异构处理器共享内存区域的内存管理器CLMemoryManager，来为
CLUncompressedChunk结构体和CLCompressedChunk结构体申请和回收内存空间，该空间为
CPU与GPU的共享内存空间；
C L S e r i e s结 构体 中 的 前 缀 基 数 树 完 全 由 C P U 来 管 理 ，C P U 调用O p e n C L 标 准 的
CLEnqueueMapBuffer函数将上述申请的共享内存空间映射为CLSeries结构体中间接引用
cl_uncompressed_chunk和cl_compressed_chunk的指针；
S4、CPU处理器响应客户端写入时序数据请求为cl_uncompressed_chunk填充时序数据
时，事件处理器EvtTsChunkHandler接收到REDISMODULE_EVENT_TS_CHUNK事件，触发延迟压
缩策略，随后GPU处理器会将cl_uncompressed_chunk中的填充数据压缩并填充到cl_
compressed_chunk中，最后，CPU处理器用cl_compressed_chunk的压缩数据(即节点6)替换
基数树中与CLUncompressedChunk结构体相一致的未压缩填充数据。
2 .根据权利要求1所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
执行步骤S1，设计的CLSeries结构体定义了lazy_comp_flag标识和lazy_buffer指针，还定
义了NewSeries、AddSample、SeriesTrim三种函数，其中，
lazy_comp_flag标识用于定义时序数据序列是否采用延迟压缩策略；
lazy_buffer指针引用CLLazyBuffer结构体；
C L L a z y B u f f e r 结 构 体 中 定 义 了 指 向 C L U n c o m p r e s s e d C h u n k 结 构 体 和
CLCompressedChunk结构体的共享内存空间的指针 ,还定义了CLLazyCompress函数，
CLLazyCompress函数定义了延迟压缩策略；
CLUncompressedChunk结构体用于存储未压缩的数据块；
CLCompressedChunk结构体用于存储压缩的数据块。
3 .根据权利要求2所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
CLLazyCompress函数定义的延迟压缩策略为：
当cl_uncompressed_chunk的size大于等于”capacity*compress_factor”阈值时，调
用OpenCL标准定义的clEnqueueTask函数执行内核将CLUncompressedChunk结构体中时序
数据压缩后存储到cl_compressed_chunk的内存空间中。
4 .根据权利要求2所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
CLUncompressedChunk结构体用于存储未压缩的数据块，其具体定义了基准时间戳、样本、
权 利 要 求 书
1/2 页
2
CN 117112197 A
2
样本个数、样本大小。
5 .根据权利要求4所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
CLCompressedChunk结构体用于存储压缩的数据块，其具体定义了大小、个数、标识、基准
值、基准时间戳、数据。
6 .根据权利要求1所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
执行步骤S2，定义的REDISMODULE_EVENT_TS_CHUNK事件类型包括如下三种：
REDISMODULE_SUBEVENT_TS_CHUNK_NEW，
REDISMODULE_SUBEVENT_TS_CHUNK_SPLIT，
REDISMODULE_SUBEVENT_TS_CHUNK_DEL；
REDISMODULE_EVENT_TS_CHUNK事件关联的数据即CLSeries结构体的NewSeries、
AddSample、SeriesTrim三种函数，其中，
NewSeries函数和AddSample函数对NewChunk函数的调用会触发新建事件，
AddSample函数对SplitChunk函数的调用会触发拆分事件，
SeriesTrim函数对FreeChunk函数的调用会触发删除事件。
7 .根据权利要求1所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
执行步骤S3，内存管理器CLMemoryManager包括如下相关函数：
RedisModule_CL_Alloc：通过OpenCL标准定义的clCreateBuffer函数通过传递设置为
“CL_MEM_ALLOC_HOST_PTR”的参数申请指定大小的内存空间；
RedisModule_CL_Free：通过OpenCL标准定义的clReleaseMemObject函数释放内存；
RedisModule_CL_Calloc：与RedisModule_CL_Alloc同样的操作申请内存空间，并对空
间逐一进行初始化设置值为0；
RedisModule_CL_Realloc：通过OpenCL标准定义的clCreateBuffer函数通过传递设置
为“CL_MEM_ALLOC_HOST_PTR”的参数 ,并基于指定的地址作为起始地址，申请指定大小的内
存空间 ,即基于起始地址扩展内存空间；
RM_CL_MallocUsableSize：计算通过OpenCL标准申请内存空间中已使用空间大小。
8.根据权利要求1所述的一种基于OpenCL实现时序数据延迟压缩的方法，其特征在于，
执行步骤S4，设计实现数据块回收策略，
回收cl_uncompressed_chunk中已经被压缩的数据块，并基于cl_uncompressed_chunk
中未压缩数据块的地址申请capacity大小的内存空间，以便继续存储客户端写入的时序数
据；
回收cl_compressed_chunk中除最后一个压缩数据块之外的数据块，基于最后一个压
缩数据块的地址申请capacity大小的内存空间，以便存储下次压缩后的时序数据；
这一过程中，调用OpenCL的clEnqueueUnmapMemObject函数解除已经回收的共享内存
空间的映射。
权 利 要 求 书
2/2 页
3
CN 117112197 A
3
of 12
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论