一种基于RocksDB的大内存优化方法及系统_CN114138788A_上海沄熹科技有限公司.pdf
免费下载
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 202111455328.9
(22)申请日 2021.12.01
(71)申请人 浪潮云信息技术股份公司
地址 250100 山东省济南市高新区浪潮路
1036号浪潮科技园S01号楼
(72)发明人 翟延成 梁波 张炜刚
(74)专利代理机构 济南信达专利事务所有限公
司 37100
代理人 郗艳荣
(51)Int.Cl.
G06F
16/22
(2019 .01)
G06F
12/02
(2006 .01)
G06F
12/122
(2016 .01)
(54)发明名称
一种基于RocksDB的大内存优化方法及系统
(57)摘要
本发明特别涉及一种基于RocksDB的大内存
优化方法及系统。该基于RocksDB的大内存优化
方法及系统，将写满的内存表Mem Table转换成
只读型内存表imMemTable，并放入imline链式队
列内；判断imline链式队列成员数量是否超出阈
值，若超出则跳转到第三步，否则继续写入；将选
择的待合并的只读型内存表imMemTable合并成
一个更大的只读型内存表imMemTable ，并放入
imline链式队列内；判断内存使用量是否超过了
阈值，若超出则跳转回第三步，否则继续写入；选
择 i m l i n e 链 式 队 列 中 的 只 读 型 内 存 表
imMemTable进行Flush，将选择的只读型内存表
imMemTable放入后台Flush线程中刷新到磁盘。
该基于RocksDB的大内存优化方法及系统，利用
现有硬件内存容量足够大的优势，减少Rocksdb
中Flush到磁盘的频率，从而降低了写入放大和
磁盘占用，保障了Rocksdb数据库的使用性能。
权利要求书2页 说明书4页 附图2页
CN 114138788 A
2022.03.04
CN 114138788 A
1 .一种基于RocksDB的大内存优化方法，其特征在于：包括以下步骤：
第一步，增加imline链式队列，将写满后的内存表Mem Table转换成只读型内存表
imMemTable，并将其放入imline链式队列内；
第二步，判断imline链式队列成员数量是否超出阈值，若超出则跳转到第三步，否则继
续写入操作；
第三步，选择待合并的只读型内存表imMemTable ，将选择的待合并的只读型内存表
imMemTable合并成一个更大的只读型内存表imMemTable，并将其放入imline链式队列内；
合并完成后，将已完成合并的只读型内存表imMemTable从imline链式队列中删除并清理；
第四步，判断内存使用量是否超过了阈值，若超出则跳转回第三步，否则继续写入操
作；
第五步，选择imline链式队列中的只读型内存表imMemTable进行刷盘Flush，将选择的
只读型内存表imMemTable放入后台刷盘Flush线程中刷新到磁盘。
2.根据权利要求1所述的基于RocksDB的大内存优化方法，其特征在于：所述第三步中，
采用最近最不经常使用算法LFU，根据只读型内存表imMemTable的访问频率，选择待合并的
只读型内存表imMemTable。
3 .根据权利要求1所述的基于RocksDB的大内存优化方法，其特征在于：所述第五步中，
采用最近最不经常使用算法LFU，根据内存使用量和只读型内存表imMemTable的访问频率，
选择imline链式队列中的只读型内存表imMemTable。
4 .根据权利要求1～3所述的基于RocksDB的大内存优化方法的系统，其特征在于：包
括：
内存表Mem Table管理模块，负责将写满后的内存表Mem Table转换成只读型内存表
imMemTable，将选择的待合并的只读型内存表imMemTable合并成一个更大的只读型内存表
imMemTable；
imline链式队列模块，用于创建imline链式队列，并将只读型内存表imMemTable放入
imline链式队列内；
imline链式队列判断模块，用于判断imline链式队列成员数量是否超出阈值，并根据
判断结果发出操作指令，若imline链式队列成员数量超出阈值则跳转到第三步，否则继续
写入操作；
内存使用量判断模块，用于判断内存使用量是否超出阈值，并根据判断结果发出操作
指令，若内存使用量超出阈值则跳转回第三步，否则继续写入操作；
线程管理模块，负责选择imline链式队列中的只读型内存表imMemTable进行刷盘
Flush，并将选择的只读型内存表imMemTable放入后台刷盘Flush线程中刷新到磁盘。
5 .根据权利要求4所述的基于RocksDB的大内存优化方法的系统，其特征在于：所述内
存表Mem Table管理模块采用最近最不经常使用算法LFU，根据只读型内存表imMemTable的
访问频率，选择待合并的只读型内存表imMemTable。
6 .根据权利要求4所述的基于RocksDB的大内存优化方法的系统，其特征在于：包括所
述线程管理 模块采 用最 近最 不经常 使 用算法LFU ，根 据内存使 用量 和只读型内 存表
imMemTable的访问频率，选择imline链式队列中的只读型内存表imMemTable。
7 .一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程
权 利 要 求 书
1/2 页
2
CN 114138788 A
2
序，所述处理器执行所述计算机程序时实现权利要求1～3所述的基于RocksDB的大内存优
化方法的步骤。
8.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被
处理器执行时实现权利要求1～3所述的基于RocksDB的大内存优化方法的步骤。
权 利 要 求 书
2/2 页
3
CN 114138788 A
3
of 9
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论