暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

拓扑岭雷鹏:数据库新思维下的弹性压缩与内存计算

东哥IT笔记 2022-04-30
1043

在共同推进国产化生态发展的进程下,墨天轮正式推出“国产数据库沙龙”系列直播活动,将定期邀请各国产数据库产品专家、掌门人,共同探讨如何达成技术“自主可控”的使命。


在2022年3月17日举办的第四期“键值数据库专场”活动中,拓扑岭CEO、创始人 雷鹏老师分享了《数据库新思维下的弹性压缩与内存计算》主题演讲,本文为整理内容。


导读

这两年云原生的概念非常火爆,相应的,就有了“云原生数据库”的概念,但是,绝大多数自称“云原生”的数据库,只是把“数据库软件”搬到云上,变成“数据库SaaS”,但是在其架构上,并未充分利用“云计算”的各种优势。


作为一款专为云原生而生的数据库,今天我将为大家解读在新时代背景下,ToplingDB 如何充分利用共有云存储和计算的弹性伸缩,真正为企业实现降本增效。

ToplingDB 的性能优势


ToplingDB,fork 自 RocksDB,实现了 SidePlugin 旁路插件化体系,从而,使用 ToplingDB 的代码,可仅通过配置来使用第三方组件,而不需要引入任何对第三方代码的依赖,同时,在 SidePlugin 体系内,内嵌了一个 Web Service,可以在线查看 ToplingDB 的各种配置信息和内部状态,在线修改配置,甚至在线执行一些操作(Compact/Flush……),还可以通过 web 导出 Prometheus 格式的 metrics,以最低的开发成本实现了监控。


图1 ToplingDB VS RockDB

基于维基百科中的测试数据显示,对于总共 109G,3800万条,平均长度 2.8K大规模数据,ToplingDB 的压缩率相比RocksDB 要高得多,同时在内存限制的情况下,随机读的性能高了 20 倍以上,这就是 ToplingDB 内存压缩算法的优势。


ToplingDB 新思潮:LSM Tree

1、老传统:B+Tree

RocksDB 采用传统的B + Tree,索引节点只包含Kry,同时叶子节点Kry,Value相邻存储。


这样的方式会增加管理复杂度,传统流式压缩是通用的压缩算法,不是为DB专门设计,输入输出都是字节流,无法实现高效搜索。

图2 老传统:B+Tree


2、新思潮:LSM Tree

图3 新思潮:LSM Tree

RocksDB 采用 LSM Tree,它的核心思想是“Append Only”,能够实现:随机写、降低随机读与顺序读。

图4 B+Tree VS LSM Tree

不仅如此,LSM Tree 中Compaction也提供了福利, Compact的单个 SST 涉及的数据高达数十 MB、甚至 GB 级别,给了我们在大尺度上窥视/分析数据全貌的机会。


究竟 ToplingDB 如何展现数据库新思维?内存压缩与弹性计算的优势怎样表现?欢迎大家前往文档&视频专区下载学习。

视频回放:

https://www.modb.pro/video/6184

PPT资料:

https://www.modb.pro/doc/58181

更多“国产数据库沙龙-键值数据库专场”内容详情可以关注资料合辑:https://www.modb.pro/topic/379708



关注官方公众号,查看更多精彩
墨天轮  墨天轮平台  数据库国产化  数据库资讯  墨天轮成长营

声明:如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

点击查看原文

文章转载自东哥IT笔记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论