DB吐槽大会,第19期 - PG 没有block level压缩

作者

digoal

日期

2021-09-02

标签

PostgreSQL , block level compress , toast , 压缩

视频回放

1、产品的问题点
- PG 没有block level压缩

2、问题点背后涉及的技术原理
- PG 只有行级别压缩, 当1条记录压缩后的长度超过1/4 block size(约2000字节)(由参数 TOAST_TUPLE_THRESHOLD 控制阈值) 时, PG 会将其变长字段类型存储到TOAST切片.
- 这种行级别的压缩方式压缩比较低

3、这个问题将影响哪些行业以及业务场景
- 对存储的成本较为敏感的业务, 例如IOT, 时序, 冷数据, 冷仓库等.

4、会导致什么问题?
- 压缩比低, 需要使用更多的存储空间, 导致存储成本较高

5、业务上应该如何避免这个坑
- 更换产品,
- 或使用FDW, 将数据存储在外部, 例如OSS_FDW将数据存储在OSS对象存储内, 使用外部廉价、高压缩比存储.

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
- 管理成本增加
- 使用oss_fdw外部存储, 不支持索引, 查询速度更慢.

7、数据库未来产品迭代如何修复这个坑
- 内核层支持BLOCK级别的压缩,
- 使用压缩效率、压缩比更高的算法
- 使用列存储, 存储同类的数据, 比行+块级别压缩比更高.

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

德哥 / digoal's github - 公益是一辈子的事.