作者
digoal
日期
2021-09-07
标签
PostgreSQL , block级增量备份恢复 , zfs , pg_rman , pg_probackup
1、产品的问题点
- PG 没有block级增量备份恢复
2、问题点背后涉及的技术原理
- PG的备份包括2种, 1种是全量数据文件+WAL归档日志增量备份, 支持按时间点还原.
- 还原时需要全量数据文件+自从备份开始到恢复到的目标时间点的所有WAL
- 另一种是逻辑备份, 支持表级别的备份粒度, 不支持增量备份, 只能恢复到备份集的状态, 不支持按时间点还原.
- block级增量备份指的是: 只备份自从上一次备份以来修改过的数据块, 适合全量数据文件备份的加速. PG社区版本暂时不支持该功能.
- block 级的增量备份可以减少全量数据文件备份的次数.
3、这个问题将影响哪些行业以及业务场景
- 通用
4、会导致什么问题?
- 按时间点还原数据库时需要全量数据文件+自从备份开始到恢复到的目标时间点的所有WAL, 恢复速度取决于有多大的数据文件, 以及有多少wal日志.
- 为了保障时间点还原的SLA, 我们必须提高全量数据文件备份的频率, 从而减少需要回放的wal个数, 从而提高PITR恢复速度.
- 问题1: 备份需要更大的存储空间.
- 问题2: 频率不可能无限提高, 对于特别大的数据库实例, 例如1天都备份不完, 那么备份频率就不能到每天一次, 因为上一次备份还没有完成, 新的备份又发起了.
- 问题3: 增加备份库的负担, 因为备份要读区数据文件, 拷贝数据文件, 增加了网络、IO开销.
5、业务上应该如何避免这个坑
- 使用ZFS的快照功能代替拷贝数据文件
- 《如何创建RDS PG 的秒级 flashback闪回实例, 实时容灾实例 - zfs - snapshot - clone - standby - compress》
- 《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)验证 - recovery test script for zfs snapshot clone + postgresql stream replication + archive》
- 《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)双机HA与块级备份部署》
- 《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)单个数据库采用多个zfs卷(如表空间)时如何一致性备份》
- 《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)备份集有效性自动校验》
- 《PostgreSQL 最佳实践 - 块级增量备份(ZFS篇)方案与实战》
- 使用 pg_rman第三方备份工具, 支持数据文件的block级别增量备份和恢复.
- https://github.com/ossc-db/pg_rman
- pg_probackup第三方备份工具, 支持数据文件的block级别增量备份和恢复.
- https://github.com/postgrespro/pg_probackup
6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
- 不是PG社区原生功能, 品质、持续性无法保障.
- 管理复杂度增加
7、数据库未来产品迭代如何修复这个坑
- 希望PG社区版本原生支持
PostgreSQL 许愿链接
您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.
9.9元购买3个月阿里云RDS PostgreSQL实例
PostgreSQL 解决方案集合
德哥 / digoal's github - 公益是一辈子的事.
