为什么PolarDB选择计算存储分离的分布式架构

背景

视频回放: https://www.bilibili.com/video/BV1yQ4y1r7H7/

详情: https://github.com/alibaba/PolarDB-for-PostgreSQL/blob/main/doc/PolarDB-CN/Architecture.md

议题

为什么PolarDB选择计算存储分离的分布式架构?

内容简介

• 主流的数据库架构有哪些?
• 市场占比分别有多少?
• 分别适合什么业务场景?
• 各自有哪些优缺点?
• 计算存储分离的架构的优势?
• 计算存储分离的架构适合的业务场景?
• PolarDB 近期的roadmap, 计划解决哪些PG用户诟病多年的PG问题?

笔记

主流的数据库架构有哪些?

• 单机版
• 计算存储分离
• shared nothing

从dbengine分析目前最多用量的数据库形态依旧是单机版的形态

polardb将从单机版形态数据库的产品痛点入手, 分析为什么polardb选择计算存储分离的分布式架构?

1、不能影响单机版用户的使用体验

同时要解决单机版的痛点, 例如:

• RPO=0的高难度需求
• 只读实例多的情况下的问题
• 只读实例不支持slot failover 导致ha后订阅位点丢失问题
• 如何高效扩展性 (计算、存储)
• 如何高效的HA
• 既要有要还要 (olap, oltp)

2、单机版形态有哪些痛点?

• 扩展性差, 容易达到天花板
  • polardb如何解决: 存储计算分离, 横向扩展, 快速扩容
• 通常无法TP AP混合查询
  • polardb如何解决: mpp htap, 多个计算节点可以同时执行同一条SQL (移植greenplum的优化器)
• double cache 《DB吐槽大会,第6期 - PG Double Cache》
  • polardb如何解决: dio
• FPW 《DB吐槽大会,第11期 - FPW | Double Write》
  • polardb如何解决: pfs 原子写
• 崩溃恢复慢(特别是大实例) 《DB吐槽大会,第47期 - PG 崩溃恢复能快点吗》
  • polardb如何解决: 快速恢复 , 并行回放
  • polardb如何解决: buffer 持久化
  • polardb如何解决: lazy 恢复 wal (读时回放, 异步打开. 非常块)
• 高并发 《DB吐槽大会,第9期 - PG 大量连接写小事务性能差》 《DB吐槽大会,第8期 - PG 高并发短连接性能差》
  • polardb如何解决: CSN

3、传统的HA有哪些痛点?

• RPO很难做到0
  • polardb如何解决: 存储三副本
• slot failover 《DB吐槽大会,第7期 - PG slot 无failover》
  • polardb如何解决: 一份存储, 没有slot failover问题

4、传统的只读实例有哪些痛点?

• 每个只读实例一个副本, 成本高 《DB吐槽大会,第3期 - share nothing RO》
  • polardb如何解决: 一份存储
• 负载高, 只读实例延迟高
  • polardb如何解决: 一份存储, lazy 回放
• 读写冲突
• 中间件的效率问题

5、shareding nothing的架构对用户有哪些不友好的地方?

• 使用方面和单机版存在较大差别 (部署、运维、排错更加复杂, 开发者必须了解分布式的底层原理, 否则容易踩坑. 限制了某些SQL的使用, 序列, 分布式事务带来性能损耗, 全局一致性, ...)

polardb 计划解决哪些PG用户诟病多年的PG问题

• mvcc问题 《DB吐槽大会,第1期 - PG MVCC》
  • 引入zheap, zedstore
• 64位xid 《DB吐槽大会,第2期 - PG 32位xid》
• 列存储