作者
digoal
日期
2021-09-28
标签
PostgreSQL , 资源隔离 , 混合负载 , 管理 , serverless , 多租户
1、产品的问题点
- PG 资源隔离、管理手段较少
2、问题点背后涉及的技术原理
- PG 是一个支持OLTP OLAP混合负载的数据库系统, 类似于Oracle. PG 从9.6开始支持并行计算, 一条复杂SQL在使用并行计算时可能耗费较多资源.
- PG 支持单实例多database的模式, 很多(租户)用户可能在同一个instance中创建多个database分配给不同的业务使用. 特别是saas软件行业, DBaaS服务等.
3、这个问题将影响哪些行业以及业务场景
- 有混合负载的业务场景、SaaS业务、serverless dbaas服务.
4、会导致什么问题?
- 复杂SQL可能消耗掉所有的资源, 影响对RT很敏感的高并发OLTP类业务.
- 在同一个instance中创建多个database时, 某个database对应的业务如果使用的 cpu|io|网络 资源较多, 可能影响其他database对应的业务.
5、业务上应该如何避免这个坑
- 将TP和AP类业务使用不同的数据库用户
- 给SaaS, DBaaS的不同业务分配使用不同的数据库用户
- 使用cgroup限制不同用户的backend process资源(cpu,io,网络等资源)
- 《重新发现PostgreSQL之美 - 12 serverless & SaaS行业 & 多租户 & 资源隔离 & 捣蛋鬼,你揍开》
6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
- 资源调度要求较高, 依赖cgroup, 及时的PID和cgroup设置.
- 必须按要求设计schema, 否则无法区分什么SQL应该放入什么Resource Queue.
- 后端进程checkpoint, bg write, vacuum process, stat process等属于共享的进程, 如果业务的请求打到后端来擦屁股那么也很难限制.
7、数据库未来产品迭代如何修复这个坑
- 希望内核能支持resource queue管理功能.
- 限制user, database的cpu|io|网络等使用.
- 按QUERY ID设置对应的QPS限制、cpu|iops bw RW|网络报文|网络吞吐receive|trans等.
- 支持分时间配置: 例如每分钟的粒度, 某个用户可以分配的资源百分比或绝对值.
- 支持分段配置: 例如半夜AP用户给更多资源, 白天TP用户给更多资源.
- 支持资源隔离 : 表级、会话级、用户级、SQL语句级、schema级、库级 . 支持粒度 : 内存、CPU单位时间、IOPS 限制
PostgreSQL 许愿链接
您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.
9.9元购买3个月阿里云RDS PostgreSQL实例
PostgreSQL 解决方案集合
德哥 / digoal's github - 公益是一辈子的事.
