现象描述
数据库一直提示如下信息
xxx CST [5643] HINT: To avoid a database shutdown, execute a database-wide VACUUM in that database.
You might also need to commit or roll back old prepared transactions, or drop stale replication slots.
进一步查看详细日志信息,事务ID清理没执行成功,只剩不到一千万,触发了告警信息。
这个问题较常见,也比较容易复现。
处理方法一
当数据库事务ID剩余量小于100万时只能进入单用户模式进行操作。
关闭数据库服务
$ pg_ctl stop -mi -D $PGDATA
进入PG单用户模式,vacuum实际的数据库,这里连接默认的postgres数据库
$ postgres --single -D $PGDATA postgres
backend> vacuum freeze verbose;
处理方法二
当数据库事务ID剩余量大于100万时,可以进入数据库手工进行vacuum操作。
实际处理过程
1.关闭自动vacuum
autovacuum=off
2.修改表强制freeze参数,改为最小值十万
autovacuum_freeze_max_age=10 0000
前面两步修改需要重启数据库服务
3.根据服务器内存临时调大maintenance_work_mem的值,
set maintenance_work_mem = '4GB';
4.查询数据库及表的膨胀情况
select datname,datfrozenxid,age(datfrozenxid) from pg_database;
select relname,age(relfrozenxid)
from pg_class
where relkind in ('t','r')
order by age(relfrozenxid) desc limit 5;
5.对膨胀最大的单表逐个进行vacuum
postgres=# vacuum freeze verbose event;
这里发现数据库主要是一张event表引起,进一步查看此表详细信息。
- 表数据量并不是特别大,有一百多万行
- 索引比较多,超过5个
- 外键关联表多
或者对该表进行copy备份导出,drop之后再恢复数据。
最终原因定位
大致可以定位数据库膨胀的原因是由event表引起,该表外键关联较多,同时没有进行vacuum手工处理,最终引起数据库告警提示信息。
vacuum建议
- 频繁更新的表或大表设置不同的vacuum年龄因子
- 选择时间窗口,手工调度vacuum
- 做好数据库及表的年龄监控
- 关注长事务状态
- 尽量减少外键关联表的使用
保持联系
从2019年12月开始写第一篇文章,分享的初心一直在坚持,本人现在组建了一个PG乐知乐享交流群,欢迎关注我文章的小伙伴进群吹牛唠嗑,交流技术,互赞文章。
如果群二维码失效可以加我微信。
最后修改时间:2022-10-23 10:37:59
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。