1. 问题描述
某客户反馈 无法跑流水线,卡在第一步 git 阶段,检查发现节点 磁盘严重不足,提示 fatal write error : No space left on device,仅剩余2.5M,自然无法完成 git 下载任务。
进一步检查发现 有一个 /data/pg/stolon-keeper-0/postgres/pg_wal 目录占用了45G左右,里面有将近2800 多个 数字串文件,每个16兆
1. 问题描述
某客户反馈 无法跑流水线,卡在第一步 git 阶段,检查发现节点 磁盘严重不足,提示 fatal write error : No space left on device,仅剩余2.5M,自然无法完成 git 下载任务。
进一步检查发现 有一个 /data/pg/stolon-keeper-0/postgres/pg_wal 目录占用了45G左右,里面有将近2800 多个 数字串文件,每个16兆
查看了容器里面 /stolon-data/postgres/postgresql.conf 参数, 里面有一行 wal_keep_segments = '8' ,
按照介绍,应该只是最多占用 8*16=128M 空间,而实际wal文件个数超过2800,占用44G,某种原因导致参数未生效,导致磁盘使用猛增。
找到几个文档,改参数不一定能很快见效,决定先手动清理。
命令 : pg_controldata /stolon-data/postgres
得到 Latest checkpoint's REDO WAL file: 00000001000000190000006E
如下图
pg_archivecleanup -d /stolon-data/postgres/pg_wal/ 00000001000000190000006E
即00000001000000190000006E 之前的文件被安全清理了,类似下图结果。
再次检查磁盘,磁盘使用率仅4%,清理效果非常的好,问题解决。
wanjie
这个人很懒,什么都没留下
文章评论