服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - PostgreSQL - PostgreSQL pg_archivecleanup与清理archivelog的操作

PostgreSQL pg_archivecleanup与清理archivelog的操作

2021-03-17 21:10Austindatabases PostgreSQL

这篇文章主要介绍了PostgreSQL pg_archivecleanup与清理archivelog的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

pg_archivecleanup 和 pg_rewind 是pg 中两个重要的功能,一个是为了清理过期的 archive log 使用的命令,另一个是你可以理解为物理级别的 wal log的搬运工。

我们先说第一个 pg_archivecleanup 命令,这个命令主要是用于使用了archive log 功能的 postgresql 但在 archive log 堆积如山的情况下,你怎么来根据某些规则,清理这些日志呢?

这里面就要使用 pg_archivecleanup 这个命令了,可以定时的来运行它,将已经移动到archivecleanup 的目录的archivelog 根据要求开始清理。

当然我们先的说说如果不定期清理会出什么问题

 

1 如果不定期清理archive 如果存放archivelog 的位置无法在接受新的日志,则大量wal日志会滞留在 wal_log 目录中,则整体数据库系统都会受到影响。

2 占用大量的存储空间,存储无效的数据

那一般来说如果没有第三方的备份工具的情况下,怎么来通过pg_archivecleanup 来进行archivelog 的清理。

需要关注几个点

 

1 清理的时,清理的wal_log 是否已经是包含在最后一次的备份中,保证清理的wal_log 也可以从备份文件中恢复数据库

2 清理的时候,对于保存在非主库的wal_log 怎么办

一般来说,设置自动清理archive_log 可以在配置文件中添加

?
1
archive_cleanup_command = 'pg_archivecleanup archivelocation %r'

来操作。

但一般来说这样做好处少,弊病多,我比较喜欢写相关的脚本,定时去运行的方式,并且可以记录相关的log 日志等等。

PostgreSQL pg_archivecleanup与清理archivelog的操作

可以写一个脚本,来辅助定时清理相关的archive_log

PostgreSQL pg_archivecleanup与清理archivelog的操作

当然这样的方法也是有弊端的,如果由于备份的原因的故障,而直接使用天数来清理会有因为没有备份而直接将 wal_log 给清理掉,所以更加靠谱的方法是通过某些命令来获得需要截止的清理的wal_log 名称。

例如 备份后的

PostgreSQL pg_archivecleanup与清理archivelog的操作

会在wal_log 里面有backup 的标记,这说明这个wal log 以前的数据已经备份了,如果清理这个wal log 之前的log 是安全的。

?
1
000000010000000300000030.00000060.backup

使用下面的脚本可以来更安全的清理

?
1
2
3
4
5
6
#!/bin/bash
archivedir='/pgdata/archive'
chk_safe=$(find $archivedir -type f -mtime +3 -name '*backup' -printf '%f\n' | sort -r | head -1)
cd $archivedir
/usr/local/postgres/bin/pg_archivecleanup $archivedir $chk_safe
find $archivedir -type f -mtime +3 -a -name '*backup' -a ! -newer $chkpoint -delete

补充:postgresql流日志误删处理(xlog)

今天同事误删postgresql库数据文件下的pg_xlog文件夹,导致所有流日志丢失,数据库无法启动,观察警告日志:

?
1
2
3
4
5
6
7
8
2018-03-12 18:45:54 cst log: database system shutdown was interrupted; last known up at 2018-03-12 17:48:27 cst
2018-03-12 18:45:54 cst log: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): no such file or directory
2018-03-12 18:45:54 cst log: invalid primary checkpoint record
2018-03-12 18:45:54 cst log: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): no such file or directory
2018-03-12 18:45:54 cst log: invalid secondary checkpoint record
2018-03-12 18:45:54 cst panic: could not locate a valid checkpoint record
2018-03-12 18:45:54 cst log: startup process (pid 32680) was terminated by signal 6: aborted
2018-03-12 18:45:54 cst log: aborting startup due to startup process failure

用postgresql自带的pg_resetxlog工具可以跳过对wal log的恢复。不过会丢失一些事务。恢复命令也很简单如下:

?
1
pg_resetxlog -f /var/lib/pgsql/9.6/data

然后启动postgrsql ,数据库就可正常进入

参考:pg_resetxlog官方文档

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。

原文链接:https://blog.csdn.net/liuhuayang/article/details/106682045

延伸 · 阅读

精彩推荐
  • PostgreSQL分布式 PostgreSQL之Citus 架构

    分布式 PostgreSQL之Citus 架构

    节点 Citus 是一种 PostgreSQL 扩展,它允许数据库服务器(称为节点)在“无共享(shared nothing)”架构中相互协调。这些节点形成一个集群,允许 PostgreSQL 保存比单...

    未知802023-05-07
  • PostgreSQLPostgreSQL标准建表语句分享

    PostgreSQL标准建表语句分享

    这篇文章主要介绍了PostgreSQL标准建表语句分享,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    码上得天下7962021-02-27
  • PostgreSQLRDS PostgreSQL一键大版本升级技术解密

    RDS PostgreSQL一键大版本升级技术解密

    一、PostgreSQL行业位置 (一)行业位置 在讨论PostgreSQL(下面简称为PG)在整个数据库行业的位置之前,我们先看一下阿里云数据库在全球的数据库行业里的...

    未知1192023-05-07
  • PostgreSQL深入理解PostgreSQL的MVCC并发处理方式

    深入理解PostgreSQL的MVCC并发处理方式

    这篇文章主要介绍了深入理解PostgreSQL的MVCC并发处理方式,文中同时介绍了MVCC的缺点,需要的朋友可以参考下 ...

    PostgreSQL教程网3622020-04-25
  • PostgreSQLpostgresql 数据库中的数据转换

    postgresql 数据库中的数据转换

    postgres8.3以后,字段数据之间的默认转换取消了。如果需要进行数据变换的话,在postgresql数据库中,我们可以用"::"来进行字段数据的类型转换。...

    postgresql教程网12482021-10-08
  • PostgreSQLPostgresql开启远程访问的步骤全纪录

    Postgresql开启远程访问的步骤全纪录

    postgre一般默认为本地连接,不支持远程访问,所以如果要开启远程访问,需要更改安装文件的配置。下面这篇文章主要给大家介绍了关于Postgresql开启远程...

    我勒个去6812020-04-30
  • PostgreSQLpostgresql 中的to_char()常用操作

    postgresql 中的to_char()常用操作

    这篇文章主要介绍了postgresql 中的to_char()常用操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    J符离13432021-04-12
  • PostgreSQLPostgresql查询效率计算初探

    Postgresql查询效率计算初探

    这篇文章主要给大家介绍了关于Postgresql查询效率计算的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Postgresql具有一定的参考学习价...

    轨迹4622020-05-03