PostgreSQL逻辑备份-pg

PostgreSQL逻辑备份-pg_dumpall

pg_dumpall 用于将所有数据库转储到一个文本文件中。该文本文件包含可用作恢复数据

库的 SQL 命令。它通过为集群中的每个数据库调用 pg_dump 来做到这一点。

pg_dumpall 还转储所有数据库共有的全局对象，即数据库角色和表空间（pg_dump 不

保存这些对象）。

pg_dumpall 调用 pg_dump 来进行备份，备份不同的数据库需要切换连接，无法在不同

的数据库之间共享 snapshot，因此只能单库一致。这意味着每个数据库自身是一致的，

但是不同数据库的快照并不同步。

1.pgdumpall优缺点

优点：

 它转储全局的东西——角色和表空间，这些不能被 pg_dump 转储。

 单个命令，你可以获得整个集群的结果

 常用来备份全局对象而非全库数据

缺点：

 转储很大，因为它未压缩

 转储非常慢，因为它是顺序完成的，只有一个工作程序

 仅恢复部分转储很难

 生成 sql 脚本，pg_dumpall 只支持文本格式

 它在内部调用 pg_dump

建议每天对角色和表空间定义等全局对象进行备份，但不建议每天使用 pg_dumpall 来备份全库数据，因为 pg_dumpall 仅支持导出为 SQL 文本格式，而使用这种庞大的 SQL 文

本备份来进行全库级别的数据库恢复是及其耗时的，所以一般只建议使用 pg_dumpall 来

备份全局对象而非全库数据。

2.pg_dumpall示例：

2.1导出所有数据库

pg_dumpall > all.sql -- 排除单个数据库 
pg_dumpall --exclude-database='testdb' -f all.sql -- 排除多个名字相近数据库 
pg_dumpall --exclude-database='testdb[12]' -f all.sql -- 排除多个名字完全不同数据库 
pg_dumpall --exclude-database='testdb' --exclude-database='newdb' -f all.sql

2.2导出所有Role和Tablespace

#仅导出 Role： 
pg_dumpall -r > pg_roles.sql 
或 
pg_dumpall -g > pg_global.sql # 仅导出 Tablespace: 
pg_dumpall -t > pg_tablespace.sql

3.恢复

# 导入 :不存在的会导入，存在的不导入 
psql -f pg_roles.sql

4.copy导入导出

4.1简介

COPY 命令可以快速的导入数据到 postgresql 数据库中，文件格式类似 TXT 、 CVS 之类。

适合批量导入数据，相比 insert 命令插入效率更高。

4.2copy和\copy区别

COPY 和\copy 都支持这两类操作，但两者有如下区别：

 COPY 是 SQL 命令，\copy 是元命令.

 COPY 必须具有 SUPERUSER 超级权限，而 \copy 是元命令，不需要 SUPERUSER

权限。

 COPY 读取或写入数据库服务端主机上的文件，而 \copy 是从 psql 客户端主机读取

或写入文件。

从性能方面看，大数据量导出文件或大文件数据导入数据库，COPY 比 \copy 性能高。

通常大数据量的文件导入一般在数据库服务端主机通过 PostgreSQL 超级用户使用 copy

命令导入。

4.3copy应用案例

4.3.1从 Postgresql 导出表

-- 拷贝表至控制台,并使用竖线(|)作为字段直接的分隔符 
COPY t1 TO STDOUT (DELIMITER '|'); -- 拷贝表至文件，使用空格作为字段直接的分隔符 
COPY t1 TO '/tmp/t1.sql' WITH DELIMITER ' '; -- 导出查询结果至文件： 
COPY (SELECT * FROM t1 WHERE name LIKE 'a%') TO '/tmp/t1.sql'; -- 如果需要压缩数据，使用下面命令： 
COPY t1 TO PROGRAM 'gzip > /tmp/t1.gz'; -- 解压 
gzip -dv t1.gz -- 如果仅导出 2 列，使用下面命令： 
COPY t1(name,age) TO '/tmp/t1.sql' DELIMITER ' '; -- 如果需要导出二进制文件： 
copy t1 to '/tmp/t1.dat' with binary; 
copy binary t1 to'/tmp/t1.dat';-- 导出 csv 文件： 
copy t1 to '/tmp/t1.csv' with csv; 
copy t1 to '/tmp/t1.csv' with csv header; csv 文件还有一些其他参数： 
DELIMITER – 数据行中分割每个字段的分隔符。csv 文件一般使用逗号. 
HEADER – 指定 csv 文件的标题，如果不需要标题行，可以忽略 HEADER.

4.3.2导入文件至PostgreSQL表

-- 传入文件至已经存在的表： 
COPY t1 FROM '/tmp/t1.sql' (DELIMITER ' '); 
COPY t1 FROM '/tmp/t1.csv' WITH delimiter ',' CSV HEADER; -- 指定编码： 
COPY t1 FROM '/tmp/t1.csv' WITH delimiter ',' CSV HEADER encoding 'utf-8'; -- 支持 WHERE 条件过滤 
COPY t1 FROM '/tmp/t1.sql' with DELIMITER '|' WHERE id < 5;

4.3.3将excel表中的数据导入到postgresql数据库中

步骤：

1.将 excel 表格字段，按照 postgresql 数据库中表的字段顺序来整理数据，并保存为 csv

文件。

2.用记事本打开 csv 文件，另存为 UTF-8 格式。

3.使用客户端链接 postgresql 数据库，执行如下脚本，导入 csv 文件到 Postgresql 数据

表：

COPY t1 FROM '/tmp/t1.csv' WITH delimiter ',' CSV HEADER;

注意事项：

1.csv 文件要为 utf-8 格式，否则导入时可能会有报错：

ERROR:invalid bytesequence for encoding "UTF8": 0xcdf5

4.3.5copy与事务

copy 导入导出数据是在同一个事务中执行的吗

copy 和普通的 insert 语句不同， copy 是在一条命令里加载所有记录，而不是一连串

的 INSERT 命令。

copy 会在遇到错误时中止，但是不是简单的回滚。如果是 copy to ，那么则出现错误

前的数据不会受影响；而如果是 copy from ，那么在出现错误前的数据在目标表中会变

的不可见，这个并不是说回滚了，而是不可见或者不可访问，这部分数据在目标表中

仍然占用磁盘空间。

例子：

—copy to：

可以看到表 t1 中有 100W 条数据， copy 到文件大小为 41M

copy t1 to '/tmp/t1.sql';

COPY 1000000

$ ll -h

-rw-r--r--. 1 postgres postgres 41M 3 月 27 14:28 t1.sql

重新 copy ，然后中断该操作，发现只有部分数据被 copy to 文件中了，说明中断前的

数据没受到影响。

postgres=# copy t1 to '/tmp/t1.sql';

^CCancel request sent

2023-03-27 14:31:31.553 CST [2002] ERROR: canceling statement due to user

request

$ ll -h

-rw-r--r--. 1 postgres postgres 32M 3 月 27 14:31 t1.sql

—copy from ：

copy 时进行中断。

postgres=# truncate t1;

TRUNCATE TABLE

postgres=# copy t1 from '/tmp/t1.sql';

^CCancel request sent

2023-03-27 14:33:44.317 CST [2016] ERROR: canceling statement due to user

request

查看：

发现表中没有任何数据，但是大小为 27MB ！

postgres=# select * from t1;

id | name | age

----+------+-----

(0 rows)

postgres=# \dt+

List of relations

Schema | Name | Type | Owner | Persistence | Access method | Size |

Description

--------+------+-------+----------+-------------+---------------+-------+-------------

public | t1 | table | postgres | permanent | heap | 27 MB |

(1 row)

可以看到，当该表被 vacuum 后，表占用的磁盘空间便被回收了。

postgres=# vacuum t1;

VACUUM

postgres=# \dt+

List of relations

Schema | Name | Type | Owner | Persistence | Access method | Size |

Description

--------+------+-------+----------+-------------+---------------+-------+-------------

public | t1 | table | postgres | permanent | heap | 24 kB |

(1 row)