PostgreSQL源码分析——pg_basebackup

涉及到的代码主要在src/backend/replication以及bin/pg_basebackup中。

我们知道pg_basebackup是一个进行基础备份的工具，除了使用这个工具，还可以用底层API的方式进行基础备份，主要过程如下：

  1. 连接到数据库
  2. 执行select pg_start_backup('lable')命令。（会强制发生一次checkpoint，并将检查点记录到backup_label文件中）
  3. 执行备份，把数据目录进行复制（包含backup_label）
  4. 执行select pg_stop_backup命令，（删除backup_label文件，并在WAL日志中写入一条XLOG_BACKUP_END的记录，当备节点回放到该记录时，就知道备份结束了，数据达到了一致点，可以对外提供服务了）
  5. 备份过程中产生的WAL日志进行复制

其实，pg_basebackup工具就是对底层API的封装，其主要过程是相同的，但具体到代码，并不是直接调用的pg_start_backup,pg_stop_backup函数，而是通过一些命令的形式，这些特殊的命令定义在src/backend/replication/repl_gram.y中，后面我们会进行分析。

主流程

pg_basebackup执行基础备份的主要流程如下，其中，涉及到libpq协议与服务端进行连接，通信，向服务端发送一些特殊的命令语句，这些命令的解析在src/backend/replication/repl_gram.y中可以查看到具体的语法定义。主流程如下：

main(int argc, char **argv)
--> GetConnection();   // 连接服务端，（例如主节点）--> PQconnectdbParams(keywords, values, true);
--> BaseBackup();      // 执行基础备份--> GenerateRecoveryConfig(conn, replication_slot);   // 用于生成primary_conninfo配置信息--> PQconninfo(pgconn);--> RunIdentifySystem(conn, &sysidentifier, &latesttli, NULL, NULL)basebkp = psprintf("BASE_BACKUP LABEL '%s' %s %s %s %s %s %s %s %s %s",escaped_label,estimatesize ? "PROGRESS" : "",includewal == FETCH_WAL ? "WAL" : "",fastcheckpoint ? "FAST" : "",includewal == NO_WAL ? "" : "NOWAIT",maxrate_clause ? maxrate_clause : "",format == 't' ? "TABLESPACE_MAP" : "",verify_checksums ? "" : "NOVERIFY_CHECKSUMS",manifest_clause ? manifest_clause : "",manifest_checksums_clause);// 向服务端发送执行命令"BASE_BACKUP LABEL 'pg14bak' PROGRESS   NOWAIT    MANIFEST 'yes' "--> PQsendQuery(conn, basebkp)    --> PQgetResult(conn);    // Get the starting WAL location--> StartLogStreamer(xlogstart, starttli, sysidentifier);--> CreateReplicationSlot(param->bgconn, replication_slot, NULL, temp_replication_slot, true, true, false)// 执行命令 "CREATE_REPLICATION_SLOT \"pg_basebackup_2553309\" TEMPORARY PHYSICAL RESERVE_WAL"--> PQexec(conn, query->data);// Start a child process and tell it to start streaming.// 创建一个单独的子进程用于日志传输bgchild = fork();if (bgchild == 0){/* in child process */LogStreamerMain(param);--> ReceiveXlogStream(param->bgconn, &stream)   // Receive a log stream starting at the specified position.}if (!writing_to_stdout && manifest)ReceiveBackupManifest(conn);    // receive backup manifest

整个的过程，最重要的有3点：

  1. 在进行备份前，执行一次checkpoint，记录开始的位置，在服务端接收到BASE_BACKUP LABLE命令后，生成备份标签文件backup_lable，这个文件最重要的作用是记录数据库恢复的起始位置。当启动备份实例时，会读该文件进行恢复。
  2. 复制数据库数据文件
  3. 日志复制

我们可以看一下backup_lable文件中的内容：

postgres@slpc:~/pgsql/pgbak$ ls
backup_label      pg_commit_ts   pg_notify     pg_subtrans  postgresql.auto.conf
backup_manifest   pg_dynshmem    pg_replslot   pg_tblspc    postgresql.conf
base              pg_hba.conf    pg_serial     pg_twophase  standby.signal
current_logfiles  pg_ident.conf  pg_snapshots  PG_VERSION
global            pg_logical     pg_stat       pg_wal
log               pg_multixact   pg_stat_tmp   pg_xact
postgres@slpc:~/pgsql/pgbak$ cat backup_label 
START WAL LOCATION: 0/C000028 (file 00000001000000000000000C)    备份开始时日志的位置
CHECKPOINT LOCATION: 0/C000060                                   检查点的位置
BACKUP METHOD: streamed                                          备份方法
BACKUP FROM: primary                                             备份源    
START TIME: 2023-08-02 17:15:58 CST                              备份开始的物理时间
LABEL: pg14bak                                                   备份标签
START TIMELINE: 1

具体过程

仅看上面的主流程还是有一些不清楚的地方的。

这里有个很重要的命令BASE_BACKUP LABEL，备份命令，获取XLOG的存放路径和备份开始时日志的位置，那么服务端这块是怎么处理的呢？我们看一下服务端的相关代码：

void PostgresMain(int argc, char *argv[], const char *dbname, const char *username)
{// ...if (am_walsender)WalSndSignals();/* Perform initialization specific to a WAL sender process. */if (am_walsender)InitWalSender();for (;;){firstchar = ReadCommand(&input_message);switch (firstchar){case 'Q':			/* simple query */{const char *query_string;/* Set statement_timestamp() */SetCurrentStatementStartTimestamp();query_string = pq_getmsgstring(&input_message);pq_getmsgend(&input_message);if (am_walsender){if (!exec_replication_command(query_string))exec_simple_query(query_string);}elseexec_simple_query(query_string);send_ready_for_query = true;}break;}
}/* Execute an incoming replication command.*/
bool exec_replication_command(const char *cmd_string)
{// .../* Looks like a WalSender command, so parse it. */parse_rc = replication_yyparse();if (parse_rc != 0)ereport(ERROR,(errcode(ERRCODE_SYNTAX_ERROR),errmsg_internal("replication command parser returned %d",parse_rc)));switch (cmd_node->type){case T_IdentifySystemCmd:cmdtag = "IDENTIFY_SYSTEM";set_ps_display(cmdtag);IdentifySystem();EndReplicationCommand(cmdtag);break;case T_BaseBackupCmd:cmdtag = "BASE_BACKUP";set_ps_display(cmdtag);PreventInTransactionBlock(true, cmdtag);SendBaseBackup((BaseBackupCmd *) cmd_node);EndReplicationCommand(cmdtag);break;case T_CreateReplicationSlotCmd:cmdtag = "CREATE_REPLICATION_SLOT";set_ps_display(cmdtag);CreateReplicationSlot((CreateReplicationSlotCmd *) cmd_node);EndReplicationCommand(cmdtag);break;case T_DropReplicationSlotCmd:cmdtag = "DROP_REPLICATION_SLOT";set_ps_display(cmdtag);DropReplicationSlot((DropReplicationSlotCmd *) cmd_node);EndReplicationCommand(cmdtag);break;case T_StartReplicationCmd:{StartReplicationCmd *cmd = (StartReplicationCmd *) cmd_node;cmdtag = "START_REPLICATION";set_ps_display(cmdtag);PreventInTransactionBlock(true, cmdtag);if (cmd->kind == REPLICATION_KIND_PHYSICAL)StartReplication(cmd);elseStartLogicalReplication(cmd);/* dupe, but necessary per libpqrcv_endstreaming */EndReplicationCommand(cmdtag);Assert(xlogreader != NULL);break;}case T_TimeLineHistoryCmd:cmdtag = "TIMELINE_HISTORY";set_ps_display(cmdtag);PreventInTransactionBlock(true, cmdtag);SendTimeLineHistory((TimeLineHistoryCmd *) cmd_node);EndReplicationCommand(cmdtag);break;case T_VariableShowStmt:{DestReceiver *dest = CreateDestReceiver(DestRemoteSimple);VariableShowStmt *n = (VariableShowStmt *) cmd_node;cmdtag = "SHOW";set_ps_display(cmdtag);/* syscache access needs a transaction environment */StartTransactionCommand();GetPGVariable(n->name, dest);CommitTransactionCommand();EndReplicationCommand(cmdtag);}break;default:elog(ERROR, "unrecognized replication command node tag: %u",cmd_node->type);}// ...
}

我们继续看一下SendBaseBackup函数的实现。

/** SendBaseBackup() - send a complete base backup.** The function will put the system into backup mode like pg_start_backup()* does, so that the backup is consistent even though we read directly from* the filesystem, bypassing the buffer cache.*/
void SendBaseBackup(BaseBackupCmd *cmd)
{basebackup_options opt;SessionBackupState status = get_backup_status();if (status == SESSION_BACKUP_NON_EXCLUSIVE)ereport(ERROR,(errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),errmsg("a backup is already in progress in this session")));parse_basebackup_options(cmd->options, &opt);WalSndSetState(WALSNDSTATE_BACKUP);if (update_process_title){char		activitymsg[50];snprintf(activitymsg, sizeof(activitymsg), "sending backup \"%s\"",opt.label);set_ps_display(activitymsg);}perform_base_backup(&opt);
}

主流程如下：

SendBaseBackup(BaseBackupCmd *cmd)
--> perform_base_backup(&opt);// creates the necessary starting checkpoint and constructs the backup label file.--> do_pg_start_backup(opt->label, opt->fastcheckpoint, &starttli, labelfile, &tablespaces, tblspc_map_file);--> RequestCheckpoint(CHECKPOINT_FORCE | CHECKPOINT_WAIT | (fast ? CHECKPOINT_IMMEDIATE : 0));--> CreateCheckPoint(flags | CHECKPOINT_IMMEDIATE);

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/31203.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vue3面试题及答案

vue3面试题及答案

1、Vue3 出现解决了什么问题？它有哪些优势？ Vue2 代码模式下存在的几个问题： 随着功能增加，复杂的组件代码越来越多，变得难以维护。主要原因是 vue2 通过选项 式API组织的代码，一个逻辑功能可能有多处代…
阅读更多...
WPF——Binding

WPF——Binding

一、作用 将Window GUI的运行机理从 “事件驱动” 转变为 “数据驱动”。将UI界面与业务逻辑解耦，使得改动一个而无需改动另一个。数据逻辑层自成体系，使得无需借助UI也可进行单元测试。 二、基础 1. Binding源模板 Binding包括源与目标，源…
阅读更多...
揭示数据库内核的奥秘--手写数据库toadb开源项目

揭示数据库内核的奥秘--手写数据库toadb开源项目

揭示数据库内核的奥秘–手写数据库toadb 数据为王的时代 在信息化时代，数据已成为企业和应用不可或缺的核心，而数据库不仅是数据的仓库，更是支撑业务决策、系统运行的基石。对于求职者而言，掌握数据库知识已成为求职市场上的必考…
阅读更多...
MinIO Enterprise Cache：实现超性能的分布式 DRAM 缓存

MinIO Enterprise Cache：实现超性能的分布式 DRAM 缓存

随着计算世界的发展和 DRAM 价格的暴跌，我们发现服务器配置通常配备 500GB 或更多的 DRAM。当您处理大型部署时，即使是那些具有超高密度 NVMe 驱动器的部署，这些服务器上的服务器数量乘以 DRAM 也会迅速增加，通常达到几 TB。该 DR…
阅读更多...
详细分析Oracle日期和时间的基本命令

详细分析Oracle日期和时间的基本命令

目录 1. 基本类型2. 常用函数3. Demo 1. 基本类型 Oracle支持不同的日期格式模型，其中包括： ISO 8601: YYYY-MM-DDTHH:MI:SS，例如2024-06-20T14:30:00Oracle内部格式: DD-MON-YYYY HH:MI:SS AM，例如20-JUN-2024 02:30:00 PM DA…
阅读更多...
【Golang - 90天从新手到大师】Day11 - 包的管理

【Golang - 90天从新手到大师】Day11 - 包的管理

系列文章合集 Golang - 90天从新手到大师 Go语言中包的使用 Go语言使用包（package）这种语法元素来组织源码，所有语法可见性均定义在package这个级别，与Java 、python等语言相比，这算不上什么创新，但与C传…
阅读更多...
大型语言模型在AMD GPU上的推理优化

大型语言模型在AMD GPU上的推理优化

Large language model inference optimizations on AMD GPUs — ROCm Blogs 大型语言模型（LLMs）已经改变了自然语言处理和理解，促进了在多个领域中的众多人工智能应用。LLMs在包括AI助手、聊天机器人、编程、游戏、学习、搜索和推荐系统在内的…
阅读更多...
Linux管道与重定向

Linux管道与重定向

管道 是进程通信的方法之一，在Linux中用命令1|命令2的形式表示，将前一个命令的结果作为后续命令的参数进行输入，也有tee管道，可以进行多次筛选，即多次使用|过滤命令。 重定向 文件描述符FD Linux中输入输出分为三种…
阅读更多...
windows常见问题

windows常见问题

文章目录 Windows下常见问题1. 修改hosts文件2. win10系统卸载edge浏览器 Windows下常见问题 1. 修改hosts文件 hosts文件位置：C:\Windows\System32\drivers\etc\hosts 随便打开一个文件夹，然后在地址栏中输入上面的路径，然后选择使用txt编…
阅读更多...
【AI应用探讨】— 盘古大模型应用场景

【AI应用探讨】— 盘古大模型应用场景

目录 一、自然语言处理领域 智能客服 机器翻译 语音识别 二、计算机视觉领域 图像分类 目标检测 图像分割 图像生成 三、科学计算领域 气象预测 矿山安全 铁路检测 药物研发 一、自然语言处理领域 智能客服 利用盘古NLP大模型的语言理解和生成能力，提…
阅读更多...
基于AT32_Work_Bench配置AT32工程

基于AT32_Work_Bench配置AT32工程

基于AT32_Work_Bench配置AT32工程 ✨AT32_Work_Bench工具是用来给AT32 MCU快速构建外设初始化工程软件，类似STM32的STM32CubeMX工具软件。 📍AT32 TOOL系列工具下载地址：https://www.arterytek.com/cn/support/index.jsp?index4&#x1f3f7…
阅读更多...
INFINI Labs 助力开源与教育：免费许可证计划全面升级

INFINI Labs 助力开源与教育：免费许可证计划全面升级

在数字化浪潮席卷全球的今天，INFINI Labs 深刻认识到开源项目和教育机构在技术创新与人才培养中的核心作用。因此，我们郑重推出全新升级的免费许可证计划，旨在全球范围内为开源社区和教育界提供有力支持，共同推动软件生态的繁荣与…
阅读更多...
空压机节能元宇宙：未来工业能源效率的革命

空压机节能元宇宙：未来工业能源效率的革命

随着全球工业化进程的加速，能源消耗和环境保护已成为全球关注的焦点。在众多工业设备中，空压机作为一种重要的动力设备，其能耗问题尤为突出。为了实现节能减排和可持续发展，探索空压机的节能潜力和创新应用显得尤为重要。在这一背…
阅读更多...
什么是数据库？从零开始了解数据库基础概念

什么是数据库？从零开始了解数据库基础概念

什么是数据库？从零开始了解数据库基础概念 相信大家在日常生活中都听到过大数据，数据这个东西越来越火，比如交通大数据、旅游大数据等，，，数据成为了企业决策和业务运作的关键元素。而管理这些庞大而复杂的…
阅读更多...
14、顺时针打印矩阵

14、顺时针打印矩阵

题目： 顺时针打印矩阵 描述： 输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字， 例如， 如果输入如下矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字：1,2,3,4,8,1…
阅读更多...
nginx出现504 Gateway Time-out错误的原因分析及解决

nginx出现504 Gateway Time-out错误的原因分析及解决

nginx出现504 Gateway Time-out错误的原因分析及解决 1、查看公网带宽是否被打满 2、查看网络是否有波动(可以在nginx上ping后端服务，看是否有丢包情况) 3、查看服务器资源使用情况(cpu、内存、磁盘、网络等) 4、查看nginx日志，具体到哪个服务的哪个…
阅读更多...
kali中安装docker

kali中安装docker

文章目录 前期准备安装步骤后续设置 前期准备 更新系统包列表： 打开终端，首先更新你的系统包列表，确保安装的是最新版本的软件包。 sudo apt update安装依赖： 安装docker.io所需的依赖包。这一步确保了系统具备安装Docker的基本条…
阅读更多...
SQL - CTE

SQL - CTE

CTE，全称为 Common Table Expression（公用表表达式），是一种 SQL 表达式，用于命名一个临时结果集，这个结果集仅在执行单个查询（包括 SELECT、INSERT、UPDATE 或 DELETE 语句）期间可用…
阅读更多...
如何利用AI大模型设计电机本体？

如何利用AI大模型设计电机本体？

一、背景 AI在电机本体设计中的应用正逐渐成为提升设计效率、优化性能和降低成本的重要手段。通过深度学习、机器学习、计算机辅助设计（CAD）和仿真技术的结合，AI能够帮助工程师更快速准确地完成电机的设计与优化工作。以下是AI在电机本体设计…
阅读更多...
02_02_SpringMVC基于注解的应用

02_02_SpringMVC基于注解的应用

一、请求处理 1、常用注解 RequestMapping 作用：用来匹配客户端发送的请求（用来处理URL映射，将请求映射到处理方法中），可以在类或者方法上使用。 用在类上，可以将请求模块化，避免请求方法中的…
阅读更多...
最新文章

Copyright @ 2022~2023