基于Patroni+etcd+流复制搭建PostgreSQL高可用——筑梦之路

Patroni方案简介

Patroni是一个基于zk、etcd、consul等的pg ha模板，可以使用python来创建和定制高可用性解决方案。Patroni使用分布式key-value数据库作为数据存储，主节点故障时进行主节点重新选举。通过PG内置的流复制，支持同步和异步复制。

由于数据库信息记录在ETCD中，通过增加部署实例数可以避免脑裂，且该方案自动化程度较高，可以自动初始化PG实例；当STANDBY实例关闭后，支持自动尝试拉起；支持当主库宕机后自动选取新主库。

ETCD是一个基于RAFT协议的分布式Key-Value数据库，基于Go语言编写，Patroni监控本地的PG数据库状态，并将相关信息写入ETCD。每个Patroni都能读写ETCD的KEY，从而获取其他主机的PG数据库实例信息。

环境说明

  • 操作系统：CentOS Linux 7.9

  • 数据库版本：PostgreSQL 13.1

  • Python版本：Python3.8

  • ETCD版本：3.3

  • Patroni版本：2.0.1

 部署规划

主机名

IP

组件

备注

PG1

192.168.21.135

PostgreSQL、Patroni、ETCD

MASTER

PG2

192.168.21.136

PostgreSQL、Patroni、ETCD

STANDBY

PG3

192.168.21.137

PostgreSQL、Patroni、ETCD

STANDBY

 搭建部署

1. 安装PostgreSQL以及搭建流复制

略

2. 安装etcd集群

# PG1节点sudo yum install -y etcd
vim etc/etcd/etcd.conf
ETCD_NAME="node1"
ETCD_DATA_DIR="/var/lib/etcd/node1.etcd"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.135:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.135:2379"
ETCD_LISTEN_PEER_URLS="http://192.168.21.135:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.21.135:2380"
ETCD_INITIAL_CLUSTER="node1=http://192.168.21.135:2380,node2=http://192.168.21.136:2380,node3=http://192.168.21.137:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"# PG2节点sudo yum install -y etcd
vim /etc/etcd/etcd.conf
ETCD_NAME="node2"
ETCD_DATA_DIR="/var/lib/etcd/node2.etcd"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.136:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.136:2379"
ETCD_LISTEN_PEER_URLS="http://192.168.21.136:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.21.136:2380"
ETCD_INITIAL_CLUSTER="node1=http://192.168.21.135:2380,node2=http://192.168.21.136:2380,node3=http://192.168.21.137:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"# PG3节点sudo yum install -y etcd
vim /etc/etcd/etcd.conf
ETCD_NAME="node3"
ETCD_DATA_DIR="/var/lib/etcd/node3.etcd"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.137:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://192.168.21.137:2379"
ETCD_LISTEN_PEER_URLS="http://192.168.21.137:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.21.137:2380"
ETCD_INITIAL_CLUSTER="node1=http://192.168.21.135:2380,node2=http://192.168.21.136:2380,node3=http://192.168.21.137:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

3. 安装patroni

# 这里采用编译安装的方式# 安装依赖包yum install -y libffi-devel libuuid libuuid-devel# 安装pythontar -xzvf python-3.8.7.tgz
cd python-3.8.7
./configure
make -j 7
make -j 7 installrm -rf /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/pyhon# 处理yum的问题vim /usr/bin/yum
修改#!/usr/bin/python 为#!/usr/bin/python2# 安装patronipip3 install psycopg2-binary
pip3 install patroni[etcd]

4. 创建patroni配置文件

# PG1节点mkdir /etc/patronivim /etc/patroni/patroni.confscope: etcd_patroni_pg
namespace: /data/
name: pg1
restapi:
listen: 192.168.21.135:8008
connect_address: 192.168.21.135:8008
etcd:
host: 192.168.21.135:2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
master_start_timeout: 300
synchronous_mode: false
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
listen_address: "*"
port: 5432
max_connections: 2000
hot_standby: "on"
max_locks_per_transactions: 128
max_prepared_transactions: 2000
max_replication_slots: 10
max_wal_sender: 10
max_worker_precesses: 256
track_commit_timestamp: "on"
wal_keep_size: 0
wal_level: replica
wal_log_hints: "on"
log_directory: "log"
log_destination: "stderr"
postgresql:
listen: 0.0.0.0:5432
connect_address: 192.168.21.135:5432
data_dir: /data/pgdata
bin_dir: /opt/pg13/bin
pgpass: /home/postgres/.pgpass
authentication:
replication:
username: replica
password: replica
superuser:
username: postgres
password: root
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false
# PG2节点mkdir /etc/patronivim /etc/patroni/partoni.confscope: etcd_patroni_pg
namespace: /data/
name: pg2
restapi:
listen: 192.168.21.136:8008
connect_address: 192.168.21.136:8008
etcd:
host: 192.168.21.136:2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
master_start_timeout: 300
synchronous_mode: false
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
listen_address: "*"
port: 5432
max_connections: 2000
hot_standby: "on"
max_locks_per_transactions: 128
max_prepared_transactions: 2000
max_replication_slots: 10
max_wal_sender: 10
max_worker_precesses: 256
track_commit_timestamp: "on"
wal_keep_size: 0
wal_level: replica
wal_log_hints: "on"
log_directory: "log"
log_destination: "stderr"
postgresql:
listen: 0.0.0.0:5432
connect_address: 192.168.21.136:5432
data_dir: /data/pgdata
bin_dir: /opt/pg13/bin
pgpass: /home/postgres/.pgpass
authentication:
replication:
username: replica
password: replica
superuser:
username: postgres
password: root
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false
# PG3节点mkdir /etc/patroni
vim /etc/patroni/patroni.conf
scope: etcd_patroni_pg
namespace: /data/
name: pg3
restapi:
listen: 192.168.21.137:8008
connect_address: 192.168.21.137:8008
etcd:
host: 192.168.21.137:2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
master_start_timeout: 300
synchronous_mode: false
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
listen_address: "*"
port: 5432
max_connections: 2000
hot_standby: "on"
max_locks_per_transactions: 128
max_prepared_transactions: 2000
max_replication_slots: 10
max_wal_sender: 10
max_worker_precesses: 256
track_commit_timestamp: "on"
wal_keep_size: 0
wal_level: replica
wal_log_hints: "on"
log_directory: "log"
log_destination: "stderr"
postgresql:
listen: 0.0.0.0:5432
connect_address: 192.168.21.137:5432
data_dir: /data/pgdata
bin_dir: /opt/pg13/bin
pgpass: /home/postgres/.pgpass
authentication:
replication:
username: replica
password: replica
superuser:
username: postgres
password: root
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false

5. 将patroni加入服务开机启动

vim /etc/systemd/system/patroni.service[Unit]
Description=patroni - a high-availability PostgreSQL
Documentation=https://patroni.readthedocs.io/en/latest/index.html
After=syslog.target network.target etcd.target
Wants=network-online.target
[Service]
Type=simple
User=postgres
Group=postgres
PermissionsStartOnly=true
ExecStart=/usr/local/bin/patroni /etc/patroni/patroni.yml
ExecReload=/bin/kill -HUP $MAINPID
LimitNOFILE=65536
KillMode=process
KillSignal=SIGINT
Restart=on-abnormal
RestartSec=30s
TimeoutSec=0
[Install]
WantedBy=multi-user.target

6. 启动集群

启动数据库：
Pg_ctl start $PGDATA启动etcd：
Sudo systemctl start etcd启动patroni:
Sudo systemctl start patroni

检查验证

1. 查看集群节点状态

patronictl -c /etc/patroni/patroni.yml list

  • Role：显示当前节点所属状态；

  • TL：显示当前集群的时间线；

  • Lag in MB:显示当前集群主备延迟大小

2.  手工触发主备切换

选择某一可用的从节点，使其成为主节点角色
patronictl -c /etc/patroni/patroni.yml switchover
查看集群状态
patronictl -c /etc/patroni/patroni.yml list

 原始旧主库，自动切换为新主的备库，TL时间线变化。切换后，旧主库会自动跟随新主库。

3. 手工停止主节点Patroni

再次发生主备切换，重新启动patroni组件后，集群状态 

pg2自动跟随新主库pg3。

当某一节点与主库不同步，或者节点异常运行时，
可以使用此方法初始化节点信息以重新加入集群。
patronictl -c /etc/patroni/patroni.yml reinit pgsql
1.选择以下需要添加的节点名称：pg2
2.你确定要重新初始化成员 pg2？[y/N]：y
3.成功：为成员pgsql_node3执行初始化

4. 手动停止PG主节点实例

 从上面的过程可以看出，停止主库的后，patroni组件很快就检测到主库宕机，然后尝试将主库重新启动。如果启动不成功，则触发主备切换。

绑定VIP

Patroni集群，在应用连接时，可以连接多个IP，在使用时，先判断当前实例是否为MASTER，如果是，则业务继续进行，否则需要尝试其他IP。PATRONI可以将VIP绑定在MASTER节点，当主备切换时，VIP漂移到新主节点。

1. 修改patroni配置文件，每个节点都需要

scope: etcd_patroni_pg1
namespace: /data/
name: pg1
restapi:
listen: 192.168.21.135:8008
connect_address: 192.168.21.135:8008
etcd:
host: 192.168.21.135:2379
bootstrap:
dcs:
ttl: 30
loop_wait: 10
retry_timeout: 10
maximum_lag_on_failover: 1048576
master_start_timeout: 300
synchronous_mode: false
postgresql:
use_pg_rewind: true
use_slots: true
parameters:
listen_address: "*"
port: 5432
max_connections: 2000
hot_standby: "on"
max_locks_per_transaction: 128
max_prepared_transactions: 2000
max_replication_slots: 10
max_wal_sender: 10
max_worker_precesses: 256
track_commit_timestamp: "on"
wal_keep_size: 0
wal_level: replica
wal_log_hints: "on"
log_directory: "log"
log_destination: "stderr"
postgresql:
listen: 0.0.0.0:5432
connect_address: 192.168.21.135:5432
data_dir: /data/pgdata
bin_dir: /opt/pg13/bin
authentication:
replication:
username: replica
password: replica
superuser:
username: postgres
password: root
pgpass: /home/postgresql/.pgpass
callbacks:
on_start: /etc/patroni/patroni_callback.sh
on_stop: /etc/patroni/patroni_callback.sh
on_role_change: /etc/patroni/patroni_callback.sh
tags:
nofailover: false
noloadbalance: false
clonefrom: false
nosync: false

注意：

callbacks:
on_start: /etc/patroni/patroni_callback.sh
on_stop: /etc/patroni/patroni_callback.sh
on_role_change: /etc/patroni/patroni_callback.sh

此段为绑定VIP需要的shell脚本。

2. shell脚本

#!/bin/bashreadonly cb_name=$1
readonly role=$2
readonly scope=$3function usage() {
echo "Usage: $0 <on_start|on_stop|on_role_change> <role> <scope>";
exit 1;
}echo "this is patroni callback $cb_name $role $scope"case $cb_name in
on_stop)
sudo ip addr del 192.168.21.250/24 dev ens33 label ens33:1
sudo arping -q -A -c 1 -I ens33 192.168.21.250
#sudo iptables -F
;;
on_start)
;;
on_role_change)
if [[ $role == 'master' ]]; then
sudo ip addr add 192.168.21.250/24 brd 192.168.21.255 dev ens33 label ens33:1
sudo arping -q -A -c 1 -I ens33 192.168.21.250
#sudo iptables -F
elif [[ $role == 'slave' ]]||[[ $role == 'replica' ]]||[[ $role == 'logical' ]]; then
sudo ip addr del 192.168.21.250/24 dev ens33 label ens33:1
sudo arping -q -A -c 1 -I enp0s8 192.168.21.250
#sudo iptables -F
fi
;;
*)
usage
;;
esac

总结

 Patroni用于构建高可用 PostgreSQL 集群的工具，它通过自动化的方式来管理主备切换、数据复制和集群健康检查。

参考资料：

乖乖，PG高可用咱不用主从流复制了，咱试试patroni

基于Patroni+etcd+流复制搭建PostgreSQL高可用 - 墨天轮

使用Patroni和HAProxy创建高度可用的PostgreSQL集群-腾讯云开发者社区-腾讯云

https://www.linode.com/docs/guides/create-a-highly-available-postgresql-cluster-using-patroni-and-haproxy/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/19395.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

k210数字识别 笔记2 （串口通信）

k210数字识别 笔记2 （串口通信）

这个模型识别的还可以&#xff0c;离近点 识别率高达0.9 资源&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1D4ubJGMptqop1x_Nf8KqfQ?pwd1234 提取码&#xff1a;1234 一&#xff1a;报错解决 报错的意思应该是模型文件错误 原程序可以在sd卡运行&#xff0c;但…
阅读更多...
Linux 服务器配置 SSH 服务登录失败处理

Linux 服务器配置 SSH 服务登录失败处理

任务目标 配置 Linux 服务器ssh远程登录失败处理机制&#xff0c;防止黑客爆破服务器密码 操作步骤 备份原配置文件 $ sudo cp /etc/pam.d/sshd /etc/pam.d/sshd.bak $ sudo cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak安装 pam_tally2 统计登陆失败次数 # 对于Debia…
阅读更多...
使用Stanford-CoreNLP命令行进行分词

使用Stanford-CoreNLP命令行进行分词

接上文 https://blog.csdn.net/guotong1988/article/details/136652691 java -cp "stanford-corenlp-4.5.6/*" edu.stanford.nlp.international.arabic.process.ArabicTokenizer normArDigits,normArPunc,normAlif,removeDiacritics,removeTatweel,removeQuranChars…
阅读更多...
[C#]使用C#部署yolov8-cls的图像分类的tensorrt模型

[C#]使用C#部署yolov8-cls的图像分类的tensorrt模型

【测试通过环境】 win10 x64 vs2019 cuda11.7cudnn8.8.0 TensorRT-8.6.1.6 opencvsharp4.9.0 .NET Framework4.7.2 NVIDIA GeForce RTX 2070 Super 版本和上述环境版本不一样的需要重新编译TensorRtExtern.dll&#xff0c;TensorRtExtern源码地址&#xff1a;TensorRT-CShar…
阅读更多...
游泳时用什么耳机听歌好？精品榜前四游泳耳机揭秘，款款佳品！

游泳时用什么耳机听歌好？精品榜前四游泳耳机揭秘，款款佳品！

游泳时用什么耳机听歌好&#xff1f;这无疑是众多水上运动爱好者的共同疑问。在享受游泳带来的清凉与畅快时&#xff0c;若能伴随着悦耳的音乐&#xff0c;无疑能让整个体验更加完美。然而&#xff0c;市面上的游泳耳机种类繁多&#xff0c;品质各异&#xff0c;如何选择一款既…
阅读更多...
1、pyton环境的安装-windows系统下

1、pyton环境的安装-windows系统下

python官网 https://www.python.org/ 点击黄色的按钮&#xff0c;下载完成&#xff0c;如下&#xff1a; 双击安装&#xff0c;我现在以3.10.4版本进行安装说明&#xff1a; 一定要勾选上下边的to path&#xff0c;然后选择自定义安装 全选&#xff0c;点击next 选择要安装的路…
阅读更多...
#RAG | AIGC # RAG召回率提升的方法以及优劣势

#RAG | AIGC # RAG召回率提升的方法以及优劣势

RAG&#xff08;Retrieval-Augmented Generation&#xff09;是一种结合了检索&#xff08;Retrieval&#xff09;和生成&#xff08;Generation&#xff09;的模型&#xff0c;用于增强大型语言模型&#xff08;LLMs&#xff09;的性能。召回率&#xff08;Recall&#xff09;…
阅读更多...
PHPSTOM配置Laradock,xdebug,phpunit

PHPSTOM配置Laradock,xdebug,phpunit

原理图&#xff1a; 片面理解&#xff1a; phpstorm启用一个9000端口&#xff0c;这个端口用来接收到信息后&#xff0c;启用xdebug功能。服务器端(docker), 当客户端访问laravel项目域名后, 并读取xdebug.ini的配置, 把调试的请求数据, 向配置里面的端口发送消息, 配置里面的端…
阅读更多...
OrangePi Alpro开箱体验 ubuntu 与 openEuler 实时性对比

OrangePi Alpro开箱体验 ubuntu 与 openEuler 实时性对比

OrangePi Alpro开箱体验 & ubuntu 与 openEuler 实时性对比 1 介绍1.1 概述1.2 OrangePi Kunpeng Pro vs OrangePi AIpro 2 开箱3 芯片介绍OrangePi AIpro(8T)Atlas 200I DK A2 4 开机连接鼠标、键盘、显示器桌面查看系统信息配置网络查看IP远程SSHWinSCP 5 GPIO Toolgpio_…
阅读更多...
medsam ,数入xml +img, 根据检测框，原图显示分割效果，加上点的减少处理

medsam ,数入xml +img, 根据检测框，原图显示分割效果，加上点的减少处理

1、输入每张图片的多个检测框&#xff0c;得到这张图片的sam 分割结果 import numpy as np import matplotlib.pyplot as plt import osjoin os.path.join import torch from segment_anything import sam_model_registry from skimage import io, transform import torch.nn…
阅读更多...
轧钢测径仪分析软件，四大图表带来产线新视角！

轧钢测径仪分析软件，四大图表带来产线新视角！

轧钢测径仪是智能化检测设备&#xff0c;除了测径仪主体外&#xff0c;还配有测控软件系统&#xff0c;从这里可对测径仪进行各种设置&#xff0c;亦可从此观测到测径仪获得的各种信息&#xff0c;如检测信息、分析图表、计算尺寸、历史数据等。而从测径仪获得的图表信息主要有…
阅读更多...
伦敦银和现货白银是一回事吗

伦敦银和现货白银是一回事吗

伦敦银和现货白银不能直接完全地画上等号&#xff0c;但如果投资者所指指的是国际市场上的现货白银交易&#xff0c;那么二者应该是等同的——因为在国际贵金属投资市场上&#xff0c;现货白银的别称就是伦敦银&#xff0c;伦敦银和现货白银指的其实是同一回事。 因为早在很多个…
阅读更多...
代码随想录-算法训练营day47【动态规划09：打家劫舍、打家劫舍II、打家劫舍III】

代码随想录-算法训练营day47【动态规划09：打家劫舍、打家劫舍II、打家劫舍III】

代码随想录-035期-算法训练营【博客笔记汇总表】-CSDN博客 第九章 动态规划part09● 198.打家劫舍 ● 213.打家劫舍II ● 337.打家劫舍III详细布置 今天就是打家劫舍的一天&#xff0c;这个系列不算难&#xff0c;大家可以一口气拿下。198.打家劫舍 视频讲解&#xff1a;h…
阅读更多...
Qt使用setColumnHidden()函数隐藏列后无法再次显示出来，解决方法

Qt使用setColumnHidden()函数隐藏列后无法再次显示出来，解决方法

调用&#xff1a;setColumnHidden()后&#xff0c;紧接着调用resizeColumnsToContents()&#xff0c;但是这样会改变之前设置的列宽&#xff0c;所以要在写个函数保存之前设置的列宽&#xff0c;然后调用resizeColumnsToContents()&#xff0c;再恢复列宽。 例子: ...........…
阅读更多...
ES报错1

ES报错1

ES在kibana的JSON如图: 提交后错误信息如下 所以是什么错误呢: 原来是:json的格式有误改成 这里的错误其实是我在文件传输时,为了节约空间,没有以json格式传递,而是一串字符就传过来了,需要使用josn的格式化工具格式化才行,结果格式化的不正确,才遇到此坑
阅读更多...
go语言方法之通过嵌入结构体来扩展类型

go语言方法之通过嵌入结构体来扩展类型

我们先来看看这个类型&#xff1a; import "image/color"type Point struct{ X, Y float64 }type ColoredPoint struct {PointColor color.RGBA } 我们完全可以将ColoredPoint定义为一个有三个字段的struct&#xff0c;但是我们却将Point这个类型嵌 入到ColoredPoin…
阅读更多...
图片处理软件有哪些？这三款软件好用

图片处理软件有哪些？这三款软件好用

图片处理软件有哪些&#xff1f;在当今这个数字化时代&#xff0c;图片处理软件成为了我们日常生活和工作中不可或缺的工具。无论是为了修饰个人照片&#xff0c;还是为了设计专业海报&#xff0c;这些软件都能帮助我们轻松实现创意和美化。那么&#xff0c;究竟有哪些热门的图…
阅读更多...
【因果推断python】1_因果关系初步1

【因果推断python】1_因果关系初步1

目录 为什么需要关心因果关系&#xff1f; 回答不同类型的问题 当关联确实是因果时 为什么需要关心因果关系&#xff1f; 首先&#xff0c;您可能想知道&#xff1a;它对我有什么好处&#xff1f;下面的文字就将围绕“它”展开&#xff1a; 回答不同类型的问题 机器学习目…
阅读更多...
数据结构【队列】

数据结构【队列】

队列的的概念 队列是一种特殊的线性表&#xff0c;特殊之处在于它只允许在表的头部进行删除操作&#xff0c;而在表的尾部进行插入操作&#xff0c;和栈一样&#xff0c;队列是一种操作受限制的线性表。进行插入操作的端称为队尾&#xff0c;进行删除操作的端称为队头。队列中…
阅读更多...
Nginx R31 doc-10-NGINX Reverse Proxy 反向代理

Nginx R31 doc-10-NGINX Reverse Proxy 反向代理

配置 NGINX 作为反向代理 配置 NGINX 作为反向代理用于 HTTP 和其他协议&#xff0c;支持修改请求头和对响应进行细粒度的缓冲。 本文介绍了代理服务器的基本配置。您将学习如何将请求从 NGINX 转发到不同协议的代理服务器上&#xff0c;修改发送到代理服务器的客户端请求头&…
阅读更多...
最新文章

Copyright @ 2022~2023