CloudberryDB(一)安装部署多节点分布式数据库集群

CloudberryDB:    一个 Greenplum Database 分布式数据库开源版本的衍生项目,

针对开源 Greenplum Database 优化的地方, CloudberryDB制定了路线图(https://github.com/orgs/cloudberrydb/discussions/369)并在逐步改进 。

GitHub 地址:https://github.com/cloudberrydb/cloudberrydb


️官网主页:https://cloudberrydb.org/

官方文档:产品特性 | Apache Cloudberry (Incubating)

准备部署的3台服务器信息如下:

[root@dfq-cloudberrydb-01 ~]# cat /etc/os-release 
NAME="Rocky Linux"
VERSION="8.6 (Green Obsidian)"
ID="rocky"
ID_LIKE="rhel centos fedora"
VERSION_ID="8.6"
PLATFORM_ID="platform:el8"
PRETTY_NAME="Rocky Linux 8.6 (Green Obsidian)"
ANSI_COLOR="0;32"
CPE_NAME="cpe:/o:rocky:rocky:8:GA"
HOME_URL="https://rockylinux.org/"
BUG_REPORT_URL="https://bugs.rockylinux.org/"
ROCKY_SUPPORT_PRODUCT="Rocky Linux"
ROCKY_SUPPORT_PRODUCT_VERSION="8"
REDHAT_SUPPORT_PRODUCT="Rocky Linux"
REDHAT_SUPPORT_PRODUCT_VERSION="8"

通过源码编译CloudberryDB

下载CloudberryDB源码:

git clone https://github.com/cloudberrydb/cloudberrydb.git
cd cloudberrydb
git checkout 1.5.3

安装依赖项

sudo dnf groupinstall -y "Development Tools"
sudo dnf install -y epel-releasesudo dnf install -y apr-devel bison bzip2-devel cmake3 flex gcc gcc-c++ krb5-devel libcurl-devel libevent-devel libkadm5  libxml2-devel libzstd-devel openssl-devel perl-ExtUtils-Embed python3-devel python3-pip readline-devel xerces-c-devel zlib-devel~/cloudberrydb/deploy/build/README.Rhel-Rocky.bashpip3.9 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r ~/cloudberrydb/python-dependencies.txt

编译CloudberryDB,设置安装路径为/usr/local/cloudberrydb

cd cloudberrydb
./configure --with-perl --with-python --with-libxml --with-gssapi --prefix=/usr/local/cloudberrydb
make -j8
make install

部署前的准备

下面的步骤需要在三台服务器都一次执行一次,使用root用户来执行命令

解压编译好的CloudberryDB安装包到/usr/local目录下,然后使用下面的命令分别修改每台服务器的主机名:

hostnamectl set-hostname dfq-cloudberrydb-0x

禁用SELINUX和防火墙

setenforce 0
systemctl stop firewalld
systemctl disable firewalld

修改/etc/hosts文件,包含CloudberryDB所有主机别名与其网络IP地址的映射:

10.197.165.181 dfq-cloudberrydb-01
10.197.165.182 dfq-cloudberrydb-02
10.197.165.183 dfq-cloudberrydb-03

配置内核参数,在/etc/sysctl.conf文件中添加下面的参数:

# kernel.shmall = _PHYS_PAGES / 2
kernel.shmall = 197951838
# kernel.shmmax = kernel.shmall * PAGE_SIZE
kernel.shmmax = 810810728448
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 250 2048000 200 8192
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ipfrag_high_thresh = 41943040
net.ipv4.ipfrag_low_thresh = 31457280
net.ipv4.ipfrag_time = 60
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296kernel.core_pattern=/var/core/core.%h.%t

执行下面的命令使参数生效:

sysctl -p

资源限制设置,在/etc/security/limits.conf文件中添加下面的参数,对软硬件资源用量进行限制:

*soft nofile 524288
*hard nofile 524288
*soft nproc 131072
*hard nproc 131072* soft core unlimited

创建gpadmin管理用户:

groupadd -g 520 gpadmin
useradd -g 520 -u 520 -m -d /home/gpadmin/ -s /bin/bash gpadmin
passwd gpadmin

编译好的CloudberryDB软件包在/usr/local/cloudberrydb路径下,为gpadmin用户授予安装目录的权限:

chown -R gpadmin:gpadmin /usr/local/cloudberrydb

在所有的节点安装依赖:

sudo dnf install -y apr-devel bison bzip2-devel cmake3 epel-release flex gcc gcc-c++ krb5-devel libcurl-devel libevent-devel libkadm5 libxml2-devel libzstd-devel openssl-devel python39 python39-devel python39-psutil python3-pip perl-ExtUtils-MakeMaker.noarch perl-ExtUtils-Embed.noarch readline-devel rsync xerces-c-devel zlib-devel python3-psutil python3-pyyaml python3-psycopg2sudo yum --enablerepo=powertools install -y libyaml-develsu - gpadmin
pip3.9 install -i https://pypi.tuna.tsinghua.edu.cn/simple psutil==5.7.0 pygresql==5.2 pyyaml==5.3.1
sudo rm -rf /usr/bin/python3
sudo ln -s /usr/bin/python3.9 /usr/bin/python3

配置节点间的互信,切换到gpadmin用户,后续的操作均使用gpadmin用户进行:

su - gpadmin

创建节点配置信息,在/home/gpadmin/all_hosts里填入下面的信息:

dfq-cloudberrydb-01
dfq-cloudberrydb-02
dfq-cloudberrydb-03

在/home/gpadmin/seg_hosts里填入segment节点的信息:

dfq-cloudberrydb-02
dfq-cloudberrydb-03

在每台主机上执行下面的命令生成SSH密钥:

ssh-keygen

在每台主机上执行下面的命令来配置免密:

ssh-copy-id dfq-cloudberrydb-01
ssh-copy-id dfq-cloudberrydb-02
ssh-copy-id dfq-cloudberrydb-03

初始化CloudberryDB

在Coordinator节点使用gpadmin用户来操作

在所有的节点执行:

在~/.bashrc文件中添加下面的命令:

source /usr/local/cloudberrydb/greenplum_path.sh

执行下面的命令使命令生效:

source ~/.bashrc

在Coordinator节点使用下面的命令来为Segment节点创建数据目录和mirror目录:

gpssh -f seg_hosts
mkdir -p /data/primary
mkdir -p /data/mirror

在Coordinator节点上创建数据目录:

mkdir -p /data/coordinator

在Coordinator节点的主机上往~/.bashrc文件中添加下面的命令:

export COORDINATOR_DATA_DIRECTORY=/data/coordinator/gpseg-1

执行下面的命令使文件生效:

source ~/.bashrc

配置启动脚本

在Coordinator节点所在主机上,复制模板文件:

cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config .

修改gpinitsystem_config文件:

  1. 端口、Coordinator节点、Segment节点、Mirror节点的信息配置成之前配置的

  2. 将DATA_DIRECTORY修改为Segment计算节点的数据目录:/data/primary

  3. 将COORDINATOR_HOSTNAME修改为dfq-cloudberrydb-01

  4. 将COORDINATOR_DIRECTORY修改为Coordinator节点数据目录:/data/coordinator

  5. 将MIRROR_DATA_DIRECTORY修改为Mirror的数据目录:/data/mirror

初始化CloudberryDB数据库

在gpadmin用户下,使用下面的命令初始化CloudberryDB:

gpinitsystem -c gpinitsystem_config -h /home/gpadmin/seg_hosts

初始化完成后,将下面的环境变量配置到~/.bashrc里

export PGDATABASE=postgres
export PGHOST=127.0.0.1
export PGUSER=gpadmin
export PGPORT=5432

重新加载~/.bashrc

source ~/.bashrc

使用psql登录数据库

[gpadmin@dfq-cloudberrydb-01 ~]$ psql
psql (14.4, server 14.4)
Type "help" for help.postgres=# SELECT version();version                                                                         -----------------------------------------------------------------------------------PostgreSQL 14.4 (Cloudberry Database 1.5.3+dev.57.ge1d276f80e build dev) on x86_64-pc-li
nux-gnu, compiled by gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-22), 64-bit compiled on Jun 
19 2024 09:20:42
(1 row)

【Docker中快速部署】

1 docker pull registry.cn-hangzhou.aliyuncs.com/lhrbest/cbdb:1.5.4
2 docker tag registry.cn-hangzhou.aliyuncs.com/lhrbest/cbdb:1.5.4    lhrbest/cbdb:1.5.4
3
4
5 docker rm -f cbdb
6 docker run -d --name cbdb -h cbdb \
7  -p  24432:5432 -p  2422:22 \
8  -v /sys/fs/cgroup:/sys/fs/cgroup \
9  --privileged=true lhrbest/cbdb:1.5.4 \
10  /usr/sbin/init
11
12
13  docker exec -it cbdb bash
14
15
16
17  su - gpadmin
18  gpstart -a

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/62952.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解决Logitech G hub 无法进入一直转圈的方案(2024.12)

如果你不是最新版本无法加载尝试以下方案:删除AppData 文件夹下的logihub文件夹 具体路径:用户名根据实际你的请情况修改 C:\Users\Administrator\AppData\Local 如果你有通过lua编译脚本,记得备份!! ↓如果你是最新…

数据库范式与反范式化:如何权衡性能与数据一致性

目录 1. 什么是数据库范式(Normalization)?第一范式(1NF)第二范式(2NF)第三范式(3NF) 2. 什么是反范式化(Denormalization)?3. 反范式…

Nmap使用总结

0X00 背景 nmap是测试中常用的网络探测工具,但是这回简单的操作,一直了解不深入,现在深入的了解和学习一下。 在文章结构上,我把平时常用的内容提前了,以便再次查阅的时候,比较方便。 0X01 安装 nmap可…

【记录49】vue2 vue-office在线预览 docx、pdf、excel文档

vue2 在线预览 docx、pdf、excel文档 docx npm install vue-office/docx vue-demi0.14.6 指定版本 npm install vue-office/docx vue-demi <template><VueOfficeDocx :src"pdf" style"height: 100vh;" rendere"rendereHandler" error&…

MVC模式的理解和实践

在软件开发中&#xff0c;MVC&#xff08;Model-View-Controller&#xff09;模式是一种经典的设计模式&#xff0c;特别适用于构建用户界面复杂的Web应用程序。MVC通过将应用程序的业务逻辑、数据显示和用户交互分离&#xff0c;使代码结构更加清晰&#xff0c;易于维护和扩展…

[A-22]ARMv8/v9-SMMU多级页表架构

ver0.1 [看前序文章有惊喜,关注W\X\G=Z+H=“浩瀚架构师”,可以解锁全部文章] 前言 前文我们对SMMU的系统架构和基本功能做了简要的介绍,现在大家大致对SMMU在基于ARM体系的系统架构下的总线位置和产品形态有了基本的了解。这里我们还是简单做个前情回顾,从总线架构角度看…

【UE5 “RuntimeLoadFbx”插件】运行时加载FBX模型

前言 为了解决在Runtime时能够直接根据FBX模型路径直接加载FBX的问题&#xff0c;推荐一款名为“RuntimeLoadFBX”的插件。 用法 插件用法如下&#xff0c;只需要指定fbx的地址就可以在场景中生成Actor模型 通过指定输入参数“Cal Collision”来设置FBX模型的碰撞 还可以通过…

(11)(3.1) ESC接地和接线注意事项

文章目录 前言 1 归纳 2 电容式 3 电阻 前言 ESC 接地问题由 3 种形式的 ESC 信号/耦合问题组成&#xff0c;即电阻、电容和电感。在制造飞机时&#xff0c;应考虑这三个因素。 1 归纳 这是电流突然变化导致系统中出现大电压尖峰的趋势。电源系统中的电感主要是由 ESC 和…

精品基于Python实现的微信小程序校园导航系统-微信小程序

[含文档PPT源码等] [包运行成功永久免费答疑辅导] 《django微信小程序校园导航系统》该项目采用技术Python的django框架、mysql数据库 &#xff0c;项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、核心代码介绍视频等 软件开发环境及开发工具&#xf…

Rstudio-server的安装、配置、维护

一、安装Rstudio-server (1)安装R语言&#xff1a; sudo apt install r-base # 如果没有管理员权限无法操作 # 这样装上R默认在/usr/bin/R其实基本上的流程都可以参考posit的官网&#xff08;也就是Rstudio的官网&#xff09;&#xff1a; https://posit.co/download/rstudio…

Python序列的应用(八):元组、字典

前言&#xff1a;在Python编程语言中&#xff0c;序列是一种非常重要的数据结构&#xff0c;它允许我们存储和操作有序的数据集合。在前几期的内容中&#xff0c;我们已经探讨了列表&#xff08;List&#xff09;和集合&#xff08;Set&#xff09;这两种序列的应用&#xff0c…

OpenCV 功能函数介绍

一&#xff0c; 二值化函数 功能&#xff1a; 用于对图像进行二值化处理 参数&#xff1a; cv2.threshold(输入你的图像所对应的灰度图&#xff0c; 阈值&#xff1a;是浮点还是整数取决予图像的数据类型 最大值;高于阈值的像素值&#xff0c; 阈值类型&#xff1a;cv2.THR…

【Python】使用Selenium的find_element模块获取网页上的大段文字和表格的方法(建议收藏!)

发现了一个使用Selenium的find_element模块&#xff0c;快速获取文字和表格的方法&#xff0c;很实在&#xff0c;以后爬网的时候&#xff0c;就不用beautifulSoup 和 pandas的read_html 混起来用了&#xff01; 文字部分&#xff1a;实现网络节点下&#xff0c;某个节点下的其…

APP渗透测试记录(一、Android应用基本构造)

Android应用基本构造 雷电模拟机进入 adb shell# 如果不是root权限 su一下 su 1.了解APK文件 安卓应用的扩展名为.apk(Android Application Package),它是一个包含多个文件和文件夹的数据存档文件。 1.1 apk文件解压后的目录结构 AndroidManifest.xml:包含应用的大部分…

【AI知识】有监督学习之回归任务(附线性回归代码及可视化)

1. 回归的基本概念 在机器学习的有监督学习中&#xff0c;回归&#xff08;Regression&#xff09;是一种常见的任务&#xff0c;它的目标是通过观察数据来建立一个模型&#xff0c;用一个或多个自变量来预测因变量的值。 回归分析通常用于&#xff1a; a.预测&#xff0c;基于…

fastadmin批量压缩下载远程视频文件

后端代码 // 批量下载并压缩 public function downloadAll(){$ids input(ids);$row $this->model->where(id, in, $ids)->field(id,title,video_url)->select();if (!$row) {$this->error(记录不存在);}$arr [];$tempFiles []; // 用来存储临时下载的视频文…

边缘计算+人工智能:让设备更聪明的秘密

引言&#xff1a;日常生活中的“智能”设备 你是否发现&#xff0c;身边的设备正变得越来越“聪明”&#xff1f; 早上醒来时&#xff0c;智能音箱已经根据你的日程播放舒缓音乐&#xff1b;走进厨房&#xff0c;智能冰箱提醒你今天的食材库存&#xff1b;而在城市道路上&…

JVM 双亲委派模型以及垃圾回收机制

目录 1. JVM 内存区域划分 2. JVM 中类加载的过程 1) 类加载的基本流程 2) 双亲委派模型 3. JVM 中垃圾回收机制 1) 找到垃圾 a) 引用计数 b) 可达性分析 2) 释放垃圾 1. JVM 内存区域划分 一个运行起来的 Java 进程&#xff0c;其实就是一个 JVM 虚拟机。 而进程是…

ansible自动化运维(四)jinjia2模板

Jinjia2模板 前面说到playbook组成的时候&#xff0c;有介绍到template模块&#xff0c;而template模块对模板文件进行渲染时&#xff0c;使用的就是jinja2模板引擎&#xff0c;jinja2本身就是基于python的模板引擎&#xff0c;所以下面先来了解一下jinjia2模板的一些用法 基…

通过k-means对相似度较高的语句进行分类

本文介绍了如何使用K-Means算法对相似度较高的语句进行分类&#xff0c;并附上java案例代码 import java.util.ArrayList; import java.util.List; import java.util.Random;public class KMeansTextClustering {public static void main(String[] args) {// 初始化语句数据集…