postgresql 使用之 存储架构 触摸真实数据的存储结构以及组织形式，存入数据库的数据原来在这里

存储架构

在这里插入图片描述

​专栏内容：
postgresql内核源码分析
手写数据库toadb
并发编程
个人主页：我的主页
座右铭：天行健，君子以自强不息；地势坤，君子以厚德载物.

概述

postgresql 数据库服务运行时，数据在磁盘上是如何存储的呢？这就涉及到了存储架构。
在文件系统中，我们可以看到以目录和文件为形式的存储单元，这是物理存储架构，
这些目录和文件实际上有一定的联系和组织形式，比如最外层目录就是集群数据目录，每个数据库会有一个目录，这就是逻辑存储架构。

逻辑存储架构，维护着物理磁盘文件的组织形式，物理存储架构是具体的磁盘文件的呈现方式。

逻辑存储架构

命名空间

在逻辑上，数据库有几层组织管理命名空间

在这里插入图片描述

集簇->表空间tablespace->数据库database->模式schema
其中 模式是数据库内核中通过数据字典来区分，所以前三项都是通过存储架构的组织，来实现物理上的空间独立。
这在前面内核分析文章中也提到，表文件的定位，也是通过tablespace/database/relation三级来唯一标识。

对于集簇这个概念，通过initdb创建的就是集簇，也就是数据存入的目录，在数据库服务启动时需要指定，它通常叫做PGDATA。

数据文件

用户数据文件

有表，索引，还有对应的vm,fsm文件，都是按照命名空间的层级目录来存储

事务相关数据

由集簇级层级的空间管理，在集簇目录下有公共目录存放

其它组织文件

如表空间文件，数据字典文件，模版库，运行日志等文件，都是集簇层级的空间进行管理，在集簇目录下有各自的目录

配置文件

  • 数据库配置文件

postgresql.conf

  • 客户端访问控制配置文件

pg_hba.conf和pg_ident.conf

辅助文件

如版本文件，运行信息文件等，都在PGDATA根目录下

物理存储架构

  1. 通常用PGDATA来引用（用的是可以定义它的环境变量的名字）。PGDATA的一个常见位置是/var/lib/pgsql/data。由不同数据库实例所管理的多个集簇可以在同一台机器上共存。
  2. 在表或者索引超过 1GB 之后，它就被划分成1G大小的段。
    第一个段的文件名和文件节点相同；随后的段被命名为 filenode.1、filenode.2等等。这样的安排避免了在某些有文件大小限制的平台上的问题（实际上，1GB只是默认的段尺寸。段尺寸可以在编译PostgreSQL时使用配置选项–with-segsize进行调整）。原则上，空闲空间映射和可见性映射分支也可以要求多个段，但实际上这很少发生。
  3. 每个数据库都会有一个单独的目录，其中存放该库的表文件。

集簇文件结构

先初始化一个全新的数据库集簇，下面初始化并启动数据库

# 初始化postgres数据库集簇 
/opt/postgres/bin/initdb -D pgtest -W# 启动数据库，监听端口指定为 8888 
/opt/postgres/bin/pg_ctl -D pgtest -l logfile -o "-p 8888" start# 以命令行客户端，登陆数据库，指定端口和数据库
/opt/postgres/bin/psql -p 8888 -d postgres

下面是initdb完成后，新建了一个表空间后的集簇目录结构，
然后为了看到一些文件类型，建了临时表，unlogged表，以及索引；
中间省略了一些表的文件列表，保留了目录层级和关键的文件。

-- 表空间 
create tablespace tblspc_test location '/mnt/sda1/data/pgdata/pgtblspc';-- 普通表 
create table tbl_account(id integer, name varchar, address varchar, tel varchar);-- 临时表 会话退出后就会删除 
create temporary table tmptbl_test(id int, c_id int);-- unlogged 表，不会记录WAL，恢复时数据全部丢失 
create unlogged table unlogtbl_test(c_id int ,consumer varchar);
create index on unlogtbl_test (c_id);

经过上面的场景构造之后，现在来看一下数据库集簇下的文件和目录层次

[senllang@hatch pgdata]$ tree pgtest
pgtest
├── base
│   ├── 1
│   │   ├── 112
│   │   ├── 113
│   │   ├── 1247
│   │   ├── 1247_fsm
│   │   ├── 1247_vm
│   │   ├── 1249
......
│   │   ├── 827
│   │   ├── 828
│   │   ├── pg_filenode.map
│   │   ├── pg_internal.init
│   │   └── PG_VERSION
│   ├── 4
│   │   ├── 112
│   │   ├── 113
│   │   ├── 1247
│   │   ├── 1247_fsm
│   │   ├── 1247_vm
......
│   │   ├── 6238
│   │   ├── 6239
│   │   ├── 826
│   │   ├── 827
│   │   ├── 828
│   │   ├── pg_filenode.map
│   │   └── PG_VERSION
│   └── 5
│       ├── 112
│       ├── 113
│       ├── 1247
│       ├── 1247_fsm
│       ├── 1247_vm
│       ├── 16403
│       ├── 16403_init
│       ├── 16406
│       ├── 16406_init
│       ├── 16407
│       ├── 16407_init
│       ├── 16408
│       ├── 16408_init
│       ├── t3_16409
│       └── t3_16412
......
│       ├── 827
│       ├── 828
│       ├── pg_filenode.map
│       ├── pg_internal.init
│       └── PG_VERSION
├── global
│   ├── 1213
│   ├── 1213_fsm
│   ├── 1213_vm
│   ├── 1214
│   ├── 1232
│   ├── 1233
│   ├── 1260
│   ├── 1260_fsm
│   ├── 1260_vm
......
│   ├── pg_control
│   ├── pg_filenode.map
│   └── pg_internal.init
├── pg_commit_ts
├── pg_dynshmem
├── pg_hba.conf
├── pg_ident.conf
├── pg_logical
│   ├── mappings
│   ├── replorigin_checkpoint
│   └── snapshots
├── pg_multixact
│   ├── members
│   │   └── 0000
│   └── offsets
│       └── 0000
├── pg_notify
├── pg_replslot
├── pg_serial
├── pg_snapshots
├── pg_stat
├── pg_stat_tmp
├── pg_subtrans
│   └── 0000
├── pg_tblspc
│   └── 16388 -> /mnt/sda1/data/pgdata/pgtblspc
├── pg_twophase
├── PG_VERSION
├── pg_wal
│   ├── 000000010000000000000001
│   └── archive_status
├── pg_xact
│   └── 0000
├── postgresql.auto.conf
├── postgresql.conf
├── postmaster.opts
└── postmaster.pid

详细介绍

文件/目录描述
PG_VERSION一个包含PostgreSQL主版本号的文件
base包含每个数据库对应的子目录的子目录
current_logfiles记录当前被日志收集器写入的日志文件的文件
global包含集簇范围的表的子目录，比如pg_database
pg_commit_ts包含事务提交时间戳数据的子目录
pg_dynshmem包含被动态共享内存子系统所使用的文件的子目录
pg_logical包含用于逻辑复制的状态数据的子目录
pg_multixact包含多事务（multi-transaction）状态数据的子目录（用于共享的行锁）
pg_notify包含LISTEN/NOTIFY状态数据的子目录
pg_replslot包含复制槽数据的子目录
pg_serial包含已提交的可序列化事务信息的子目录
pg_snapshots包含导出的快照的子目录
pg_stat包含用于统计子系统的永久文件的子目录
pg_stat_tmp包含用于统计信息子系统的临时文件的子目录
pg_subtrans包含子事务状态数据的子目录
pg_tblspc包含指向表空间的符号链接的子目录
pg_twophase包含用于预备事务状态文件的子目录
pg_wal包含 WAL （预写日志）文件的子目录
pg_xact包含事务提交状态数据的子目录
postgresql.auto.conf一个用于存储由ALTER SYSTEM 设置的配置参数的文件
postmaster.opts一个记录服务器最后一次启动时使用的命令行参数的文件
postmaster.pid一个锁文件，记录着当前的 postmaster 进程ID（PID）、集簇数据目录路径、postmaster启动时间戳、端口号、Unix域套接字目录路径（Windows上为空）、第一个可用的listen_address（IP地址或者*，或者为空表示不在TCP上监听）以及共享内存段ID（服务器关闭后该文件不存在）

表空间

在表空间中创建了一个临时表，一个普通表，还有一个数据库

-- 创建数据库，指定存储的表空间 
create database test tablespace tblspc_test ;-- 在指定表空间创建临时表 
create temporary table tmptbl_test1(id int, c_id int) tablespace tblspc_test;-- 在指定表空间创建普通表 
create table tbl_salary(id integer, level float, performance float) tablespace tblspc_test;

物理结构

查看表空间目录中文件，目录层次和文件列表如下

[senllang@hatch pgdata]$ tree pgtblspc/
pgtblspc/
└── PG_16_202306141├── 16389│   ├── 112│   ├── 113│   ├── 1247│   ├── 1247_fsm│   ├── 1247_vm│   ├── 1249│   ├── 1249_fsm│   ├── 1249_vm......│   ├── 826│   ├── 827│   ├── 828│   ├── pg_filenode.map│   └── PG_VERSION└── 5├── 16395└── t3_16413

可以看到，在表空间的目录下，是一个目录 PG_16_202306141,命名以PG开头，然后是数据库版本，再加创建的日期。
用户定义的表空间都在PGDATA/pg_tblspc目录里面有一个符号连接，它指向物理的表空间目录（就是在CREATE TABLESPACE命令里指定的那个目录）。
这个符号连接是用表空间的 OID 命名的。

原理说明

在物理表空间目录中有一个名称取决于PostgreSQL服务器版本的子目录，例如PG_16_202306141（使用该子目录的原因是后续版本的数据库可以使用CREATE TABLESPACE指定相同的目录位置而不会造成冲突）。

在这个版本相关的子目录中，为每个在这个表空间里有元素的数据库都有一个子目录， 以数据库的OID命名。该目录里的表和索引遵循文件节点命名模式。

初始化集群后，有两个默认的表空间，pg_default和pg_global,当我们没有指定表空间时，创建的数据库，表等都是存放在pg_default表空间。
pg_default不需要通过pg_tblspc来访问，而是对应于PGDATA/base。类似地，pg_global表空间也不通过pg_tblspc访问，而是对应于PGDATA/global。

数据库

在这里插入图片描述

对于集簇里的每个数据库，在PGDATA/base里都有一个子目录对应，子目录的名字为该数据库在 pg_database里的 OID。
这个子目录是该数据库文件的缺省位置；特别值得一提的是，该数据库的系统目录存储在此。

数据文件

pg_relation_filepath()函数显示任何关系的完整路径（相对于PGDATA）。
它可以作为记住上面这么多规则的替代方法。

但是记住该函数只给出关系的主分支的第一个段的名称 — 你也许需要追加一个段号或_fsm、_vm、_init来找到与该关系相关的所有文件。

表和索引文件

每个表和索引都存储在独立的文件里。
对于普通表，这些文件以表或索引的filenode号命名，它可以在pg_class.relfilenode中找到。

临时表

对于临时表，文件名的形式为tBBB_FFF，其中BBB是创建该文件的后台的后台ID，FFF是文件节点号。

空闲空间映射fsm

在每种情况下，在主文件（a/k/a 主分支）之外，每个表和索引有一个空闲空间映射，它存储表中可用空闲空间的信息。
空闲空间映射存储在一个文件中，该文件以节点号加上后缀_fsm命名。

可见性映射vm

表还有一个可见性映射，存储在一个该文件以节点号加上后缀为_vm的文件中，它用于跟踪哪些页面已知含有非死亡元组。

unlogged 表

不被日志记录的表和索引，也就是unloged table 还有第三个分支，即初始化分支，它存储在该文件以节点号加上后缀为_init的分支文件中。

初始化分支是一个适当类型的空表或空索引。
当一个不被日志记录的表由于崩溃必须被重置为空时，初始化分支被随着主分支复制，而任何其他分支则被擦除（它们会在需要时自动被重建）。

toast表

如果一个表的列中可能存储相当大的项，那么该表就会有个与之相关联的TOAST表，
它用于存储无法保留在在表行中的域值的线外存储。

如果表有TOAST表，该表的pg_class.reltoastrelid链接到它的TOAST表;

临时文件

临时文件（用于如排序不能放在内存中的数据等操作）被创建在PGDATA/base/pgsql_tmp中，如果临时文件被指定在一个非pg_default表空间中则它们会被创建在该表空间的pgsql_tmp子目录中。临时文件的名称的形式为pgsql_tmpPPP.NNN，其中PPP是其所属后端的PID，而NNN用于区别该后端的不同临时文件。

结尾

非常感谢大家的支持，在浏览的同时别忘了留下您宝贵的评论，如果觉得值得鼓励，请点赞，收藏，我会更加努力！

作者邮箱：study@senllang.onaliyun.com
如有错误或者疏漏欢迎指出，互相学习。

注：未经同意，不得转载！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/25895.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Linux】IO 篇：文件调用原理，文件描述符，FILE的内涵，解析重定向，理解缓冲区，软硬链接

【Linux】IO 篇：文件调用原理，文件描述符，FILE的内涵，解析重定向，理解缓冲区，软硬链接

文章目录 一、系统调用接口二、文件调用1. 文件描述符 fd2. 文件调用原理3. FILE 三、重定向dup2 四、缓冲区简易 FILE 的代码实现 五、ext2 文件系统1. inode 和 文件名2. 重新认识目录3. 理解文件的增删查改4. 一些补充 六、文件链接1. 建立软连接2. 建立硬连接 文件被加载之…
阅读更多...
前后端开发的区别是什么？

前后端开发的区别是什么？

VUE的开发方式为什么和后端的MVC开发方式不一样呢？ 实际上，Vue 和后端开发的 MVC（Model-View-Controller）方式是不同的，因为它们面对的问题和场景也不同。 前端与后端的职责不同： 前端和后端的职责和任务不…
阅读更多...
ARM 内存屏障指令

ARM 内存屏障指令

ARM 内存屏障指令 1. dmb (Data Memory Barrier) 数据内存栅栏2. dsb (Data Synchronization Barrier) 数据同步栅栏3. isb (Instruction Synchronization Barrier) 指令同步栅栏4. ARM 内存屏障指令如何选择使用？5. 使用示例5.1. DMB指令示例：5.2. DSB指…
阅读更多...
java.lang.IllegalStateException: Failed to load ApplicationContext

java.lang.IllegalStateException: Failed to load ApplicationContext

问题描述 原因是我在进行微服务远程调用的时候报的错误。 解决方案 原来是jdk版本不一样导致的问题，改成1.8就行了
阅读更多...
【学习日志】2023.Aug.6，支持向量机的实现

【学习日志】2023.Aug.6，支持向量机的实现

2023.Aug.6，支持向量机的实现 参考了大佬的代码，但有些地方似乎还有改进的空间，我加了注释 #codingutf-8 #Author:Dodo #Date:2018-12-03 #Email:lvtengchaopku.edu.cn #Blog:www.pkudodo.com数据集：Mnist 训练集数量&#xff1…
阅读更多...
银河麒麟服务器ky10-server在线一键安装docker

银河麒麟服务器ky10-server在线一键安装docker

脚本代码 # ---------------在线安装docker------------------- yum install docker -y # 修改docker拉取源为国内 rm -rf /etc/docker mkdir -p /etc/docker touch /etc/docker/daemon.json cat >/etc/docker/daemon.json<<EOF{"registry-mirrors": [&q…
阅读更多...
7-数据结构-（带头节点）单链表的增删改查

7-数据结构-（带头节点）单链表的增删改查

问题&#xff1a; 单链表带头结点的创建以及输出&#xff0c;以及带与不带头节点的区别 思路&#xff1a; 单链表&#xff0c;逻辑上是线性结构&#xff0c;由许多单链表结点&#xff0c;串成一串。其单链表结构体中&#xff0c;数据项由data数据域和结点指针域。带头节点是为…
阅读更多...
关于游戏的笔记

关于游戏的笔记

关于搭建秦时明月2一键端&#xff0c;并且开启秘境神秘商人东海寻仙幻化 1.该游戏下主要的目录 gm端 服务框架 服务端 2.修改对应的文件 C:\qs\Q2Server\server\conf_common\ManagerAddress.xmlC:\qs\Q2Server\server\conf_manager\GateServer.xml修改ip 3.启动gm startup…
阅读更多...
零基础学习大数据需要什么基础么

零基础学习大数据需要什么基础么

大数据技术的体系庞大且复杂&#xff0c;每年都会涌现出大量新的技术&#xff0c;目前大数据行业所涉及到的核心技术主要就是&#xff1a;数据采集、数据存储、数据清洗、数据查询分析和数据可视化。 学习大数据需要掌握什么语言基础&#xff1f; 1、Java基础 大数据框架90%以…
阅读更多...
阿里云官方关于数据安全保护的声明

阿里云官方关于数据安全保护的声明

“阿里云监控用户的数据流量&#xff1f;”“真的假的&#xff1f;”随着近日早晨 朱峰肥鹅旅行 对阿里云的一条朋友圈截图传遍了整个IT圈。 对于网络上的各种传播&#xff0c;以下是阿里云的官方答复&#xff0c;原文如下&#xff1a; 关于数据安全保护的声明 今天有客户反映…
阅读更多...
【torchlars】windows下载github中的torchlars包遇到的问题及解决方案

【torchlars】windows下载github中的torchlars包遇到的问题及解决方案

环境 python3.7 windows10 cuda11.1 pytorch1.8.1 虚拟环境miniconda 目的 windows下载github中的torchlars包 遇到的问题 问题一&#xff1a;直接下载好文件夹输入指令&#xff1a;python setup.py install 出现错误&#xff1a;RuntimeError: Error compiling objects f…
阅读更多...
opencv35-形态学操作-腐蚀cv2.erode()

opencv35-形态学操作-腐蚀cv2.erode()

形态学&#xff0c;即数学形态学&#xff08;Mathematical Morphology&#xff09;&#xff0c;是图像处理过程中一个非常重要的研 究方向。形态学主要从图像内提取分量信息&#xff0c;该分量信息通常对于表达和描绘图像的形状具有 重要意义&#xff0c;通常是图像理解时所使用…
阅读更多...
oracle 自增id 和 更新时间戳

oracle 自增id 和 更新时间戳

oracle 自增id 和 更新时间戳 需求 &#xff08;1&#xff09;需要让数据库插入数据时 I_ID 字段自增&#xff1b; &#xff08;2&#xff09;数据库更新数据后 S_LAST_UPDATETIME 字段更新当前时间 1、创建序列 CREATE SEQUENCE TABLENAME_I_ID_Sequence INCREMENT BY 1 S…
阅读更多...
最佳路径优先搜索算法

最佳路径优先搜索算法

本来想直接写A* 的&#xff0c;不过看完最佳路径优先搜索算法后觉得还是要先理解一下这个算法后才能更好的理解A* 算法&#xff0c;所以把这篇文章放到A* 前面。 基本概念 最佳优先搜索算法&#xff08;Best-first-searching&#xff09;是一种启发式搜索算法&#xff08;Heu…
阅读更多...
Python实现GA遗传算法优化BP神经网络回归模型(BP神经网络回归算法)项目实战

Python实现GA遗传算法优化BP神经网络回归模型(BP神经网络回归算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 遗传算法&#xff08;Genetic Algorithm&#xff0c;GA&#xff09;最早是由美国的 John holland于20世…
阅读更多...
Docker从零到掌握(详解)

Docker从零到掌握(详解)

目录 1.初识Docker 1.1 为什么使用docker 1.2 Docker技术 1.3.安装Docker 1.4.Docker架构 1.5.配置Docker镜像加速器 2.Docker常用命令 2.1.Docker服务相关的命令 2.2.Docker镜像相关的命令 2.3.Docker容器相关的命令 3. 容器的数据卷 3.1.数据卷的概念和作用 3.2…
阅读更多...
Idea添加mybatis的mapper文件模版

Idea添加mybatis的mapper文件模版

针对Java开发人员&#xff0c;各种框架的配置模版的确是需要随时保留一份&#xff0c;在使用的时候&#xff0c;方便复制粘贴&#xff0c;但是也依然不方便&#xff0c;我们可以给开发工具&#xff08;IDE&#xff09;中添加配置模版&#xff0c;这里我介绍下使用idea开发工具&…
阅读更多...
pip安装jupyter notebook

pip安装jupyter notebook

之前电脑安装了anaconda&#xff0c;里面安装了jupyter notebook&#xff0c;用来做PPT之类的展示总让我觉得有点“炫酷”。 现在换了新电脑。没有anaconda&#xff0c;纯粹只是装了python3.11&#xff0c;然后突然也想手工安装下jupyter notebook&#xff0c;于是只能通过pip方…
阅读更多...
Python 中的机器学习简介：多项式回归

Python 中的机器学习简介：多项式回归

一、说明 多项式回归可以识别自变量和因变量之间的非线性关系。本文是关于回归、梯度下降和 MSE 系列文章的第三篇。前面的文章介绍了简单线性回归、回归的正态方程和多元线性回归。 二、多项式回归 多项式回归用于最适合曲线拟合的复杂数据。它可以被视为多元线性回归的子集。…
阅读更多...
uniapp返回

uniapp返回

// 监听返回事件onNavigationBarButtonTap() {uni.showModal({title: 提示,content: 确定要返回吗&#xff1f;,success: (res) > {if (res.confirm) {uni.navigateBack({delta: 2})}}})},
阅读更多...
最新文章

Copyright @ 2022~2023