【Mysql】Mysql的数据目录

前言

我们知道InnoDB 、 MyISAM 存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候,这些存储引擎会从文件系统中把数据读出来返回给我们,当我们想写入数据的时候,这些存储引擎会把这些数据又写回文件系统。那么这两个存储引擎的数据如何在文件系统中存储的呢?

MySQL数据目录

MySQL服务器程序在启动时会到文件系统的某个目录下加载一些文件,之后在运行过程中产生的数据也都会存储到这个目录下的某些文件中,这个目录就称为数据目录 ,接下来我们来这个目录下具体都有哪些重要的东西。

数据目录和安装目录的区别

我们之前只接触过 MySQL 的安装目录(在安装 MySQL 的时候我们可以自己指定),我们重点强调过这个安装目录下非常重要的 bin 目录,它里边存储了许多关于控制客户端程序和服务器程序的命令(比如 mysql , mysqld , mysqld_safe 等)。而数据目录是用来存储 MySQL 在运行过程中产生的数据,两者一定要区分开。

如何确定MySQL中的数据目录

其实数据目录对应着一个系统变量 datadir ,我们在使用客户端与服务器建立连接之后查看这个系统变量的值就可以了:

mysql> show variables like "%datadir%";
+---------------+------------------+
| Variable_name | Value            |
+---------------+------------------+
| datadir       | /data/3306/data/ |
+---------------+------------------+
1 row in set (0.01 sec)

在我的系统中,单独设置过目录为/data/3306/data/

数据目录的结构

MySQL 在运行过程中都会产生哪些数据呢?当然会包含我们创建的数据库、表、视图和触发器吧等,除了这些用户数据,为了程序更好的运行, MySQL 也会创建一些其他的额外数据。

数据库在文件系统中的表示

每当我们使用CREATE DATABASE数据库名 语句创建一个数据库的时候,对应在文件系统上实际发生了什么呢?其实很简单,每个数据库都对应数据目录下的一个子目录,或者说对应一个文件夹,我们每当我们新建一个数据库时, MySQL会帮我们做这两件事儿:
1 . 在数据目录下创建一个和数据库名同名的子目录(或者说是文件夹)。
2 . 在该与数据库名同名的子目录下创建一个名为 db.opt 的文件,这个文件中包含了该数据库的各种属性,比方说该数据库的字符集和比较规则等。比如说我当前服务器上有哪些数据库:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| charset_demo       |
| mysql              |
| performance_schema |
| sys                |
| test               |
| test2              |
+--------------------+
7 rows in set (0.00 sec)

可以看到在我的计算机上当前有7个数据库,其中 charset_demo 、 test和 test2 数据库是我们自定义的,其余4个数据库是属于MySQL自带的系统数据库。我们再看一下我的计算机上的 数据目录下的内容:

[root@k8s-m2 data]# ll -d  /data/3306/data/*/
drwxr-x--- 2 mysql mysql   52 Oct 16 22:23 /data/3306/data/charset_demo/
drwxr-x--- 2 mysql mysql 4096 Oct 11 09:43 /data/3306/data/mysql/
drwxr-x--- 2 mysql mysql 8192 Oct 11 09:43 /data/3306/data/performance_schema/
drwxr-x--- 2 mysql mysql 8192 Oct 11 09:43 /data/3306/data/sys/
drwxr-x--- 2 mysql mysql 4096 Oct 20 10:36 /data/3306/data/test/
drwxr-x--- 2 mysql mysql   20 Oct 16 16:27 /data/3306/data/test2/

可以看到,除了 information_schema 这个系统数据库外,其他的数据库在 数据目录下都有对应的子目录。这个 information_schema 比较特殊,它有特殊的用途和实现方式,后续我们进行分享。

表在文件系统中的表示

我们的数据其实都是以记录的形式插入到表中的,每个表的信息其实可以分为两种:
1 . 表结构的定义
2 . 表中的数据
表结构就是该表的名称,表里边有多少列,每个列的数据类型,各种束条件和索引,字符集和比较规则等信息,这些信息都体现在了我们的建表语句中。为了保存这些信息, InnoDB 和MyISAM 这两种存储引擎都在数据目录下对应的数据库子目录下创建了一个专门用于描述表结构的文件,文件名是这样:
表名.frm
比如说我们之前在test数据库下创建一个名为 page_demo的表:

[root@k8s-m2 data]# ll -d  /data/3306/data/test/page_demo.frm 
-rw-r----- 1 mysql mysql 8608 Oct 18 10:51 /data/3306/data/test/page_demo.frm

那在数据库 test对应的子目录下就会创建一个名为 page_demo.frm 的用于描述表结构的文件。需要注意的是,这个后缀名为.frm是以二进制格式存储的,直接打开会是乱码的
描述表结构的文件我们知道怎么存储了,那表中的数据存到什么文件中了呢?在这个问题上,不同的存储引擎就产生了分歧了,下边我们分别看一下 InnoDB 和 MyISAM 是用什么文件来保存表中数据的。

InnoDB如何存储表数据

InnoDB 其实是使用页为基本单位来管理存储空间的,默认的页大小为 16KB 。对于InnoDB 存储引擎来说,每个索引都对应着一棵 B+ 树,该 B+ 树的每个节点都是一个数据页,数据页之间不必要是物理连续的,因为数据页之间有双向链表来维护着这些页的顺序。InnoDB 的聚簇索引的叶子节点存储了完整的用户记录,也就是所谓的索引即数据,数据即索引。

为了更好的管理这些页,InnoDB引用了一个表空间或者文件空间 (英文名: table space 或者 file space )的概念,这个表空间是一个抽象的概念,它可以对应文件系统上一个或多个真实文件(不同表空间对应的文件数量可能不同)。每一个表空间可以被划分为很多个页 ,我们的表数据就存放在某个表空间下的某些页里。设计 InnoDB 的大叔将表空间划分为几种不同的类型,我们一个一个看一下。
系统表空间(system tablespace)
所谓的系统表空间可以对应文件系统上一个或多个实际的文件,默认情况下,InnoDB会在数据目录 下创建一个名为ibdata1、大小为12M 的文件,这个文件就是对应的系统表空间在文件系统上的表示。但这个文件是所谓的自扩展文件 ,当插入数据多起来的时候也就是当不够用的时候它会自己增加文件大小。当然,如果你想让系统表空间对应文件系统上多个实际文件,或者仅仅觉得原来的 ibdata1 这个文件名难听,那可以在 MySQL 启动时配置对应的文件路径以及它们的大小,比如我们这样修改一下配置文件:
[server]
innodb_data_file_path=data1:512M;data2:512M:autoextend
这样在 MySQL 启动之后就会创建这两个512M大小的文件作为系统表空间 ,其中的 autoextend 表明这两个文件如果不够用会自动扩展 data2 文件的大小。
我们也可以把系统表空间对应的文件路径不配置到数据目录下,甚至可以配置到单独的磁盘分区上,涉及到的启动参数就是 innodb_data_file_path 和 innodb_data_home_dir ,如果需要具体的配置可以参考官方文档。
需要注意的一点是,在一个MySQL服务器中,系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中,我们表中的数据都会被默认存储到这个系统表空间。

独立表空间(file-per-table tablespace)
在MySQL5.6.6以及之后的版本中, InnoDB 并不会默认的把各个表的数据存储到系统表空间中,而是为每一个表建立一个独立表空间,也就是说我们创建了多少个表,就有多少个独立表空间。使用独立表空间来存储表数据的话,会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件,文件名和表名相同,只不过添加了一个 .ibd 的扩展名而已,所以完整的文件名称长这样:
表名.ibd
比方说假如我们使用了独立表空间去存储 test数据库下的page_demo表的话,那么在该表所在数据库对应的test目录下会为 page_demo 表创建这两个文件:

[root@k8s-m2 data]# ll test/page_demo.*
-rw-r----- 1 mysql mysql  8608 Oct 18 10:51 test/page_demo.frm
-rw-r----- 1 mysql mysql 98304 Oct 18 16:09 test/page_demo.ibd

其中 page_demo.ibd 文件就用来存储 page_demo表中的数据和索引。当然我们也可以自己指定使用 系统表空间还是独立表空间来存储数据,这个功能由启动参数 innodb_file_per_table 控制,比如说我们想刻意将表数据都存储到系统表空间时,可以在启动 MySQL 服务器的时候这样配置:
[server]
innodb_file_per_table=0
当 innodb_file_per_table 的值为 0 时,代表使用系统表空间;当 innodb_file_per_table 的值为 1 时,代表使用独立表空间。不过 innodb_file_per_table 参数只对新建的表起作用,对于已经分配了表空间的表并不起作用。如果我们想把已经存在系统表空间中的表转移到独立表空间,可以使用下边的语法:
ALTER TABLE 表名 TABLESPACE [=] innodb_file_per_table;
或者把已经存在独立表空间的表转移到系统表空间,可以使用下边的语法:
ALTER TABLE 表名 TABLESPACE [=] innodb_system;
其中中括号扩起来的 = 可有可无,比方说我们想把 test 表从独立表空间移动到系统表空间,可以这么写:
ALTER TABLE page_demo TABLESPACE innodb_system;

其他类型的表空间
随着MySQL的发展,除了上述两种老牌表空间之外,现在还新提出了一些不同类型的表空间,比如通用表空间(general tablespace)、undo表空间(undo tablespace)、临时表空间(temporary tablespace)等。后续万一我们使用到的时候在具体说明。

MyISAM是如何存储表数据的

下面我们说说MyISAM引擎的数据存储。我们指定在MyISAM 中的索引全部都是二级索引 ,该存储引擎的数据和索引是分开存放的。所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。而且和 InnoDB不同的是, MyISAM 并没有什么所谓的表空间一说,表数据都存放到对应的数据库子目录下。假如 page_demo表使用 MyISAM 存储引擎的话,那么在它所在数据库对应的 test 目录下会为 page_demo 表创建这三个文件:
page_demo.frm
page_demo.MYD
page_demo.MYI
其中 test.MYD 代表表的数据文件,也就是我们插入的用户记录; page_demo.MYI 代表表的索引文件,我们为该表创建的索引都会放到这个文件中。

视图在文件系统中的表示

我们知道 MySQL 中的视图其实是虚拟的表,也就是某个查询语句的一个别名而已,所以在存储 视图 的时候是不需要存储真实的数据的,只需要把它的结构存储起来就行了。和表一样,描述视图结构的文件也会被存储到所属数据库对应的子目录下边,只会存储一个 视图名.frm 的文件。创建一个简单的测试效果:

mysql>  create or replace view page_v_1 as select * from page_demo;
Query OK, 0 rows affected (0.09 sec)[root@k8s-m2 data]# ll test/page_v_1.frm 
-rw-r----- 1 mysql mysql 547 Oct 23 11:41 test/page_v_1.frm

其他的文件

除了我们上边说的这些用户自己存储的数据以外, 数据目录下还包括为了更好运行程序的一些额外文件,主要包括这几种类型的文件:

  • 服务器进程文件。
    我们知道每运行一个 MySQL 服务器程序,都意味着启动一个进程。 MySQL 服务器会把自己的进程ID写入到一个文件中。
  • 服务器日志文件。
    在服务器运行过程中,会产生各种各样的日志,比如常规的查询日志、错误日志、二进制日志、redo日志等,这些日志各有各的用途,我们后续会针对各种日志的用途进行分析。
  • 默认/自动生成的SSL和RSA证书和密钥文件。
    主要是为了客户端和服务器安全通信而创建的一些文件(*.pem)。

文件系统对数据库的影响

因为Mysql 的数据都是存在文件系统中的,所以会受到文件系统的一些制约,这在数据库和表的命名、表的大小和性能方面体现的比较明显,比如下边这些方面:

  • 数据库名称和表名称不得超过文件系统所允许的最大长度。
    每个数据库都对应数据目录的一个子目录,数据库名称就是这个子目录的名称;每个表都会在数据库子目录下产生一个和表名同名的 .frm 文件,如果是 InnoDB 的独立表空间或者使用 MyISAM 引擎还会有别的文件的名称与表名一致。这些目录或文件名的长度都受限于文件系统所允许的长度。
  • 特殊字符的问题
    为了避免因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况, MySQL 会把数据库名和表名中所有除数字和拉丁字母以外的所有字符在文件名里都映射成 @+编码值 的形式作为文件名。比方说我们创建的表的名称为 ‘test?’ ,由于 ? 不属于数字或者拉丁字母,所以会被映射成编码值,所以这个表对应的 .frm 文件的名称就变成了 test@003f.frm 。
  • 文件长度受文件系统最大长度限制
    对于 InnoDB 的独立表空间来说,每个表的数据都会被存储到一个与表名同名的 .ibd 文件中;对于 MyISAM存储引擎来说,数据和索引会分别存放到与表同名的 .MYD 和 .MYI 文件中。这些文件会随着表中记录的增加而增大,它们的大小受限于文件系统支持的最大文件大小。

Mysql系统数据库简介

My默认自带了的几个系统数据库,这几个数据库包含了MySQL服务器运行过程中所需的一些信息以及一些运行状态信息,我们稍作了解。

  • mysql
    这个数据库贼核心,它存储了MySQL的用户账户和权限信息,一些存储过程、事件的定义信息,一些运行过程中产生的日志信息,一些帮助信息以及时区信息等。
  • information_schema
    这个数据库保存着MySQL服务器维护的所有其他数据库的信息,比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引等。这些信息并不是真实的用户数据,而是一些描述性信息,有时候也称之为元数据。
  • performance_schema
    这个数据库里主要保存MySQL服务器运行过程中的一些状态信息,算是对MySQL服务器的一个性能监控。包括统计最近执行了哪些语句,在执行过程的每个阶段都花费了多长时间,内存的使用情况等等信息。
  • sys
    这个数据库主要是通过视图的形式把 information_schema 和 performance_schema 结合起来,让使用者可以更方便的了解MySQL服务器的一些性能信息。

更多关于mysql的知识分享,请前往博客主页。编写过程中,难免出现差错,敬请指出

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/115506.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于Python实现的快速的仿手写文字的图片生成器项目源码

Quick Hand 📝 介绍 快速的仿手写文字的图片生成器。 完整代码下载地址:基于Python实现的快速的仿手写文字的图片生成器 界面预览: 🔮 使用说明 原理:首先,在水平位置、竖直位置和字体大小三个自由度上…

uniapp开发微信小程序,webview内嵌h5,h5打开pdf地址,解决方案

根据公司要求,让我写一个h5,后续会嵌入到合作公司的微信小程序的webview中,如果是自己公司微信小程序,可以采取先下载下来pdf,然后通过wx.openDocument,进行单纯的预览操作,这个可以根据这个老哥…

C语言里的static变量其他语言是看不上还是学不去?

C语言里的static变量其他语言是看不上还是学不去? static变量在C语言中被用于具有静态存储期的局部变量或全局变量。它有以下几个特点: 1. 静态存储期:static变量在程序执行时分配内存,直到程序结束才会释放,其生命周期与程序的…

Linux之IO多路复用

文章目录 前言原理使用 前言 在linux系统中,一切皆文件,那么关于文件的读写IO更是重中之重,在初学者练习网络编程中常常会遇到一种情况,服务端每次建立一个连接,就要开启一个线程处理它,那么一旦连接数量起…

aarch64 rpmbuild openstack wallaby neutron 打包rpm笔记

基本信息 源码地址: openstack-neutron: Neutron is an OpenStack project to provide "network connectivity as a service" between interface devices (e.g., vNICs) managed by other OpenStack services - Gitee.com git clone -b Multi-Version_O…

【JS的设计模式一】

本文参考书籍 《JavaScript设计模式与开发实践》 在 JavaScript 编程中,this 关键字总是让人感到迷惑,Function.prototype.call 和 Function.prototype.apply 这两个方法也有着广泛的运用。我们有必要在学习设计模式之前先理解 这几个概念。 this Java…

Windows 95 的辉煌诞生历史

1992 年 2 月,Windows 3.1 的研发即将结束,而 Windows 团队正忙得不亦乐乎地计划他们的下一盘大棋。到了 3 月 5 日,他们终于悠哉悠哉地敲定了战略大计:横扫桌面、笔记本、移动设备以及时髦的触控笔设备。至于那些高大上的服务器和…

测吧(北京)科技有限公司项目总监王雪冬一行访问计算机学院探讨合作

3月15日,测吧(北京)科技有限公司(以下简称测吧)项目总监王雪冬来到计算机学院对校企合作、学生就业、学生竞赛等一系列工作进行了深入研讨,并向计算机学院颁发了优秀组织单位和优秀指导老师奖。会议由黄曼绮…

当年很流行,现在已经淘汰的前端技术有哪些?

近几年,前端技术真可谓是飞速发展,不断有新的技术涌现,爆火的前端框架 Astro,前端运行时 Bun,构建工具 Vite 等都给前端提供了强大动力。当然,也有很多前端技术随着技术的发展不再需要使用,有了…

【产品运营】产品需求应该如何管理

产品项目在进行时经常会有一些需求需要实现,需求是产品更新迭代的动力,需求也是从用户诉求转化而来;在做需求管理时,我们需要判断一个需求的优先级等方面,对产品进行优化; 目录: 一、 为什么要…

把JS中的map方法玩出花来

一 map是什么 map(callbackFn) map(callbackFn, thisArg)map() 方法是一个迭代方法。它为数组中的每个元素调用一次提供的 callbackFn 函数,并用结果构建一个新数组。 参数 callbackFn 数组中的每个元素执行的函数。它的返回值作为一个元素被添加为新数组中。该…

FFT64点傅里叶变换verilog蝶形运算,代码和视频

名称:FFT64点verilog傅里叶变换 软件:Quartus 语言:Verilog 代码功能: 使用verilog代码实现64点FFT变换,使用蝶形运算实现傅里叶变换 演示视频:http://www.hdlcode.com/index.php?mhome&cView&…

【计算机网络】应用层协议--HTTP协议及HTTP报文格式

目录 1、HTTP是什么 2、HTTP请求与响应 3、HTTP请求的两种方法(get和post)及区别 (面试题) 4、几种常见的错误的说法 5、HTTP协议的特点 6、应用场景 7、HTTP报文格式 8、面试题:HTTP常见的状态码都有哪些? 1、HTTP是什么 HTTP协议是在Web上进行…

剑指Offer || 056.两数之和 IV - 输入二叉搜索树

题目 给定一个二叉搜索树的 根节点 root 和一个整数 k , 请判断该二叉搜索树中是否存在两个节点它们的值之和等于 k 。假设二叉搜索树中节点的值均唯一。 示例 1: 输入: root [8,6,10,5,7,9,11], k 12 输出: true 解释: 节点 5 和节点 7 之和等于 12示例 2&…

C# 关于托管调试助手 “FatalExecutionEngineError“:“运行时遇到了错误。解决方案

托管调试助手 “FatalExecutionEngineError”:“运行时遇到了错误。此错误的地址为 0x740161f8,在线程 0x1174 上。错误代码为 0xc0000005。此错误可能是 CLR 中的 bug,或者是用户代码的不安全部分或不可验证部分中的 bug。此 bug 的常见来源包括用户对 …

微信native-v3版支付对接流程及demo

1.将p12证书转为pem证书,得到商户私钥 openssl pkcs12 -in apiclient_cert.p12 -out apiclient_cert.pem -nodes 密码是:商户id 2.将获取到的apiclient_cert.pem证书,复制出这一块内容,其他的不要 3.下载这个工具包 https://gi…

macOS Sonoma 桌面小工具活学活用!

macOS Sonoma 虽然不算是很大型的改版,但当中触目的新功能是「桌面小工具」(Widget)。如果我们的萤幕够大,将能够放更多不同的Widget,令用户无须开App 就能显示资讯,实在相当方便。 所有iPhone Widget 也能…

Hive insert插入数据与with子查询

1. insert into 与 insert overwrite区别 insert into 与 insert overwrite 都可以向hive表中插入数据,但是insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入 注意:如果存在分…

openCV的CUDA GPU 版本安装 (Ubuntu windows 通用)

需要做template match, 比较注重时间,因此opencv 的普通版本不适用。需要用GPU 的。 下载 git clone https://github.com/opencv/opencv.git git clone https://github.com/opencv/opencv_contrib.git确保准备好以下内容 1: visual studio &#xff0…

岛屿的周长

463. 岛屿的周长 class Solution:def islandPerimeter(self, grid: List[List[int]]) -> int:res 0m, n len(grid), len(grid[0])# 遍历grid,就是所有的封闭岛屿for i in range(m):for j in range(n):if grid[i][j] 1:res self.dfs_matrix(grid, i, j)retur…