MySQL Server架构概述

推荐：SQL语句执行顺序相关问题。

MySQL Server架构

分层概述

MySQL Server架构可抽象为3层。

  1. 连接层：验证用户名密码，认证成功后，获取当前账号的权限并缓存，并分配TCP连接池和线程池资源。
  2. 处理层：实现核心的处理功能。
  3. 存储层：将处理后的数据高性能安全的写入磁盘，或从磁盘中正确的读取。

模块构成与执行顺序

  1. 连接层 ：提供多个线程用于客户端和服务器交互，连接层包含连接池与线程池。
    • 连接池：MySQL可以有多个客户端进行连接，为了解决TCP连接频繁创建销毁引起的性能损耗，所以建立了TCP连接池，采用长连接模式复用TCP连接。
    • 线程池：MySQL采用多线程的方式运行，MySQL Server也会分配一个线程来处理后面的流程，像TCP连接池一样，为了避免开销，也会创建一个线程池。
  2. SQL接口：接收SQL指令，返回查询结果。
  3. 缓存缓冲区：使用键值对的方式缓存查询的结果（由于命中率太低在8的版本中被废弃）。
  4. 解析器：对SQL语法进行分析，让程序读懂SQL。将SQL语句分解，验证权限，创建为语法树，如果SQL语法错误，也是在这一步给的提示。流程如下：词法分析->语法分析->分析机->抽象语法树。
  5. 优化器：对SQL的执行进行优化，进行查询时，根据索引和SQL的情况，选择最合适的查询策略，这个模块是最复杂的模块。
  6. 可插拔存储引擎： 存储引擎（InnoDB，MyISAM等）用于规范数据如何被高效安全的读写。可插拔主要体现在针对库或者表可以进行引擎切换，结合日志模块 （老生常谈的Bin、Relay、Redo、Undo、Error、General、Slow这些）生成相关日志。
  7. 文件系统：这是操作系统层的东西，数据不是无脑存储到磁盘上的，需要文件系统的约束，它提供了对存储设备的访问、分配、保护和检索文件的方法，文件系统诸如NTFS，EXFAT，FAT32，NFS、NAS，EXT2、EXT3。

data文件相关

InnoDB引擎.frm、.idb、.opt文件是什么？

MySQL登录成功后使用SHOW VARIABLES LIKE 'datadir';，或者Linux系统下查看vim /etc/my.cnf，找datadir项，可查看数据存储的目录。认准一个使用InnoDB引擎的非空数据库，在datadir/数据库名的目录下会发现有.frm、.idb文件、.opt类型的文件。

  1. .frm 存储表结构的数据。
  2. .idb用于存储数据（5.7及以上默认使用，8的版本只有.idb，把idb和.frm进行了合并）。
  3. .opt，通常叫做db.opt，纯文本，用于存储字符集编码排序规则那套东西：例如default-character-set=utf8mb4;default-collation=utf8mb4_unicode_ci;（8的版本已去除）

InnoDB引擎.idb与ibdata1文件版本差异

注意mysql5.5.7到5.6.6的版本中的数据，是放在data/ibdata1文件中的。
.idb叫做独立表空间，ibdata1叫做系统表空间。
使用show variables like 'innodb_file_per_table';可查看相关配置，如果是OFF，则表示使用ibdata1文件。ON表示使用独立表空间。

MyISAM引擎.frm、.MYD、.MYI、.opt文件是什么的？

MySQL登录成功后使用SHOW VARIABLES LIKE 'datadir';，或者Linux系统下查看vim /etc/my.cnf，找datadir项，可查看数据存储的目录。认准一个使用InnoDB引擎的非空数据库，在datadir/数据库名的目录下会发现有.frm、.MYD、.MYI、.opt文件类型的文件。

  1. .frm 存储表结构的数据（在8的版本变成了.sdi）。
  2. .MYD，用于存数据。
  3. .MYI，用于存储索引。
  4. .MYD、.MYI合并到一起，相当于InnoDB引擎的idb文件。
  5. .opt，通常叫做db.opt，纯文本，用于存储字符集编码排序规则那套东西：例如default-character-set=utf8mb4;default-collation=utf8mb4_unicode_ci;（8的版本已去除）。

data下的各种日志，会在另一篇文章中讲。

既然有了information_schema 库来存储元数据，为什么还要.frm和.opt?

information_schema库，用于存储数据库的结构、表、视图、列、约束、索引等信息的元数据，同时.frm和.opt也存储了一份元数据，这也是问题的由来。

侧重定位不同，information_schema 数据库是一个用于快速检索元数据的库，方便开发者进行元数据分析和操作，而.frm是专门服务于表结构的，MySQL本身玩的就是数据，适当的冗余不见得是坏事。

information_schema的部分数据基于.frm、.opt，还是独立维护？

部分基于.frm、.opt。
试试就知道，开了一个虚拟机找一个测试库，.frm非文本文件没法改，修改某个库的.opt文件，将default-collation=utf8mb4_unicode_ci;改为default-collation=utf8mb4_general_ci;重启MySQL服务，执行SELECT * FROM information_schema.SCHEMATA WHERE SCHEMA_NAME = 'db_name';发现编码同步做了更改。

扩展

MySQL8对缓存缓冲区的移除

缓存缓冲区和Redis在项目中作用与用法相似，用于缓存查询语句查询出来的结果，key为SQL语句，val为数据，使用空间换时间，里面涉及表缓存，记录缓存，权限缓存等。
此模块在8的版本中移除，因为命中率太低。如果查询请求包含某些系统函数（now()），或者一些系统库（如mysql、information_schema、performance_schema）那么请求就不会被缓存。是缓存就会有一致性的问题，mysql会监听每一张表的写操作（DDL，DML），如果发生了变更，将会删除缓存。其次是对于复杂的业务，不会只有读操作，这也是分表冷热数据分离的原因之一，所以被移除掉了。

客户端连接器

连接器属于客户端（MySQL Client、Navicat、PHP的PDO，Java的JDBC等）的组件，所以放到了这里。用于和MySQL Server通信。一般是有TCP和Socket两种通信方式（与PHP与Nginx通信方式类似）。

  1. TCP就是常见的IP端口号的方式。
  2. Socket就是UNIX套接字,一种本地通信方式。在linux中创建一个套接字文件（.sock文件），客户端通过该文件与服务器通信。与TCP/IP相比，使用UNIX域套接字可以更快地进行本地通信，因为不需要经过网络协议栈的处理。但是因为无法远程的局限性，所以用得少，对PHP开发者来说，PDO和主流框架，都支持此连接方式。

查询缓存命中率

执行show status like 'Qcache%';会得到一个kv格式的表格
Qcache_free_blocks: 查询缓存中空闲的内存块数量。
Qcache_free_memory: 查询缓存中可用的内存大小。
Qcache_hits: 查询缓存命中的次数，即从查询缓存中成功获取到结果的查询次数。
Qcache_inserts: 查询缓存中插入的查询次数。
Qcache_lowmem_prunes: 由于内存不足而从查询缓存中移除的查询次数。
Qcache_not_cached: 由于不符合查询缓存规则而没有被缓存的查询次数。
Qcache_queries_in_cache: 当前查询缓存中缓存的查询数量。
Qcache_total_blocks: 查询缓存中的内存块总数量。

数据库缓冲池

InnoDB是依靠页来管理存储空间的，CRUD的操作是对页面的读写。因为磁盘IO操作慢，内存操作快，所以MySQL Server会使用内存来作为数据缓冲池，真正访问页之前，需要把磁盘上的页缓存到内存中的Buffer Pool后才可以访问，用于提升MySQL的性能。
流程：当数据库系统需要从磁盘读取数据时，它首先检查缓冲池中是否已经缓存了相应的数据页。如果数据页已经在缓冲池中，则不需要从磁盘读取，而是直接从缓冲池中获取数据，这样可以大大提高数据检索速度。
缓冲池的数据有数据页、索引页、锁数据、和数据字典。

配置缓冲池

MyISAM：缓冲池和innodb的不一样，是键缓存，参数为key_buffer_size;
查看：SHOW VARIABLES LIKE 'key_buffer_size'; SHOW STATUS LIKE 'Key_blocks_%';单位为字节。
配置：在my.cnf中配置key_buffer_size = 256M后重启。
InnoDB：
查看：SHOW VARIABLES LIKE 'innodb_buffer_pool_size';单位为字节。
配置：在my.cnf中配置innodb_buffer_pool_size = 256M后重启。

不想要重启，可以使用set globak k=v，（5.7及以上可用）。但是无法持久化保存。

多个缓冲池

在多线程情况下，访问buffer pool中的数据需要加锁处理，对于并发量打的情况下，加锁会影响处理速度，所以就考虑到拆分buffer pool的情况，用于提高并发处理的能力。每个buffer pool被称为一个实例，他们是独立的，独立的申请内存，独立的管理数据。
查看：SHOW VARIABLES LIKE 'innodb_buffer_pool_instances';
配置：在my.cnf中配置innodb_buffer_pool_instances= 2后重启。
每个buffer_size为innodb_buffer_pool_size / innodb_buffer_pool_instances；
当innodb_buffer_pool_size<=1GB时，设置多个实例是无效的。

执行SQL时更新了缓冲池的数据，这些数据会实时同步到磁盘吗？

不会。
对数据表中的记录进行修改时，首先会修改缓冲池中的数据，然后会以一定的频率刷新到磁盘上，也不是每次更新操作都会把数据刷新到磁盘。缓冲池会采用一个叫做checkpoint的方式将更改的数据（脏页数据）写入到磁盘，此操作用于提升数据库的性能。

InnoDB与MyISAM区别

项目InnoDBMyISAM
事务支持不支持
外键支持（但不支持跨引擎）不支持
最小锁粒度行锁表锁
日志支持redo、undo、bin log支持bin log
聚簇索引支持不支持
二级索引叶子节点存储索引值与主键索引值与所在行地址
适用场景高并发，事务，金融节省资源，轻量级简单业务
count(*)统计算法逐行遍历，时间复杂度O(n)内部自动维护，时间复杂度O(1)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/729294.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

代码随想录算法训练营第三十七天|LeetCode738 单调递增的数字、LeetCode968 监控二叉树

代码随想录算法训练营第三十七天|LeetCode738 单调递增的数字、LeetCode968 监控二叉树

738.单调递增的数字 思路&#xff1a;要求一个数字从第一位往后的大小是单调递增的&#xff0c;先把数字转换成字符串&#xff0c;然后从后往前逐位遍历&#xff0c;如果当前位比前一位小&#xff0c;则前一位--&#xff0c;从当前位往后都应该为9&#xff0c;因此记下当前位置…
阅读更多...
VPN应用场景典型案例-匿名网关组网应用

VPN应用场景典型案例-匿名网关组网应用

​​​​​​组网需求 多个发起方使用动态接入互联网方式，如PPPoE拨号或者NAT转换，这种方式中，发起方每次使用的IP地址可能不一致，所以响应端无法使用指定对端IP地址方式，匿名网关一端不指定对端IP，通过ID识别对端身份建立IPSec隧道，实现公司间内部网络的安全通信。 典…
阅读更多...
去电脑维修店修电脑需要注意什么呢？装机之家晓龙

去电脑维修店修电脑需要注意什么呢？装机之家晓龙

每当电脑出现故障时&#xff0c;你无疑会感到非常沮丧。 如果计算机已过了保修期&#xff0c;您将无法享受制造商的免费保修服务。 这意味着您必须自费找到一家电脑维修店。 去电脑维修店并不容易。 大家一定要知道&#xff0c;电脑维修非常困难&#xff0c;尤其是笔记本电脑维…
阅读更多...
美国站群服务器租用需要考虑哪些关键点

美国站群服务器租用需要考虑哪些关键点

美国站群服务器租用通常指的是租用位于美国数据中心的服务器&#xff0c;这些服务器具备多个IP地址&#xff0c;适合用于建立和管理多个网站(即站群)。那么美国站群服务器租用需要考虑哪些关键点&#xff0c;RAKsmart小编为您整理发布美国站群服务器租用需要考虑哪些关键点。 在…
阅读更多...
基于rk3568解决gpio阶梯波形（适用于i2c、uart、电平转换）

基于rk3568解决gpio阶梯波形（适用于i2c、uart、电平转换）

目录 1、理解GPIO的开漏&#xff08;OD&#xff09;和开集&#xff08;OC&#xff09; 2、查询io寄存器地址及定义 3、配置可调寄存器接口dev/mem author daisy.skye的博客_CSDN博客-嵌入式,Qt,Linux领域博主 daisy.skye_嵌入式,Linux,Qt-CSDN博客daisy.skye擅长嵌入式,Linux,Q…
阅读更多...
gorm快速上手

gorm快速上手

简介 1.什么是orm ORM全称是:Object Relational Mapping(对象关系映射)&#xff0c;其主要作用是在编程中&#xff0c;把面向对象的概念跟数据库中表的概念对应起来。举例来说就是&#xff0c;我定义一个对象&#xff0c;那就对应着一张表&#xff0c;这个对象的实例&#xf…
阅读更多...
广播

广播

1.什么是广播 2.标准广播 BroadStandardActivity.java package com.tiger.chapter09;import androidx.appcompat.app.AppCompatActivity;import android.content.Intent; import android.content.IntentFilter; import android.os.Bundle; import android.view.View;…
阅读更多...
1688商品采集API轻松实现商品上传上货搬家

1688商品采集API轻松实现商品上传上货搬家

item_get-获得1688商品详情 公共参数 请求地址: 1688/item_get 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#xff08;包括在请求地址中&#xff09;[item_search,item_get,…
阅读更多...
安卓 Kotlin 面试题 21-30

安卓 Kotlin 面试题 21-30

&#x1f525; 21、 Kotlin 中的“open”和“public”有什么区别&#xff1f;&#x1f525; open 关键字的意思是“为扩展而开放” 。 类上的 open 注释与 Java 的相反 final&#xff1a;它允许其他人从该类继承。 如果您不指定任何可见性修饰符&#xff0c;则默认使用public&…
阅读更多...
Qt 范例阅读 ：插件功能 plugabdpaint

Qt 范例阅读 ：插件功能 plugabdpaint

一、源码目录&#xff1a; Qt\Examples\Qt-5.12.4\widgets\tools\plugandpaint 二、定义接口 class FilterInterface { public:virtual ~FilterInterface() {}virtual QStringList filters() const 0;virtual QImage filterImage(const QString &filter, const QImage &…
阅读更多...
vscode 使用ssh进行远程开发 (remote-ssh)，首次连接及后续使用，详细介绍

vscode 使用ssh进行远程开发 (remote-ssh)，首次连接及后续使用，详细介绍

在vscode添加remote ssh插件 首次连接 选择左侧栏的扩展&#xff0c;并搜索remote ssh 它大概长这样&#xff0c;点击安装 安装成功后&#xff0c;在左侧栏会出现远程连接的图标&#xff0c;点击后选择ssh旁加号便可以进行连接。 安装成功后vscode左下角会有一个图标 点击图…
阅读更多...
Java核心技术卷1每日笔记——变量与常量

Java核心技术卷1每日笔记——变量与常量

3.4 变量与常量 与所有程序设计语言一样&#xff0c;Java也使用变量来存储值。常量就是值不变的量。 3.4.1 声明变量 在Java中&#xff0c;每个变量都有一个类型&#xff08;type&#xff09;。 变量名必须是一个以字母开头并由字母或数字构成的序列。 字母包括’A’‘Z’、…
阅读更多...
网页在特殊日子一键变灰

网页在特殊日子一键变灰

<template> <div :class"{ grayscale: isGrayscale }"> <!-- 你的页面内容放在这里 --> </div> </template> <script> export default { data() { return { // 存储哀悼日的数组 aidaoriDates:["0404", &q…
阅读更多...
docker学习入门

docker学习入门

1、docker简介 docker官网&#xff1a; www.docker.com dockerhub官网&#xff1a; hub.docker.com docker文档官网&#xff1a;docs.docker.com Docker是基于Go语言实现的云开源项目。 Docker的主要目标是&#xff1a;Build, Ship and Run Any App, Anywhere(构建&…
阅读更多...
1.2_2 OSI参考模型

1.2_2 OSI参考模型

文章目录 1.2_2 OSI参考模型一、概述&#xff08;一&#xff09;ISO/OSI参考模型是怎么来的&#xff1f;&#xff08;二&#xff09;ISO/OSI参考模型&#xff08;三&#xff09;ISO/OSI参考模型解释通信过程 二、各层功能及协议&#xff08;一&#xff09;应用层&#xff08;第…
阅读更多...
oss-fuzz-gen：一款基于LLM的模糊测试对象生成与评估框架

oss-fuzz-gen：一款基于LLM的模糊测试对象生成与评估框架

关于oss-fuzz-gen oss-fuzz-gen是一款基于LLM的模糊测试对象生成与评估框架&#xff0c;该工具可以帮助广大研究人员使用多种大语言模型&#xff08;LLM&#xff09;生成真实场景中的C/C项目以执行模糊测试。 该工具基于Google的OSS-Fuzz平台实现其功能&#xff0c;并对生成的…
阅读更多...
蓝桥OJ 2942数字王国之军训排队 DFS剪枝

蓝桥OJ 2942数字王国之军训排队 DFS剪枝

蓝桥OJ 2942数字王国之军训排队 #include<bits/stdc.h> using namespace std;const int N 15;//最多10队 int a[N], n; vector<int>v[N];//二维数组 v[i]记录队伍i中所有人的编号bool dfs(int cnt, int dep) {if (dep n1){//判断合法性for (int i 1; i < n; …
阅读更多...
matlab常用语法

matlab常用语法

最近接触matlab程序&#xff0c;这里记录一下matlab常用语法。 1、find函数&#xff1a;查找矩阵X中的非零元素&#xff0c;返回这些元素的下标。 A[1,0;2,3]; find(A)ans 124 find(A2)&#xff1a;查找A中等于2的元素&#xff0c;并返回下标。 A[1,0,2,3,2,7]; find(A2)an…
阅读更多...
Spring揭秘：BeanDefinitionRegistry应用场景及实现原理！

Spring揭秘：BeanDefinitionRegistry应用场景及实现原理！

内容概要 BeanDefinitionRegistry接口提供了灵活且强大的Bean定义管理能力&#xff0c;通过该接口&#xff0c;开发者可以动态地注册、检索和移除Bean定义&#xff0c;使得Spring容器在应对复杂应用场景时更加游刃有余&#xff0c;增强了Spring容器的可扩展性和动态性&#xf…
阅读更多...
【C++那些事儿】函数重载与C++中的“指针“——引用

【C++那些事儿】函数重载与C++中的“指针“——引用

君兮_的个人主页 即使走的再远&#xff0c;也勿忘启程时的初心 C/C 游戏开发 Hello,米娜桑们&#xff0c;这里是君兮_&#xff0c;我之前看过一套书叫做《明朝那些事儿》&#xff0c;把本来枯燥的历史讲的生动有趣。而C作为一门接近底层的语言&#xff0c;无疑是抽象且难度颇…
阅读更多...
最新文章

Copyright @ 2022~2023