性能分析-数据库与磁盘知识

数据库

数据库,其实是数据库管理系统dbms。

数据库管理系统,

常见:

  • 关系型数据库: mysql、pg、
    • 库的表,表与表之间有关联关系; 表二维表
    • 统一标准的SQL(不局限于CRUD)
  • 非关系型数据库:redis、mongodb
    • 表之间没有强关联,表中数据,也没有统一的结构。
    • redis:  key-value
    • mongodb:bson(类似json)文档
    • 没有统一标准sql,不同的非关系型数据,sql语句不一样
  • 时序数据:
    • Prometheus 以时间序列来存储数据

数据库管理系统,管理数据。

数据:一切可以用计算书来存储都是数据。

数据对于一个项目是非常非常重要的,所以对数据的保存、数据的稳定性、数据的安全性要求是比较 高的。

如果数据存在磁盘上,希望磁盘的稳定性就要求比较高。----所以,数据库的数据存的磁盘,一般选择机械硬盘。

关系型数据库:库和表 库是数据的一个整体。

mysql数据库,库名称,就是一个文件夹名称。一个库就是一个文件夹。 表用二维表的方式栅格化数据,进行存储。

 select语言的性能分析是的重点:项目中获取数据频率远远高于对数据变更的操作。

获取数据,从磁盘上读取你想要的数据。从一张表中来获取想要数据。

mysql数据库,表在磁盘上,就是文件。

我们从表中获取一条数据的过程,找到文件夹(库),找到文件(表),打开磁盘的文件(读文件),跳转到对应的位置(表中一行) 学习数据库的时候还需要有磁盘知识。

数据库安装(linux)

数据库安装: wget https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm yum install -y mysql80-community-release-el7-7.noarch.rpm

如果此时 直接安装安装的就是mysql8.0.x版本,数据库安装要安装  mysql5.7.x版本

目前企业中用的mysql数据库的版本,主要是:mysql5.7.x版本或mysql8.x版本

mysql数据库在5.7的版本开始,有非常大的变化。

从mysql的官网上下载,都是mysql8.x版本。mysql5.7.37之前的版本,版本的有效时间已经过期,现在 安装的mysql版本是5.7.37以后。

yum repolist all | grep mysql 查看到当前系统mysql的源支持的mysql版本。现在是mysql8的版本

vim /etc/yum.repos.d/mysql-community.repo
[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch
enabled=1 # 由0改成了1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
[mysql80-community]
name=MySQL 8.0 Community Server
baseurl=http://repo.mysql.com/yum/mysql-8.0-community/el/7/$basearch
enabled=0 # 由1改成了0
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
# 安装mysql5.7
yum install mysql-community-server -y

这样就能安装到最新的mysql5.7.x版本。

如果你要用mysql的rpm包安装,安装的顺序

mysql-community-common-5.7.41-1.el7.x86_64
1/6
mysql-community-libs-5.7.41-1.el7.x86_64
2/6
mysql-community-client-5.7.41-1.el7.x86_64
3/6
mysql-community-server-5.7.41-1.el7.x86_64
4/6
mysql-community-libs-compat-5.7.41-1.el7.x86_64systemctl restart mysqld
systemctl enable mysqld

这种方式安装的mysql数据库的配置文件: /etc/my.cnf

不同方式安装mysql数据库,配置文件的路径是不一样的。所以不要死记。

调整密码等级 0弱密码  1 一般  2强密码  validate_password_policy 是否开启校验

vim /etc/my.cnf
# 添加validate_password_policy配置 0(LOW),1(MEDIUM),2(STRONG)
validate_password_policy=0
# 关闭密码策略
validate_password = off

修改了mysql的配置文件,要重启,才生效。

此时,不知道root密码的,找到root命令

从mysql的日志获取随机生成的root密码: grep "password" /var/log/mysqld.log

登录数据库: mysql -uroot -p 回车,输入密码,

修改密码:

alter user 'root'@'localhost' identified by '新密码';
# 开启远程访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '你的新密码' WITH GRANT
OPTION;
FLUSH PRIVILEGES;
exit;

数据库,默认端口:3306,

数据库的运行日志:/var/log/mysqld.log

数据库的配置文件:/etc/my.cnf

数据库数据文件:/var/lib/mysql

磁盘

  • 机械硬盘
    • 光盘----可以反复擦写
    • 机械臂
    • 转子:现在的机械硬盘,转子的转速一般在7200r/m 14000r/m。 转速越高,从磁盘读数据 的速度,就会越快。但是因为是机械运动,不可能无限快,转速快,会发热。
  • 固态硬盘
  • 光盘:
    • 先理解为一张白纸
    • 光盘的格式化。先分区,然后格式化。
      • 硬盘做分区,是可以提升数据存取速度。
      • 做分区的时候,就会选择格式化。NTFS、ext4
        • 磁盘的格式化,可以提高磁盘利用率,获取数据的时候,速度也更快

扇区:磁盘上的一段弧形

块:相邻的多个扇区构成块。  操作系统与磁盘进行数据交换的单位。

页page:操作系统与内存进行数据交换的单位。一页是由多个块构成。

CPU的速度是最快的,内存的速度居中,磁盘的速度是最慢的。为了配合cpu的速度,需要缓存。

  • 缓存:
    • buff缓冲区:由磁盘虚拟出来的,加快从磁盘读数据的速度。
    • cache缓存:内存中一部分和cpu寄存器

用虚拟化参数都硬盘,都是机械硬盘,在linux中,标识机械硬盘 sd,后面跟一个字母,代表第几个硬盘 (sda第1块机械硬盘),再跟一个数字,数字代表硬盘的第几个分区(sda2第1个硬盘的第2个分区)  sdb2

fdsk -l 可以看硬盘的信息,但是fdisk命令,谨慎使用(有可能符导致磁盘格式化)。

RAID磁盘矩阵:做这个,也是为了提升磁盘的性能,也可以做磁盘数据的备份。 矩阵:就会要用到多个磁盘。

RAID0:数据分片存在2块磁盘,读写速度提升2倍,主要用于SWAP\TMP,但是数据不冗余,数据恢复难

RAID1:相同数据冗余存入2块磁盘,写速度不变,读速度提升2倍,数据冗余1份,主要用于数据备份, 但磁盘利用率低

RAID5:数据分片和校验码混合存储3份,读写速度提升2倍,主要在要求高速时用,可以用于数据还原 RAID10:2块磁盘1组先做RAID1,多组RAID1,再做RAID0。读写速度N倍 n为组数

读磁盘

dd  命令

命令: dd if=/dev/sda of=/dev/null bs=20MB count=100

if  输出文件 /dev/sda 读整个磁盘

of  输出文件 /dev/null  回收站,是一个伪设备,不会有磁盘的写操作

bs 每次操作文件的大小

count  执行次数

这个命令用来测试磁盘在只有读的时候,磁盘的性能。

vmstat 命令可以看到 buff 和 cache

vmstat 1

清空缓存: echo 3 > /proc/sys/vm/drop_caches 清空缓存

执行之后,会buff清空,cache会变小。

dd if=/dev/sda of=/dev/null bs=20MB count=100

vmstat 1

一般情况下机械硬盘的读磁盘的速度,一般在小几百MB每秒。多次测试会有偏差。

写磁盘

先清空缓存: echo 3 > /proc/sys/vm/drop_caches

vmstat 1

写磁盘: dd if=/dev/zero of=$PWD/outf bs=16MB count=100

buff没有变,cache是变大了。

vmstat 1

磁盘的写的速度,一般也是小几百MB每秒

同时读写磁盘

这些这些命令之前,都要去先清空缓存

dd if=/dev/sda of=$PWD/otf bs=14MB count=100  同时有读和写磁盘操作。

这个操作buff和cach都会增大,速度,也是在小几百MB每秒,一般还会比单独的读或写的速度要慢。

内存速度测试

dd if=/dev/zero of=/dev/null bs=15MB count=100 没有读和写磁盘  ---这些数据都在内存中交换,这个命令可以测试内存的速度。

执行这个命令,看到buff和cach基本没变,得到内存的速度大概是:小几十GB每秒

内存的速度,大概是磁盘速度的十几倍。

你项目中同时有读写操作,你可以用iostat这个命令,看读写速度和等待wait,看是否有磁盘瓶颈。

现在的数据库,因为要大量读磁盘操作,读速度跟不上行,就可能导致,获取数据的响应时间偏 长,导致性能偏低。

这其实就会被大多人理解为慢sql,慢查询。

一般数据库因为磁盘瓶颈,导致的性能问题,一般比较少的换磁盘,而是考虑优化数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/803226.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ssm034学生请假系统+jsp

学生请假系统设计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本学生请假系统就是在这样的大环境下诞生,其可以帮助管理者在短时间内处…

鸿蒙HarmonyOS开发实例:【简单时钟】

简单时钟 介绍 本示例通过使用[ohos.display]接口以及Canvas组件来实现一个简单的时钟应用。 效果预览 主页 使用说明 1.界面通过setInterval实现周期性实时刷新时间,使用Canvas绘制时钟,指针旋转角度通过计算得出。 例如:"2 * M…

Microsoft Visio 参与者 [actor] - 人的形状图标

Microsoft Visio 参与者 [actor] - 人的形状图标 1. 更多形状 -> 搜索形状2. 参与者References 1. 更多形状 -> 搜索形状 2. 参与者 References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/

【简单讲解下如何Java中文乱码浅析及解决方案】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者,CSDN实力新星,CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共…

力扣经典150题(1)

文章目录 6.Z字形变换82.删除排序链表中的重复元素||61.旋转链表100.相同的树 6.Z字形变换 将一个给定字符串 s 根据给定的行数 numRows ,以从上往下、从左到右进行 Z 字形排列。 比如输入字符串为 “PAYPALISHIRING” 行数为 3 时,排列如下&#xff1…

Spring循环依赖

Java开发常见面试题详解(LockSupport,AQS,Spring循环依赖,Redis)_java 常见面试题详解(locksupport-CSDN博客 循环依赖现象在spring容器中注入依赖的对象,有2种情况 构造器方式注入依赖(不可行…

基于遗传优化的SVD水印嵌入提取算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 5.完整程序 1.程序功能描述 基于遗传优化的的SVD水印嵌入提取算法。对比遗传优化前后SVD水印提取性能,并分析不同干扰情况下水印提取效果。 2.测试软件版本以及运行结果展示 MA…

根据mysql的执行顺序来写select

过滤顺序指的是mysql的逻辑执行顺序,个人觉得我们可以按照执行顺序来写select查询语句。 目录 一、执行顺序二、小tips三、案例第一轮查询:统计每个num的出现次数第二轮查询:计算**最多次数**第三轮查询:找到所有出现次数为最多次…

Linux使用宝塔面板安装MySQL结合内网穿透实现公网连接本地数据库

文章目录 推荐前言1.Mysql服务安装2.创建数据库3.安装cpolar3.2 创建HTTP隧道 4.远程连接5.固定TCP地址5.1 保留一个固定的公网TCP端口地址5.2 配置固定公网TCP端口地址 推荐 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不…

【docker】Docker 简介

Docker 简介 什么是虚拟化、容器化?为什么要虚拟化、容器化?虚拟化实现方式应用程序执行环境分层虚拟化常见类别虚拟机容器JVM 之类的虚拟机 常见虚拟化实现主机虚拟化(虚拟机)实现容器虚拟化实现容器虚拟化实现原理容器虚拟化基础之 NameSpace 什么是虚拟化、容器…

ADC电路项目1——10bit SAR ADC 设计,smic18工艺,有工艺库,有效位数ENOB为9.8

分享一个入门SAR ADC的完整电路项目,适合新手小白学习 10bit 20MHz SAR ADC(WX:didadidadidida313,加我备注:CSDN 10 bit SAR ADC,谢绝白嫖哈) 概述: 本设计采用 smic18mmrf CMOS 工艺&#xf…

【自然语言】使用词袋模型,TF-IDF模型和Word2Vec模型进行文本向量化

一、任务目标 python代码写将 HarryPorter 电子书作为语料库,分别使用词袋模型,TF-IDF模型和Word2Vec模型进行文本向量化。 1. 首先将数据预处理,Word2Vec 训练时要求考虑每个单词前后的五个词汇,地址为 作为其上下文 &#xf…

OpenHarmony开发-连接开发板调试应用

在 OpenHarmony 开发过程中,连接开发板进行应用调试是一个关键步骤,只有在真实的硬件环境下,我们才能测试出应用更多的潜在问题,以便后续我们进行优化。本文详细介绍了连接开发板调试 OpenHarmony 应用的操作步骤。 首先&#xf…

java访问修饰符的访问范围 and 面向对象特征与区别

文章目录 java访问修饰符的访问范围java面向对象的基本特征面向对象与面向过程的区别其他链接 预定义类:由JDK提供的类 java访问修饰符的访问范围 java面向对象的基本特征 java面向对象的基本特征:封装、继承、多态(接口) 关键字…

蓝桥杯-油漆面积

代码及其解析:(AC80%) 思路:是把平面划成单位边长为1(面积也是1)的方格。每读入一个矩形,就把它覆盖的方格标注为已覆盖;对所有矩形都这样处理,最后统计被覆盖的方格数量即可。编码极其简单,但…

python笔记整理

解释性语言(javascript、python) 不需要预编译每次使用都要重新解释代码python中没有内置常量类型;默认只有变量 一般将大写的变量作为常量来用 变量命名规则 字母、数字、下划线、中文等(做好别用中文)数字不能打头不…

【JavaEE框架技术】spring-1

目录 一、使用maven管理spring项目 1.1搭建开发环境 1.1.1修改settings.xml文件 1.1.2把该文件拷入.m2目录 1.1.3打开ecplise,建立maven项目 1.1.4向pom.xml文件中添加spring的坐标: 1.4.1.1代码含义 1.4.1.2代码说明 1.2创建spring配置文件 二…

1653. 使字符串平衡的最少删除次数

1653. 使字符串平衡的最少删除次数 题目 链接&#xff1a;使字符串平衡的最少删除次数 题解 class Solution {public int minimumDeletions(String s) {int left0,right0;int ns.length();for(int i0;i<n;i){if(s.charAt(i)a){right;}}int resright;for(int i0;i<s.…

基于数据沙箱与LLM用例自愈的UI自动化测试平台

UI自动化测试能够在一定程度上确保产品质量&#xff0c;尤其在降本提效的大背景下&#xff0c;其重要性愈发凸显。理想情况下&#xff0c;UI自动化测试不仅能够能帮我们规避不少线上问题&#xff0c;又能加快产品上线速度。然而现实却往往相去甚远&#xff0c;在多数情况下&…

Mac资源库的东西可以删除吗?mac资源库在哪里打开 cleanmymacx是什么 cleanmymac免费下载

在使用Mac电脑的过程中&#xff0c;用户可能会遇到存储空间不足的问题。一种解决方法是清理不必要的文件&#xff0c;其中资源库&#xff08;Library&#xff09;文件夹是一个常被提及但又让人迷惑的目标。Mac资源库的东西可以删除吗&#xff1f;本文旨在解释Mac资源库的作用、…