关于Mysql的InnoDB引擎在长期添加和删除情况下引起的性能问题

场景一:

公司的大数据平台,每天都会从别的节点中同步数据到某个表中,同时这个表要进行大量的删除添加

问题:在这个表只有2W多条数据的时候,使用一个count(*)语句,数据查询花费了近10秒

原因:MySQL的InnoDB引擎执行delete语句的时候,只是逻辑删除而不是物理删除,它将数据标记为已删除,并不会在磁盘中真正删除,尽管InnoDB引擎在查询的时候会跳过已删除的行,但是仍然需要进行大量的扫描,因为数据量很大(几千万条),同时这也会产生磁盘的碎片化问题

为什么磁盘文件碎片化会影响磁盘的查询性能

一:增加磁盘的寻道时间

  •  碎片化会导致数据在磁盘上存储不连续,使得读取的时候需要进行大量的寻道操作。
  •  寻道时间是磁盘读取的逐渐瓶颈之一

二:数据块的大小

  • 操作系统在读取数据的时候通常是按块(或者扇区)的大小进行读取(Linux是4KB,MySQL是16KB)
  • 碎片化会导致数据分散在不同的数据块中,从而增加了读取的数据块数量,降低了读取效率(假如数据1 2 3 4,如果 1 2 3 4在同一数据块中,那么操作系统一次性将这个数据块读取操CPU缓存中,如果要获取某个数据可以直接从缓存中拿取,如果有碎片化,那么可能 1 2 在一个数据块中, 3 4 在同一个数据块中,只读取了第一个数据块,如果要读取4这个数据,那么还需要再读取数据)

解决办法:

在要清空这个表格的时候,不要使用delete语句进行删除

使用        关键字TRUNCATE TABLE xxxxx来进行删除

这个关键字会立即删除表中的所有数据,使表回到初始状态,就像新建一张没有任何记录的空表一样(同时保留索引等信息)

同时,它比逐行删除数据更快,尤其适用于数据量很大的表。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/39258.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

idea Git操作

1、代码拉取(左上角) 或 2、代码push(左上角) 3、切换分支(右下角) 4、分支管理 5、当前分支和某一个分支对比差异 6、当前分支某一个提交需要恢复成提交前状态(revert) 7、其他分…

基于Hadoop平台的电信客服数据的处理与分析④项目实现:任务15:数据生产

任务描述 电信数据生产是一个完整且严密的体系,这样可以保证数据的鲁棒性。在本项目的数据生产模块中,我们来模拟生产一些电信数据。同时,我们必须清楚电信数据的格式和数据结构,这样才能在后续的数据产生、存储、分析和展示环节…

泛微开发修炼之旅--30 linux-Ecology服务器运维脚本

文章链接:30 linux-ecology服务器运维脚本

基于debian发行版的AvaotaOS下的dpkg和apt工具使用方法详解

在 Linux 系统中,使用源代码进行软件编译能够实现高度定制化的设置,但对于Linux发行版的用户来说,并不是每个人都具备源代码编译的能力。这一点成为了Linux发行商面临的一个软件管理难题,因为这影响了软件在Linux平台上的发行和推…

【初阶数据结构】深入解析循环队列:探索底层逻辑

🔥引言 本篇将介绍如何实现循环队列并实现过程需要注意的事项,虽然篇幅较小,但是其中逻辑还是值得引人思考的,循环队列可以采用数组或链表实现,这篇将采用数组实现循环队列 🌈个人主页:是店小二…

mdb转gdb实现过程介绍(2)三种方式实现GDB数据库的读、写,并将实现方式与ArcGIS环境共存配置

一、内容提示 通过解析mdb地理数据库,获取了图层之间的组织结构、空间参考、表字段属性等信息。 下一步,就是将数据输出到GDB中。 下面详细介绍python3.9版本,读写GDB数据的方法: (1)使用ArcPy创建GDB、读写…

vant拍摄视频上传以及多张图片上传

数据定义 data() {return {fileList: [],vedioList: [],formData: ,fileTypes: image/png,image/jpeg,image/jpg,image/jpeg,} }, beforeMount() {this.formData new FormData() },拍摄视频上传 <van-uploaderv-if"radio 1"v-model"vedioList"accep…

如何在恶意软件攻击后恢复已删除的照片

您是否尝试访问 PC 上的照片&#xff0c;但无法打开或丢失&#xff1f;您的 PC 可能正面临恶意软件攻击。 通常&#xff0c;当恶意软件进入系统时&#xff0c;它会与硬盘上的文件交互并破坏或感染它们。您的 PC 的防火墙和防病毒程序通常足以从 PC 中删除这些恶意文件。然而&a…

Flutter CTO 2024 报告出炉解读,看看有没有你关心的问题

Flutter CTO 2024 是由 LeanCode 主导进行的一次技术调查报告&#xff0c;本次报告数据来自 70 多个国家的 300 名 CTO、CIO 和技术主管&#xff0c;报告包含了 52 个问题、 7 次人物面对面访谈和 10 多位合作伙伴的协助 。 报告里 85% 的受访者拥有超过 5 年的⼯作经验&#…

redis实用技能

为什么要使用redis及其使用场景 大部分场景是应对高并发高性能场景才会使用,就是访问量已经超过mysql所能承受的,需要做缓存,帮助mysql分流。或者一些复杂查询,mysql执行很慢没法优化,可以做缓存提速(做缓存)做认证服务的时候需要存储用户的session信息,使用redis数据有…

LineageOs-21.0系统编译问题

&#x1f3c6;本文收录于「Bug调优」专栏&#xff0c;主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案&#xff0c;希望能够助你一臂之力&#xff0c;帮你早日登顶实现财富自由&#x1f680;&#xff1b;同时&#xff0c;欢迎大家关注&&收藏&&…

【Python】迭代器、生成器、表达式

列表推导式 列表推导式是Python中快速生成列表的一种方法&#xff0c;它允许你使用可迭代对象快速生成一个列表&#xff0c;可以替代简单的循环语句。 基本结构&#xff1a;[expression for item in iterable if condition] expression&#xff1a;基于迭代变量&#xff0c;…

机器学习:预测评估8类指标

机器学习&#xff1a;8类预测评估指标 R方值、平均值绝对误差值MAE、均方误差MSE、均方误差根EMSE、中位数绝对误差MAD、平均绝对百分误差MAPE、可解释方差分EVS、均方根对数误差MLSE。 一、R方值 1、说明&#xff1a; R方值&#xff0c;也称为确定系数或拟合优度&#xff…

多语言模型(Multilingual Models)用于推理(Inference)

在深入探讨多语言模型&#xff08;Multilingual Models&#xff09;用于推理&#xff08;Inference&#xff09;的详细内容时&#xff0c;我们需要首先理解多语言模型的基本概念、它们如何工作、为什么它们在现代自然语言处理&#xff08;NLP&#xff09;中变得如此重要&#x…

excel PivotTable 透视表

开发数据导出excel功能&#xff0c;设置导出透视表 数据源&#xff1a; 透视表&#xff1a; 使用插件EPPlus 数据源&#xff1a; IF OBJECT_ID(tempdb..#temptable) IS NOT NULLDROP TABLE #temptable; CREATE TABLE #temptable ( [PROJECT] varchar(50), [PRODUCT_CODE] var…

springboot双学位招生管理系统-计算机毕业设计源码93054

摘 要 科技进步的飞速发展引起人们日常生活的巨大变化&#xff0c;电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流&#xff0c;人类发展的历史正进入一个新时代。在现实运用中&#xff0c;应用软件的工作…

ruoyi-cloud登录接口实现滑块验证码

一、前言 ruoyi项目默认的验证码是这样的 今天来尝试增加滑块验证码&#xff0c;我们用到的是tianai-captcha。 文档地址&#xff1a;http://doc.captcha.tianai.cloud/ 源码地址&#xff1a;https://gitee.com/tianai/tianai-captcha 下面来看具体的步骤。 二、后端 在g…

从游戏到营销:抽卡机小程序的多维度应用探索

在数字化时代&#xff0c;小程序作为一种轻量级、即用即走的应用形态&#xff0c;正逐步渗透到人们生活的方方面面。其中&#xff0c;抽卡机小程序以其独特的趣味性和互动性&#xff0c;不仅在游戏领域大放异彩&#xff0c;更在营销领域展现出广阔的应用前景。本文将从游戏起源…

ELFK简介

&#x1f468;‍&#x1f393;博主简介 &#x1f3c5;CSDN博客专家   &#x1f3c5;云计算领域优质创作者   &#x1f3c5;华为云开发者社区专家博主   &#x1f3c5;阿里云开发者社区专家博主 &#x1f48a;交流社区&#xff1a;运维交流社区 欢迎大家的加入&#xff01…

vtk跨节点并行渲染

VTK&#xff08;Visualization Toolkit&#xff09;是一个用于科学计算可视化的开源库。在处理大型数据集时&#xff0c;通常需要进行跨节点&#xff08;分布式处理&#xff09;并行处理以提升性能。VTK支持使用MPI&#xff08;Message Passing Interface&#xff09;库进行并行…