MySQL InnoDB的缓冲池之预读失效和缓存池污染

InnoDB的缓存池作用:

  • 缓存表数据和索引数据,把磁盘上的数据加载到缓冲池中,避免每次都进行磁盘IO,起到加速访问的效果.

LRU算法(Least recently used):

  • 把入缓存池的页放在LRU的头部,作为最近访问的元素
    • 页在缓冲池中的数据,把它放在队列的前面(情景一)
    • 页不在缓冲池中的数据,把它放在队列的前面,同时淘汰队列后面的数据(情景二)
      在这里插入图片描述

情景一

在这里插入图片描述

情景二

在这里插入图片描述

MySQL不用LRU算法原因:

  • 预读失效
    • 提前把页放入了缓冲池,但最终MySQL并没有从页中读取数据,称为预读失效。
  • 缓冲池污染
    • 当某一个SQL语句,要批量扫描大量数据时,可能导致把缓冲池的所有页都替换出去,导致大量热数据被换出,MySQL性能急剧下降,这种情况叫缓冲池污染。

解决预读失效的方式:

  • 将LRU分为两部分:
    • 新生代
    • 老生带
  • 新生代,老生代首尾相连
  • 新页加入缓冲池前,先加入到老生带头部
    • 如果数据真正的被读取,才会加入到老生带中
    • 如果数据没有被读取,则会比新生代的"热数据"更早的淘汰出缓冲池
      在这里插入图片描述
      在这里插入图片描述

解决MySQL缓冲池污染:

缓冲池污染案例:

	有一个数据量较大的用户表,当执行:select * from user where name like "%shenjian%";虽然结果集可能只有少量数据,但这类like不能命中索引,必须全表扫描,就需要访问大量的页:(1)把页加到缓冲池(插入老生代头部);(2)从页里读出相关的row(插入新生代头部);(3)row里的name字段和字符串shenjian进行比较,如果符合条件,加入到结果集中;(4)…直到扫描完所有页中的所有row…如此一来,所有的数据页都会被加载到新生代的头部,但只会访问一次,真正的热数据被大量换出。

    有一个数据量较大的用户表,当执行:
    select * from user where name like "%shenjian%";
    虽然结果集可能只有少量数据,但这类like不能命中索引,必须全表扫描,就需要访问大量的页:
    (1)把页加到缓冲池(插入老生代头部);
    (2)从页里读出相关的row(插入新生代头部);
    (3)row里的name字段和字符串shenjian进行比较,如果符合条件,加入到结果集中;
    (4)…直到扫描完所有页中的所有row…
     
    如此一来,所有的数据页都会被加载到新生代的头部,但只会访问一次,真正的热数据被大量换出。

解决方案:

在这里插入图片描述
在这里插入图片描述

MySQL InnoDB数据参数设置:

参数:innodb_buffer_pool_size
介绍:配置缓冲池的大小,在内存允许的情况下,DBA往往会建议调大这个参数,越多数据和索引放到内存里,数据库的性能会越好。

参数:innodb_old_blocks_pct
介绍:老生代占整个LRU链长度的比例,默认是37,即整个LRU中新生代与老生代长度比例是63:37。
画外音:如果把这个参数设为100,就退化为普通LRU了。

参数:innodb_old_blocks_time
介绍:老生代停留时间窗口,单位是毫秒,默认是1000,即同时满足“被访问”与“在老生代停留时间超过1秒”两个条件,才会被插入到新生代头部。

总结:

  • 缓冲池(buffer pool)是一种常见的降低磁盘访问的机制;
  • 缓冲池通常以页(page)为单位缓存数据;
  • 缓冲池的常见管理算法是LRU,memcache,OS,InnoDB都使用了这种算法;
  • InnoDB对普通LRU进行了优化:
    • 将缓冲池分为老生代和新生代,入缓冲池的页,优先进入老生代,页被访问,才进入新生代,以解决预读失效的问题
    • 页被访问,且在老生代停留时间超过配置阈值的,才进入新生代,以解决批量数据访问,大量热数据淘汰的问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/463037.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【database】database domain knowledge

Database Principles Database Systems Design Advanced Database Technology 一、Database principles Relational data model – relational algebra SQL – DDL, DML, DCL, ODBC(JDBC) Database design — Entity-Relationship model Relation normal forms XML – DTD, XM…

国内交流电频率和电压的历史渊源

国内交流电频率和电压的历史渊源 发布时间:2009-6-25 14:28 发布者:xiaochunyang 阅读次数:546商用交流电最早的频率是60Hz,电压是110V,其发明者Nikola Tesla是美国人(移民)并且是受…

Hbase Rowkey设计原则

Hbase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这三个维度可以对HBase中的数据进行快速定位。 Hbase中Rowkey可以唯一标识一行记录,在Hbase查询的时候,有以下几种方…

explicit关键字详解

C explicit关键字详解 首先, C中的explicit关键字只能用于修饰只有一个参数的类构造函数, 它的作用是表明该构造函数是显示的, 而非隐式的, 跟它相对应的另一个关键字是implicit, 意思是隐藏的,类构造函数默认情况下即声明为implicit(隐式). 那么显示声明的构造函数和隐式声明…

Palm应用开发之四Palm 应用模型

本系列目录 Palm Web OS 简介 Palm 应用开发之一开发环境搭建 Palm 应用开发之二从Helloworld开始学习Palm开发Palm应用开发之三appinfo.json文件详解开发语言 应用使用的技术和Ajax使用的技术完全相似,palm webos 系统上建立应用没有专门的语言为其服务&#xff0c…

T-SQL 中ON和WHERE的区别

SQL中ON和WHERE的区别 数据库在通过连接两张或多张表来返回记录时,都会生成一张中间的临时表,然后再将这张临时表返回给用户。在使用left jion时,on和where条件的区别如下:1、 on条件是在生成临时表时使用的条件,它不管…

luogu3830 [SHOI2012]随机树

传送门:洛谷 题目大意:对于一个只有一个节点的二叉树,一次操作随机将这棵树的叶节点的下方增加两个节点。$n-1$次操作后变为$n$个叶节点的二叉树。求:(1)叶节点平均深度的期望值(2)树…

Mysql binlog应用场景与原理深度剖析

本文深入介绍Mysql Binlog的应用场景,以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的,作用是什么。 1 基于binlog的主从复制 Mysql 5.0以后,支持通过binary log(二进…

粤语学习--语法

时态篇开篇导言:英语的时态是一种动词形式,不同的时态表示动作行为的不同时间与发生方式。粤语同样也有时态,这种时态是通过动词与对应的前后缀以及时间词共同表示。 (一)普通时态说明:普通时态一般指经常发…

[BZOJ4349]最小树形图

显然先选每个点都取一遍然后再取满次数最优,用最小树形图决定第一次取的顺序。 朱刘算法的流程是(总复杂度O(nm)): 1.对除根外所有点,找到所有指向它的边中权值最小的那一条,记其权值为ind[]。 2.找到所有不…

数据库中间件详解

本文是转载的文章,原文链接:https://mp.weixin.qq.com/s?__bizMzA5MDA5Njk0NQ&mid2456618601&idx1&snc10839f1797e7be1ea41f005b57432df&chksm87897237b0fefb215dd74c28cf5b524984b8f50d2ef13293e37919774f1c51e36642e489ee38&scen…

关于XtraGrid的CustomUnboundColumnData事件的触发条件

要想让非数据绑定的列触发CustomUnboundColumnData事件以便自行处理该列的显示数据,必须至少做到以下几点:1.将该列的UnboundType属性设置为bound(默认值)以外的数据类型2.为该列设置一个窗体内全局唯一的FieldName,注意这个FieldName甚至不能…

读书笔记《集体智慧编程》Chapter 5 : Optimization

本章概要 本章介绍了优化问题的基本概念,以及常见的优化算法(随机搜索,爬山,模拟退火,遗传算法)。读完本章后,感觉茅塞顿开,之前一直认为遗传算法高深莫测,原来这些算法都…

第五章· MySQL数据类型

一.数据类型介绍二.列属性介绍一.数据类型介绍 1.四种主要类别1)数值类型2)字符类型3)时间类型4)二进制类型 2.数据类型的 ABC 要素1)Appropriate(适当)2)Brief&#xf…

MySQL buffer pool里的三种链表和三种page

mysql buffer pool里的三种链表和三种page buffer pool是通过三种list来管理的 1) free list 2) lru list 3) flush list buffer pool中的最小单位是page,在innodb中定义三种page 1) free page :此page未被使用,此种类型page位于free链表中 2) clean pag…

Windows 运行... 可执行的命令

Windows "运行..." 可执行的命令 以下内容与操作系统版本有关,并不保证所有Windows都能运行 winver 检查Windows版本 wmimgmt.msc 打开Windows管理体系结构(wmi) wupdmgr Windows更新程序 wscript Windows脚本宿主设置 write 写字板 winmsd 系统信息 wiaa…

深入浅出Android:初识Intent(BMI)

1、strings.xml 1 <?xml version"1.0" encoding"utf-8"?>2 <resources>3 4 <string name"app_name">BMI</string>5 <string name"height">身高(cm)</string>6 <string …

xcode10 自定义代码块

xcode10 之后自定义代码块已经不是10之前&#xff0c;直接将代码拖拽到代码块列表进行编辑了&#xff0c;10之后自定义代码块的方法&#xff0c;选择代码右键Create Code Snippet 在这里查看代码块 然后选中想要自定义的代码块&#xff0c;光标放在图标上&#xff0c;就会出现个…

MySQL 引擎特性 · InnoDB Buffer Pool

前言 用户对数据库的最基本要求就是能高效的读取和存储数据&#xff0c;但是读写数据都涉及到与低速的设备交互&#xff0c;为了弥补两者之间的速度差异&#xff0c;所有数据库都有缓存池&#xff0c;用来管理相应的数据页&#xff0c;提高数据库的效率&#xff0c;当然也因为…

Foursquare引爆了什么

我们可以把Twitter、Foursquare和Facebook看作新一代互联网的三个图层&#xff0c;“时间、地点、与谁一起”。这三个图层的叠加&#xff0c;就是未来互联网最完整的画面。 谷歌一直在寻找一种方法让天底下所有商户都到它的Adsense上来做广告。换句话说&#xff0c;就是创造一种…