mysql innodb缓存策略之Buffer Pool

The InnoDB Buffer Pool

   Innodb 持有一个存储区域叫做buffer pool是为了在内存中缓存数据和索引,知道innodb bufferpool怎么工作,和利用它读取频繁访问的数据,是mysql优化重要的方面。

   理想状况下,把bufferpool的大小调整到足够大,留下足够的内存空间给其他该服务器上的进程(使其无缺页即可)。bufferpool越大,innodb 月表现为内存型数据库,从硬盘上一次读取数据,之后并成了从内存中读取数据。buffer pool甚至缓存那些因为insert,update操作而改变的数据(insert buffer),所以随机磁盘写可以聚集在一块得到更好的性能。

   innodb 把缓存池作为链式管理,利用LRU(least recently used)算法,当添加新block到pool中时(无空间),innodb 替换(驱逐)一个最近最少使用的block,然后把新的block添加到链表的中间,"midpoint insertion strategy"策略把链表看出两条子链。

     1:在链表的头部,是由一些“NEW”(or "young")block 组成的最近刚被访问的子链;

     2:在链表的尾部,是由一些'old' block组成的最近没被访问(或者最少被访问的)的子链;

 

 该算法使大量查询 blocks 保持在  new sublist. old sublist 持有最少使用的 blocks;这些blocks将成为替换或驱逐的候选者。

     1:3/8 的buffer pool 的大小分配给old sublist

     2: 链表的 midpoint (中间插入点) 是new sublist 尾部和 old sublist头部聚合的地方

     3:当 innodb 读取一个block进 buffer pool时,插入到midpoint(old sublist 的头部),block被读取发生在 客户端操作,eg: sql查询,或者innodb特性 readahead(预读);

     4:当访问在old sublist中一个 block时,使其变成'young',把它移动到 buffer pool的头部(new sublist的头部),如果该block 被读取是因为客户端sql查询,则第一次访问立即发生,并且该block变成'young'。如果该block被读取是因为read ahead,第一次呗访问不会发生,并且有可能在该Block被替换之前根本不能发生);

     5:随着数据库操作,在buffer pool 中的没被访问的blocks(年纪大的)被移动到链表的尾部.在old sublist中的blocks 比插入在midpoint上的block老,最终,一个Block一段长时间未被使用会到达old sublist的尾部会被替换。

     默认情况下,被读取的blocks会立即移动到 NEW sublist 的 head,同时意味着他们待着buffer pool中很长一段时间。当扫表时(eg, mysqldump 操作,或者 没有where语句的select操作 )可以使大量的blocks  push into buffer pool中,并且驱逐大量的older 数据,即使那些所谓刚加入的 new blocks 不会再次被访问,相同的,read ahead 后台线程一次载入大量的blocks  ,这些情况使经常被访问的blocks push into 到 old sublist中,然后它们成为被驱逐的候选者。

  一些innodb 系统变量控制着buffer pool的大小和使你调整LRU算法

    1:innodb buffer pool size

       指明Buffer pool的大小,如果你的buffer pool 空间小,并且有充足的空间,使pool大点可以减小磁盘IO的次数来提高性能;

/* If the default value of innodb_buffer_pool_size is increased to be more than
BUF_POOL_SIZE_THRESHOLD (srv/srv0start.cc), then srv_buf_pool_instances_default
can be removed and 8 used instead. The problem with the current setup is that
with 128MiB default buffer pool size and 8 instances by default we would emit
a warning when no options are specified. */
// 128MiB / 8 = 16KB
static MYSQL_SYSVAR_LONGLONG(buffer_pool_size, srv_buf_pool_curr_size,PLUGIN_VAR_RQCMDARG |PLUGIN_VAR_PERSIST_AS_READ_ONLY,"The size of the memory buffer InnoDB uses to ""cache data and indexes of its tables.",NULL, innodb_buffer_pool_size_update,static_cast<longlong>(srv_buf_pool_def_size),static_cast<longlong>(srv_buf_pool_min_size),longlong{srv_buf_pool_max_size}, 1024 * 1024L);

innodb_buffer_pool_size的大小默认是128MB,分为8个instance,每个instance是16KB,并且对数据的操作是按页进行读写的,一页就是16KB。

    buffer_pool是一个list,目的是为了使用LRU cache机制;减少并发写操作时锁的粒度。

2: innodb buffer pool instances : 分成多个独立的区域,各个区域相同,来减少在并发内存读写操作的竞争;

    3:innodb old blocks pct:默认3/8;

    4:  innodb old blocks time: 指定多长时间以毫秒为单位(ms),block插入到老子列表必须呆在那里第一次访问后多久,才能搬到新的子列表(解决预读时,缓存污染问题);

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/463041.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

动态规划---背包问题分析

0/1背包 问题描述 有N件物品和一个容量为V的背包&#xff0c;第i件物品的体积为c[i]&#xff0c;价值为w[i]。求将哪些物品放进背包可以使物品价值总和最大&#xff08;有两种情况&#xff1a;不要求填满背包和填满背包&#xff09;。 每件商品只有一件&#xff0c;且只能选择放…

乱想想关于捕获异常后继续执行的实现。

好像是在csdn上看见的一个问题。 如下 现有A() B() C() 。。。。等很多个方法 但是他担心程序按 try { A(); B();//如这里抛异常 C()将不执行。 C(); //..... } catch (Exception e) …

spring boot 实战

https://windmt.com/2018/04/26/spring-cloud-full-reactive-microservices/ 这篇文章一级棒&#xff0c;实际操作一番&#xff0c;感觉有点理解微服务以及服务发现&#xff0c;服务间调用这几个概念。 但是对于响应式编程以及对于异步非阻塞场景等还是比较头大。 在实际操作中…

MySQL InnoDB的缓冲池之预读失效和缓存池污染

InnoDB的缓存池作用: 缓存表数据和索引数据,把磁盘上的数据加载到缓冲池中,避免每次都进行磁盘IO,起到加速访问的效果. LRU算法(Least recently used): 把入缓存池的页放在LRU的头部,作为最近访问的元素 页在缓冲池中的数据,把它放在队列的前面(情景一)页不在缓冲池中的数据,…

【database】database domain knowledge

Database Principles Database Systems Design Advanced Database Technology 一、Database principles Relational data model – relational algebra SQL – DDL, DML, DCL, ODBC(JDBC) Database design — Entity-Relationship model Relation normal forms XML – DTD, XM…

国内交流电频率和电压的历史渊源

国内交流电频率和电压的历史渊源 发布时间&#xff1a;2009-6-25 14:28 发布者&#xff1a;xiaochunyang 阅读次数&#xff1a;546商用交流电最早的频率是60Hz&#xff0c;电压是110V&#xff0c;其发明者Nikola Tesla是美国人&#xff08;移民&#xff09;并且是受…

Hbase Rowkey设计原则

Hbase是三维有序存储的&#xff0c;通过rowkey&#xff08;行键&#xff09;,column key(column family和qualifier)和TimeStamp(时间戳)这三个维度可以对HBase中的数据进行快速定位。 Hbase中Rowkey可以唯一标识一行记录&#xff0c;在Hbase查询的时候&#xff0c;有以下几种方…

explicit关键字详解

C explicit关键字详解 首先, C中的explicit关键字只能用于修饰只有一个参数的类构造函数, 它的作用是表明该构造函数是显示的, 而非隐式的, 跟它相对应的另一个关键字是implicit, 意思是隐藏的,类构造函数默认情况下即声明为implicit(隐式). 那么显示声明的构造函数和隐式声明…

Palm应用开发之四Palm 应用模型

本系列目录 Palm Web OS 简介 Palm 应用开发之一开发环境搭建 Palm 应用开发之二从Helloworld开始学习Palm开发Palm应用开发之三appinfo.json文件详解开发语言 应用使用的技术和Ajax使用的技术完全相似&#xff0c;palm webos 系统上建立应用没有专门的语言为其服务&#xff0c…

T-SQL 中ON和WHERE的区别

SQL中ON和WHERE的区别 数据库在通过连接两张或多张表来返回记录时&#xff0c;都会生成一张中间的临时表&#xff0c;然后再将这张临时表返回给用户。在使用left jion时&#xff0c;on和where条件的区别如下&#xff1a;1、 on条件是在生成临时表时使用的条件&#xff0c;它不管…

luogu3830 [SHOI2012]随机树

传送门&#xff1a;洛谷 题目大意&#xff1a;对于一个只有一个节点的二叉树&#xff0c;一次操作随机将这棵树的叶节点的下方增加两个节点。$n-1$次操作后变为$n$个叶节点的二叉树。求&#xff1a;&#xff08;1&#xff09;叶节点平均深度的期望值&#xff08;2&#xff09;树…

Mysql binlog应用场景与原理深度剖析

本文深入介绍Mysql Binlog的应用场景&#xff0c;以及如何与MQ、elasticsearch、redis等组件的保持数据最终一致。最后通过案例深入分析binlog中几乎所有event是如何产生的&#xff0c;作用是什么。 1 基于binlog的主从复制 Mysql 5.0以后&#xff0c;支持通过binary log(二进…

粤语学习--语法

时态篇开篇导言&#xff1a;英语的时态是一种动词形式&#xff0c;不同的时态表示动作行为的不同时间与发生方式。粤语同样也有时态&#xff0c;这种时态是通过动词与对应的前后缀以及时间词共同表示。 &#xff08;一&#xff09;普通时态说明&#xff1a;普通时态一般指经常发…

[BZOJ4349]最小树形图

显然先选每个点都取一遍然后再取满次数最优&#xff0c;用最小树形图决定第一次取的顺序。 朱刘算法的流程是&#xff08;总复杂度O(nm)&#xff09;&#xff1a; 1.对除根外所有点&#xff0c;找到所有指向它的边中权值最小的那一条&#xff0c;记其权值为ind[]。 2.找到所有不…

数据库中间件详解

本文是转载的文章&#xff0c;原文链接&#xff1a;https://mp.weixin.qq.com/s?__bizMzA5MDA5Njk0NQ&mid2456618601&idx1&snc10839f1797e7be1ea41f005b57432df&chksm87897237b0fefb215dd74c28cf5b524984b8f50d2ef13293e37919774f1c51e36642e489ee38&scen…

关于XtraGrid的CustomUnboundColumnData事件的触发条件

要想让非数据绑定的列触发CustomUnboundColumnData事件以便自行处理该列的显示数据&#xff0c;必须至少做到以下几点&#xff1a;1.将该列的UnboundType属性设置为bound(默认值)以外的数据类型2.为该列设置一个窗体内全局唯一的FieldName&#xff0c;注意这个FieldName甚至不能…

读书笔记《集体智慧编程》Chapter 5 : Optimization

本章概要 本章介绍了优化问题的基本概念&#xff0c;以及常见的优化算法&#xff08;随机搜索&#xff0c;爬山&#xff0c;模拟退火&#xff0c;遗传算法&#xff09;。读完本章后&#xff0c;感觉茅塞顿开&#xff0c;之前一直认为遗传算法高深莫测&#xff0c;原来这些算法都…

第五章· MySQL数据类型

一.数据类型介绍二.列属性介绍一.数据类型介绍 1.四种主要类别&#xfffc;1&#xff09;数值类型2&#xff09;字符类型3&#xff09;时间类型4&#xff09;二进制类型 2.数据类型的 ABC 要素1&#xff09;Appropriate&#xff08;适当&#xff09;2&#xff09;Brief&#xf…

MySQL buffer pool里的三种链表和三种page

mysql buffer pool里的三种链表和三种page buffer pool是通过三种list来管理的 1) free list 2) lru list 3) flush list buffer pool中的最小单位是page&#xff0c;在innodb中定义三种page 1) free page :此page未被使用&#xff0c;此种类型page位于free链表中 2) clean pag…

Windows 运行... 可执行的命令

Windows "运行..." 可执行的命令 以下内容与操作系统版本有关&#xff0c;并不保证所有Windows都能运行 winver 检查Windows版本 wmimgmt.msc 打开Windows管理体系结构(wmi) wupdmgr Windows更新程序 wscript Windows脚本宿主设置 write 写字板 winmsd 系统信息 wiaa…