在MySQL中为啥引入批量键访问(Batch Key Access, BKA)

批量键访问(Batch Key Access, BKA) 是 MySQL 在某些情况下用于优化 JOIN 操作的一种技术,特别是在通过索引进行 JOIN 时,它能有效减少查询的随机 I/O。批量键访问优化通过将一批主键或索引键一次性发送给存储引擎来查找匹配的行,而不是逐行处理。这种方式可以有效利用数据库的缓存和减少 I/O 开销。

一、BKA 的原理

在传统的 Nested Loop Join(嵌套循环连接)中,MySQL 会逐行处理外部表的每一行,并针对每一行去内部表查找对应的匹配记录。这样会导致很多随机 I/O 操作,从而影响性能。

BKA 改进了这个过程,通过先收集一批外部表的键,然后将这些键一次性发送到存储引擎进行批量查找,这样就减少了内部表的查找次数,从而提升了性能。

二、BKA 的工作流程

  1. 外部表扫描:MySQL 首先从外部表中扫描多行记录,并收集这些记录的键值。
  2. 批量键访问:将这些键值传递给内部表的存储引擎,进行批量的索引查找。
  3. 匹配结果返回:内部表的匹配记录返回给外部表进行连接操作。

三、Java 模拟 BKA 的过程

在 Java 中,我们可以通过模拟数据库表和索引来展示 BKA 的工作流程,假设我们有两个表,outerTableinnerTable,它们之间通过某个键进行关联查询。我们将通过一次性批量获取外部表的键来进行批量查询内部表的记录。

1. 设计思路
  • 我们首先模拟两个表的数据。
  • 实现一个批量键访问的查询流程,通过批量获取外部表的键并查询内部表的匹配记录。
2. Java 代码实现
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;class Record {int id;String data;public Record(int id, String data) {this.id = id;this.data = data;}@Overridepublic String toString() {return "ID: " + id + ", Data: " + data;}
}public class BatchKeyAccessSimulator {// 模拟外部表private List<Record> outerTable = new ArrayList<>();// 模拟内部表private Map<Integer, Record> innerTable = new HashMap<>();// 初始化数据public BatchKeyAccessSimulator() {// 插入外部表数据outerTable.add(new Record(1, "Outer1"));outerTable.add(new Record(2, "Outer2"));outerTable.add(new Record(3, "Outer3"));outerTable.add(new Record(4, "Outer4"));// 插入内部表数据innerTable.put(1, new Record(1, "Inner1"));innerTable.put(2, new Record(2, "Inner2"));innerTable.put(3, new Record(3, "Inner3"));innerTable.put(5, new Record(5, "Inner5")); // 不匹配外部表}// 模拟批量键访问的 JOIN 操作public List<String> batchKeyAccessJoin() {List<String> result = new ArrayList<>();// Step 1: 批量获取外部表的键(ID)List<Integer> outerKeys = new ArrayList<>();for (Record outerRecord : outerTable) {outerKeys.add(outerRecord.id);  // 假设以 ID 作为 JOIN 键}// Step 2: 批量访问内部表,查找对应键的记录Map<Integer, Record> matchedInnerRecords = new HashMap<>();for (Integer key : outerKeys) {if (innerTable.containsKey(key)) {matchedInnerRecords.put(key, innerTable.get(key)); // 内部表的匹配记录}}// Step 3: 将外部表和内部表的数据进行关联并返回for (Record outerRecord : outerTable) {if (matchedInnerRecords.containsKey(outerRecord.id)) {Record innerRecord = matchedInnerRecords.get(outerRecord.id);result.add("Outer: " + outerRecord + " <-> Inner: " + innerRecord);} else {result.add("Outer: " + outerRecord + " <-> No Match");}}return result;}public static void main(String[] args) {BatchKeyAccessSimulator simulator = new BatchKeyAccessSimulator();// 运行批量键访问的 JOIN 操作List<String> joinResult = simulator.batchKeyAccessJoin();// 输出 JOIN 结果for (String record : joinResult) {System.out.println(record);}}
}

四、代码解析

  1. 外部表和内部表的设计

    • outerTable 是模拟的外部表,存储一组记录。
    • innerTable 是模拟的内部表,用 HashMap 来模拟索引,其中键为 id,值为对应的记录。
  2. 批量键访问的实现

    • batchKeyAccessJoin() 方法模拟了批量键访问的过程。
    • 首先批量收集外部表的键(即 id)。
    • 然后通过这些键批量查找内部表中匹配的记录,并将外部表和内部表的数据进行关联。
  3. 运行结果
    输出结果展示了批量键访问的 JOIN 操作:

    Outer: ID: 1, Data: Outer1 <-> Inner: ID: 1, Data: Inner1
    Outer: ID: 2, Data: Outer2 <-> Inner: ID: 2, Data: Inner2
    Outer: ID: 3, Data: Outer3 <-> Inner: ID: 3, Data: Inner3
    Outer: ID: 4, Data: Outer4 <-> No Match
    

    可以看到,outerTable 中的记录与 innerTable 中的记录根据 id 进行了关联,第四条记录在内部表中没有匹配的记录。

五、BKA 的优点和适用场景

优点
  1. 减少随机 I/O:传统的嵌套循环连接会对每个外部表的记录进行一次内部表查询,导致大量的随机 I/O 操作,而 BKA 技术通过批量查找减少了随机 I/O。
  2. 提高缓存利用率:BKA 可以让存储引擎将一批键的相关记录加载到缓存中,从而更好地利用缓存,提升查询效率。
适用场景
  1. 大表连接查询:在进行大表连接时,BKA 能够减少随机 I/O 提高性能。
  2. 索引存在的情况下:当内部表有合适的索引时,BKA 可以充分利用索引进行高效的批量查找。

六、BKA 的缺点

  1. 批量大小控制:如果批量大小选择不合适,可能会导致过多的数据加载到内存中,反而影响性能。
  2. 适用索引情况:BKA 主要适用于索引存在的场景,如果内部表没有合适的索引,效果会大打折扣。

七、总结

  • 批量键访问(BKA) 是一种 MySQL 优化技术,通过批量收集外部表的键并一次性查找内部表的匹配记录,从而减少随机 I/O,提升查询性能。
  • 在 Java 中,我们通过模拟外部表和内部表的关联查询展示了 BKA 的工作原理。
  • 该技术在大表 JOIN 查询和存在索引的情况下能显著提高性能,但需要合理控制批量大小以避免内存开销过大。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/55846.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

HTML和CSS:构建现代网页的基础

HTML和CSS:构建现代网页的基础 HTML(HyperText Markup Language)和CSS(Cascading Style Sheets)是构建和设计网页的两种核心技术。HTML负责网页的结构和内容,而CSS则负责网页的样式和布局。了解这两种技术对于网页设计和开发至关重要。 HTML基础 HTML是一种标记语言,…

springboot项目多个数据源配置 dblink

当项目中涉及到多个数据库连接的时候该如何处理&#xff1f; 在对应的配置文件&#xff0c;配置对应的数据库情况&#xff0c;不过我确实没咋测试对于事务的处理我可以后续在多做测试 配置文件中配置对应的数据源 然后再使用的时候使用这个 DS(“pd_ob”)注解。 然后又长知识…

Oracle数据库 expdp导出表报错ORA-01555处理

–expdp导出某一张表的时候总是出现如下报错 ORA-02354: error in exporting/importing data ORA-01555: snapshot too old: rollback segment number with name "" too small ORA-22924: snapshot too old–在导出过程中观察undo的使用情况&#xff0c;发现并未占…

《计算机视觉》—— 基于dlib库的人检检测

文章目录 一、dlib库的安装1. 通过PyCharm的Settings安装2. 通过Anaconda安装&#xff08;适用于Windows等操作系统&#xff09;3. 通过命令行安装4.懒人安装 二、基于dlib库的人检测1.对图像进行人脸检测2.打开电脑摄像头&#xff0c;检测人脸 一、dlib库的安装 在PyCharm中&…

Vulnhub:Me-and-My-Girlfriend-1

一.环境启动/信息收集 &#xff08;1&#xff09;根据物理地址用nmap的主机发现功能得出IP地址 nmap -P 192.168.138.0/24 //同网段下主机发现得到IP为192.168.138.180&#xff08;2&#xff09;做nmap的目录扫描和端口扫描来发现其他站带以及信息 nmap -p- 192.168.138.180 …

使用CSS Flexbox创建简洁时间轴

使用CSS Flexbox创建简洁时间轴 在网页设计中,时间轴是一种常见且有效的方式来展示事件的顺序和进程。本文将介绍如何使用CSS Flexbox创建一个简洁优雅的时间轴,无需复杂的JavaScript代码。 基本HTML结构 首先,我们需要创建基本的HTML结构: html复制<div class"ti…

Ansible自动化工具

一、Ansible概述 1.1 什么是Ansible Ansible 是一个开源的自动化工具&#xff0c;用于配置管理、应用程序部署和任务自动化。它让你可以通过编写简单的 YAML 文件&#xff08;剧本&#xff0c;Playbooks&#xff09;&#xff0c;轻松管理和配置多个服务器。Ansible 的特点是无…

c#基础1

C#关键字 c#的静态类与c一样&#xff0c;不能够实例化&#xff0c;可以直接通过这个类调用内部的public方法和变量&#xff0c; partial 修饰的类可以分离内部的实现&#xff0c;可以定义在分散的文件中。 sealed修饰的类&#xff1a;类似于最终类&#xff0c;不能够被继承&…

深入了解 Flannel(3):vxlan在flannel中的作用

在 Flannel 中&#xff0c;VXLAN 主要用来解决以下问题&#xff1a; 1. 跨主机 Pod 之间的通信 问题&#xff1a;在 Kubernetes 集群中&#xff0c;Pod 通常分布在多个物理主机上。直接通过物理网络进行通信时&#xff0c;可能会面临 IP 地址冲突和路由问题。解决方案&#x…

[openwrt-21.02]openwrt-21.02 增加固件编译日期时间及git记录到openwrt_release文件

Openwrt版本 NAME="OpenWrt" VERSION="21.02-SNAPSHOT" ID="openwrt" ID_LIKE="lede openwrt" PRETTY_NAME="OpenWrt 21.02-SNAPSHOT" VERSION_ID="21.02-snapshot" HOME_URL="https://openwrt.org/" …

第十七周:机器学习笔记

第十七周周报 摘要Abstratc一、机器学习——生成式对抗网络&#xff08;Generative Adversarial Networks | GAN&#xff09;——&#xff08;中&#xff09;1. GAN 的理论介绍2. 用JS散度训练存在的问题3. WGAN 算法4. 拓展——流体 总结 摘要 本周周报主要对GAN进行了详细的…

【算法日记】 最大战力值

问题描述 疫情使得人们线下社交隔离&#xff0c;进而刺激了宅娱乐经济&#xff0c;令手机游戏市场份额再次创新纪录。一款手机游戏一般有很多角色&#xff0c;每个角色都可以设定一个战力值。为了平衡每个角色的能力&#xff0c;提升玩家的游戏体验&#xff0c;游戏策划往往会…

学习笔记——交换——STP(生成树)工作原理

三、工作原理 STP的基本原理是在一个有二层环路的网络中&#xff0c;交换机通过运行STP&#xff0c;自动生成一个没有环路的网络拓扑。这个无环网络拓扑也叫做STP树(STP Tree)&#xff0c;树节点为某些交换机&#xff0c;树枝为某些链路。当网络拓扑发生变化时&#xff0c;STP…

js简单基础笔记

一 . js特点 1. Js是一门解释型语言&#xff0c;不用编译&#xff0c;而是直接执行 2. js是一门动态语言&#xff0c;其中的任何内容都是不确定的 3. 语法结构和Java&#xff0c;c都很像 4. ​ js是一门面向对象的语言 5.js严格区分大小写 二 . js使用 1…

linux笔记(yum本地源仓库搭建)

一、准备工作 安装必要的软件包 在大多数 Linux 发行版中&#xff0c;Yum 已经默认安装。如果系统中没有安装&#xff0c;可以根据发行版的包管理器进行安装。 准备本地源文件 可以是光盘镜像&#xff08;如果是从光盘安装系统&#xff09;&#xff0c;或者是已经下载好的系…

TiDB 新版本:更稳、更快、更好的数据库体验

作者&#xff1a; TiDB社区小助手 原文来源&#xff1a; https://tidb.net/blog/2d33d7db 本文内容出自&#xff1a;PingCAP 高级顾问 蓝功儒老师 在 9 月 21 日 TiDB 新版本 Meetup 中&#xff0c;PingCAP 高级顾问蓝功儒老师为我们带来了关于 TiDB 新版本的深入分享。TiD…

基于LORA的一主多从监测系统_数据发送

数据上传我这里使用了问询的方式&#xff0c;这样的好处一是可以用来统计节点的存活状态&#xff0c;二是可以避免冲突&#xff0c;主节点通过向从节点发送问询帧&#xff0c;从节点收到问询帧后开始向主节点发送数据&#xff0c;同时我们也可以加入不同的帧类型&#xff0c;比…

golang的net包

https://learnku.com/docs/the-way-to-go/151-tcp-server/3703 https://www.bilibili.com/video/BV1JP4y1s7rS net包介绍 net包的底层实现依赖于操作系统的网络API。net包提供了跨平台的网络编程接口&#xff0c;使得开发者可以在不同的操作系统上进行网络编程而无需担心底层实…

在数据库中,`SELECT`, `FROM`, `JOIN`, `ON`, 和 `WHERE`各自的作用

在数据库中&#xff0c;SELECT, FROM, JOIN, ON, 和 WHERE 关键字是 SQL 查询语句中用于检索数据的重要部分。它们各自在查询中扮演着不同的角色&#xff0c;但通常一起使用来构造复杂的数据检索操作。下面是它们各自的作用&#xff1a; 1. **SELECT**: - SELECT 关键字用于指…

通用序列化和反序列化实现思路

本文简单的记录一下采用模板来实现序列化与反序列的思路&#xff0c; 同时采用C20标准的concept和requires来简化模板函数的选择。 首先了解一下自定义类支持序列化的两种方式&#xff1a; 一、序列化自定义类型&#xff08;侵入式&#xff09; struct Test {std::string na…