OceanBase v4.2 特性解析:如何用分页保序功能解决MySQL模式分页查询不稳定

导言

在MySQL业务迁移OceanBase过程中,经常遇到的一个问题是分页查询结果的不稳定性,这通常需要数据库DBA介入绑定执行计划。下面简单举个例子,以便大家更好地理解为什么有的分页查询,在原来的MySQL数据库下运行没有问题,但迁移到OceanBase后出现了问题。

select t1.* 
from t1 left join t2 on t1.c1 = t2.c1
limit 10,10;

因为MySQL 5.6只有Nested Loop Join算法,这个查询只会生成下面的计划:

================================================
|ID|OPERATOR               |NAME|EST. ROWS|COST|
------------------------------------------------
|0 |LIMIT                  |    |10       |862 |
|1 | NESTED-LOOP OUTER JOIN|    |20       |862 |
|2 |  TABLE SCAN           |t1  |20       |46  |
|3 |  TABLE GET            |t2  |1        |40  |
================================================Outputs & filters:
-------------------------------------0 - output([t1.c1], [t2.c1]), filter(nil), limit(10), offset(10)1 - output([t1.c1], [t2.c1]), filter(nil),conds(nil), nl_params_([t1.c1])2 - output([t1.c1]), filter(nil),access([t1.c1]), partitions(p0)3 - output([t2.c1]), filter(nil),access([t2.c1]), partitions(p0)

从这个计划来看,查询输出会继承t1表的序,如果客户直接在这个计划的基础上面做业务分页处理,业务代码可以正常运行。但是,一旦用户对t1表做了索引变更,引起MySQL的计划变化,该查询的分页结果也会随之改变,导致业务出错。这个问题的本质是业务使用了非标准的分页查询,而MySQL的“特性”使得业务能正常运行。

如果业务迁移到OceanBase,由于OceanBase支持多种join算法,可能会生成如下的计划:

================================================
|ID|OPERATOR              |NAME|EST. ROWS|COST |
------------------------------------------------
|0 |LIMIT                 |    |10       |85285|
|1 | HASH RIGHT OUTER JOIN|    |20       |85285|
|2 |  TABLE SCAN          |t2  |100000   |38681|
|3 |  TABLE SCAN          |t1  |20       |46   |
================================================Outputs & filters: 
-------------------------------------0 - output([t1.c1], [t2.c1]), filter(nil), limit(10), offset(10)1 - output([t1.c1], [t2.c1]), filter(nil), equal_conds([t1.c1 = t2.c1]), other_conds(nil)2 - output([t2.c1]), filter(nil), access([t2.c1]), partitions(p0)3 - output([t1.c1]), filter(nil), access([t1.c1]), partitions(p0)

这个计划就不会继承t1表的序,如果客户直接在这个计划的基础上面做业务分页处理,业务代码运行结果可能不对。

为了能够让这一类业务平滑迁移到OceanBase,我们需要为这种分页查询主动添加order by。

注意:我们不推荐使用该功能迁移MySQL业务

分页保序功能开关

针对上述问题,OceanBase 4.2.1 BP2引入了分页保序功能,只在MySQL租户下可以使用,增加隐藏配置项_preserve_order_for_pagination、查询hint PRESERVE_ORDER_FOR_PAGINATION用于控制查询是否使用分页保序功能。

隐藏配置项

_preserve_order_for_pagination隐藏配置为租户级别,可以控制租户是否打开或关闭分页保序功能,当前默认行为是关闭。如果需要打开租户级别的分页保序功能,可以使用如下命令:

alter system set _preserve_order_for_pagination = 1;

下一个章节会介绍打开该功能后,数据库会做一些什么事情,达到什么效果。

查询HINT

为了增加更细粒度的控制手段,OceanBase还提供了查询级别的控制方式,例如,如果需要针对特定查询打开分页保序功能:

select /*+OPT_PARAM('PRESERVE_ORDER_FOR_PAGINATION', 'TRUE')*/
* from t1 limit 10;

注意,该HINT不能用于控制特定的查询块是否打开分页保序功能,只能用于控制整个查询是否打开分页保序功能!

对于上面介绍的两种控制方式,OceanBase优先使用HINT。举个例子说明,如果租户设置了隐藏配置项为打开状态,同时在查询中使用/*+OPT_PARAM('PRESERVE_ORDER_FOR_PAGINATION', 'FALSE')*/,那么该查询不会开启分页保序功能。

分页保序功能

保序场景1

用户打开分页保序功能之后OceanBase会做什么事情呢?还是举个例子说明:

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 limit 10,10;

针对这种查询,OceanBase首先会对查询结果排序,然后对排序的结果分页处理,改写之后的查询如下:

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 
order by t1.c1, t2.c2 limit 10,10;

排序之后的分页结果必然是稳定的,无论OceanBase选择的是什么计划,或者分页过程有任何计划变化,都不会影响分页查询的结果。

保序场景2

还有一种场景,用户查询已经有order by语句块了,但是由于只针对部分结果排序,导致分页结果还是不稳定,例如:

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 
order by t1.c1 limit 10,10;

针对这种场景,如果打开了分页保序功能,OceanBase会在用户期望排序结果的前提下,额外增加排序字段。

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 
order by t1.c1, t2.c2 limit 10,10;

保序场景3

另外还存在一种和场景 2 相似的场景,查询中有 order by 语句块针对部分结果排序,但 order by 语句块在视图内部。该场景下,如果打开了分页保序功能,无论 order by 语句块外层还有多少层视图,OceanBase 都会额外增加排序字段,例如:

select * from select * from (select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 order by t1.c1) 
)limit 10,10;==>select * from select * from (select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 order by t1.c1, t1.c2) 
)limit 10,10;

保序场景4

对于其他场景,预期想要的结果序会被改变,例如:

select t2.c1, t2.c2
from (select * from t1 order by t1.c1, t1.c2) V1
left join t2 on V.c1 = t2.c1
limit 10,10;

这个查询用户预期可能是按照t1表排序之后再分页查询结果,但是实际上任何SQL语义并不会保证查询的数据一定需要按照t1表的结果排序之后再分页。OceanBase会在最外层增加排序字段t2.c1,t2.c2,执行结果是按照输出结果排序(即t2表的字段),然后再分页,其等价查询如下:

select t2.c1, t2.c2
from t1
left join t2 on V.c1 = t2.c1
order by t2.c1, t2.c2
limit 10,10;

性能影响

同时需要注意到一点,打开分页保序功能后,会引入额外的排序计算,部分查询可能会出现性能回退。

开启注意事项

用户打开分页保序功能之后,查询输出结果可能与未开启分页保序功能时不同!

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 limit 10,10;

未开启分页保序功能时,上面的查询输出结果会随着数据库的计划改变而变化,不会输出稳定的结果。

select t1.c1, t1.c2 from t1, t2 where t1.c1 = t2.c1 
order by t1.c1, t2.c2 limit 10,10;

打开分页保序功能后,OceanBase 会主动添加排序字段,改写如上,无论计划怎么改变,查询结果都是稳定的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/33277.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

免费悬浮翻译器哪个好?测评5款悬浮翻译器

在享受休闲时光时,我们通常都希望不被打扰,对吧? 然而,有时打扰我们的并非是外界的干扰,而是在观看外语视频时,无法理解视频内容的烦躁感。 不过,今天本文将为大家揭开几款屏幕悬浮翻译软件的…

Python 脚本文件如何重新启动自身进程

有时候,我们需要重新启动正在运行的 Python 脚本程序。这不是简单的关闭程序再运行,需要从程序内部重新运行该程序。 使用 os.execv() 方法重新启动 Python 脚本。os.execv(path, args) 函数通过替换进程来执行新程序。 import os import sysdef resta…

基于Java协同过滤算法的图书推荐系统设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍:✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者,博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟感兴趣的可以先收藏起来,还…

深入理解二叉树遍历:前序、中序、后序和层级遍历的Java实现

前言 二叉树的遍历方式是对树中节点进行访问的方法,常见的包括前序、中序、后序和层级遍历。本文将深入探讨这些遍历方式的实现原理,并使用Java代码和图示进行详细讲解。 二叉树遍历介绍 在二叉树中,遍历指的是按照一定顺序访问树中的所有…

ctr/cvr预估之WideDeep模型

ctr/cvr预估之Wide&Deep模型 在探索点击率(CTR)和转化率(CVR)预估的领域中,我们始终追求的是一种既能捕获数据中的线性关系,又能发现复杂模式的模型。因子分解机(Factorization Machines, …

华为大咖说 | 从《庖丁解牛》谈项目经理的三重境界

本文作者: 李庆(华为项目管理能力中心高级项目管理专家) 全文约1945字,阅读约需6分钟,请仔细看看哦~ 近日我重读庄子的《庖丁解牛》,感悟良多,有了更深的理解。以前读到此故事时,只…

微服务SpringCloud,SpringAliBaBa(2)

微服务02 1.网关路由 网络的关口,负责请求的路由、转发、身份校验。 有了网关之后,微服务的地址不用在暴露了,就暴露个网关地址。 快速入门 routes代表一套路由,pridicates是规则,对请求做出判断,看是哪…

[C++深入] --- malloc/free和new/delete

1 new运算符的拓展 1.1 自由存储区与堆的概念 在C++中,内存区分为5个区,分别是堆、栈、自由存储区、全局/静态存储区、常量存储区。 自由存储区是C++基于new操作符的一个抽象概念,凡是通过new操作符进行内存申请,该内存即为自由存储区。 new操作符从自由存储区(free st…

[大师C语言(第三十六篇)]C语言信号处理:深入解析与实战

引言 在计算机科学中,信号是一种软件中断,它允许进程之间或进程与内核之间进行通信。信号处理是操作系统中的一个重要概念,它允许程序对各种事件做出响应,例如用户中断、硬件异常和系统调用。C语言作为一门接近硬件的编程语言&am…

今日头条豆包大语言模型api接入python SDK,安装官方库报错,解决方法

豆包python大语言模型库安装指令: pip install volcengine-python-sdk 报错: note: This error originates from a subprocess, and is likely not a problem with pip.ERROR: Failed building wheel for volcengine-python-sdkRunning setup.py clea…

java8 将对象list中的某一个属性取出组成一个list

实体类 public class Sp {String spdm;String spmc;public Sp() {}public Sp(String spdm, String spmc) {this.spdm spdm;this.spmc spmc;}public String getSpdm() {return spdm;}public void setSpdm(String spdm) {this.spdm spdm;}public String getSpmc() {return sp…

数据库讲解---(数据库设计)

目录 一.数据库设计概述 1.1数据库设计的内容 1.1.1数据库的结构设计 1.1.2数据库的行为设计 1.2数据库设计方法 1.2.1直观设计法 1.2.2规范设计法 1.2.3计算机辅助设计法 1.2.4自动化设计法 1.3数据库设计的基本步骤 1.3.1需求分析 1.3.2概念结构设计 1.3.3逻辑结…

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述

气象站的种类和应用范围可以根据不同的分类标准进行详细的划分和描述。以下是从不同角度对气象站的种类和应用范围的介绍: 一、气象站的种类 根据用途和安装环境分类: 农业气象站:专为农业生产服务,监测土壤温度、湿度等参数&am…

替代LTC3855双通道多相带差分遥测DC-DC同步控制器

特性:双通道、180 定相控制器降低了所需的输入电容和电源感应噪声高效率:达 95%RSENSE 或 DCR 电流检测可编程 DCR 温度补偿0.75%、0.6V 输出电压准确度可锁相固定频率:250kHz 至 770kHz真正的远端采样差分放大器双路 N 沟道 MOSFET 同步驱动宽 VIN 范围…

huggingface accelerate 多机多卡DDP分布式训练案例

参考: https://www.bilibili.com/video/BV1jS411K72E/?spm_id_from=333.788&vd_source=34d74181abefaf9d8141bbf0d485cde7 https://github.com/chunhuizhang/pytorch_distribute_tutorials/blob/main/tutorials/deepspeed_accelerate/accelerate_basics_scripts.py htt…

x264 码率控制 AQmode 算法原理:i_inv_qscale_factor 变量

介绍 关于 AQmode 整体算法的介绍可以参考:x264 码率控制中自适应量化模式 AQ mode分析 。i_inv_qscale_factor是一个uint16_t类型的指针变量,在 frame.h 头文件x264_frame_t结构体中声明,主要用来针对每个宏块 MB 进行相关值存储。在 frame.c 文件中*frame_new函数中在 fen…

oracle 12c/19c OEM 无法访问怎么办?

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG数据库运维(如安装迁移,性能优化、故障应急处理等) 公众号:老苏畅谈运维 欢迎关注本人公众号,更多精彩与您分享。到了12…

网页中一些基本元素

1、页尾自适应 <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title><style&g…

智慧校园-科研管理系统总体概述

在当前教育与科研深度融合的大潮中&#xff0c;智慧校园科研管理系统脱颖而出&#xff0c;它巧妙地融合了现代科技的力量&#xff0c;诸如云计算、大数据分析及人工智能技术&#xff0c;旨在为高等学府与科研机构打造一个高效运转、透明公开、促进协作的科研管理新生态。这一系…

探索密码校验技术:Spring Security中的多种加密方式

探索密码校验技术&#xff1a;Spring Security中的多种加密方式 在Web应用中&#xff0c;密码的安全存储和验证是至关重要的。本文将通过一个具体的代码示例&#xff0c;介绍和总结如何在Spring Security中使用多种加密方式进行密码校验。我们将重点讲解BCrypt和MD5两种加密方…