【PostgreSQL】AUTO_EXPLAIN - 慢速查询的日志执行计划

本文为云贝教育 刘峰 原创,请尊重知识产权,转发请注明出处,不接受任何抄袭、演绎和未经注明出处的转载。

一、介绍

在本文中,我们将了解 PostgreSQL AUTO_EXPLAIN功能的工作原理,以及为什么应该使用它来收集在生产系统上执行的 SQL 语句的实际执行计划。

二、SQL执行计划

当您向 PostgreSQL 发送 SQL 语句时,该语句的执行方式如下图所示:

首先,基于文本的 SQL 语句被解析为可由数据库服务器以编程方式遍历的抽象语法树(例如查询树)。

其次,优化器使用查询树生成最佳执行计划,该执行计划消耗最少的资源来生成所需的结果。

第三,执行器运行执行计划,并将输出作为查询结果集返回给客户端。

三、估计执行计划和真实的执行计划

当您使用 EXPLAIN 命令时。 PostgreSQL 仅返回估计执行计划,即优化器认为对于所提供的 SQL 语句最有效的计划。但是,当您运行 EXPLAIN 命令时,该语句并未真正执行。

另一方面,如果我们运行 EXPLAIN ANALYZE,PostgreSQL 会运行该语句,因此我们将得到实际执行计划,其中还包含执行计划中每个操作的计时信息。

在研究生产系统上的慢速查询时,我们可能会面临几个挑战。

• 首先,出于安全原因,我们可能不允许在生产系统上运行查询,因此,在这种情况下,我们不能简单地运行 EXPLAIN ANALYZE 命令来获取实际执行计划。

• 其次,即使我们有权运行 EXPLAIN ANALYZE 命令,我们也可能会观察到与客户抱怨的计划不同的计划。这可能是由于几个原因造成的。

例如,PostgreSQL 有一个prepareThreshold 设置,其默认值为5。该值告诉PostgreSQL 在切换到使用通用计划的服务器端Prepared Statement 之前,它可以在客户端模拟Prepared Statement 多少次。

如果慢速查询使用通用计划,即使运行 EXPLAIN ANALYZE(它会动态生成执行计划),您也可能无法获得相同的计划。

因此,分析慢速查询的一个更好的解决方案是,我们获取 PostgreSQL 在运行相关查询时使用的实际执行计划。

四、Auto Explain 模块

PostgreSQL 是非常可定制的,它提供了几个我们可以显式激活的扩展。

auto_explain 就是这样的一个扩展,它允许我们捕获花费时间超过预定义阈值的 SQL 查询的实际执行计划。

auto_explain模块提供了一种自动记录执行计划的方法,而无需手动运行。这对于在大型应用程序中追踪未优化的查询特别有用。

该模块不提供SQL可访问的功能。要使用它,只需将其加载到服务器中。您可以将其加载到单个会话中:

您必须是超级用户才能执行此操作。更典型的用法是通过在 postgresql.conf 中的 session_preload_libraries 中包含 auto_explain 或 shared_preload_libraries 来将其预加载到部分或所有会话中。然后,无论查询何时发生,您都可以跟踪异常缓慢的查询。当然,这需要付出一定的管理费用。

4.1 安装

支持 PostgreSQL 版本 12 及更高版本。

在继续之前安装 PostgreSQL。确保有 pg_config 二进制文件,它们通常包含在 -dev 和 -devel 包中。

如果下载失败,可直接下载ZIP包上传解压安装

4.2 配置参数

有几个配置参数控制 auto_explain 的行为。请注意,默认行为是不执行任何操作,因此如果您想要任何结果,则必须至少设置 auto_explain.log_min_duration。

auto_explain.log_min_duration(整数)

auto_explain.log_min_duration 是将导致记录该语句的计划的最短语句执行时间(以毫秒为单位)。将其设置为 0 会记录所有计划。 -1(默认值)禁用计划记录。例如,如果将其设置为 250 毫秒,则将记录运行 250 毫秒或更长的所有语句。只有超级用户才能更改此设置。

auto_explain.log_parameter_max_length(整数)

auto_explain.log_parameter_max_length 控制查询参数值的记录。值为 -1(默认值)会完整记录参数值。 0 禁用参数值记录。大于零的值会将每个参数值截断为那么多字节。只有超级用户才能更改此设置。

auto_explain.log_analyze(布尔值)

auto_explain.log_analyze 会导致在记录执行计划时打印 EXPLAIN ANALYZE 输出,而不仅仅是 EXPLAIN 输出。该参数默认关闭。只有超级用户才能更改此设置。

注意:当此参数打开时,所有执行的语句都会按计划节点计时,无论它们运行的时间是否足够长以实际记录日志。这可能会对性能产生极其负面的影响。关闭 auto_explain.log_timing 可改善性能成本,但代价是获取的信息较少。

auto_explain.log_buffers(布尔值)

auto_explain.log_buffers 控制在记录执行计划时是否打印缓冲区使用统计信息;它相当于 EXPLAIN 的 BUFFERS 选项。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_wal(布尔值)

auto_explain.log_wal 控制在记录执行计划时是否打印 WAL 使用统计信息;它相当于 EXPLAIN 的 WAL 选项。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_timing(布尔值)

auto_explain.log_timing 控制在记录执行计划时是否打印每个节点的计时信息;它相当于 EXPLAIN 的 TIMING 选项。重复读取系统时钟的开销可能会显着减慢某些系统上的查询速度,因此当仅需要实际行计数而不是精确时间时,将此参数设置为关闭可能很有用。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认开启。只有超级用户才能更改此设置。

auto_explain.log_triggers(布尔值)

auto_explain.log_triggers 导致在记录执行计划时包含触发器执行统计信息。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_verbose(布尔值)

auto_explain.log_verbose 控制在记录执行计划时是否打印详细信息;它相当于 EXPLAIN 的 VERBOSE 选项。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_settings(布尔值)

auto_explain.log_settings 控制在记录执行计划时是否打印有关修改的配置选项的信息。输出中仅包含影响查询计划且其值与内置默认值不同的选项。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_format(枚举)

auto_explain.log_format 选择要使用的 EXPLAIN 输出格式。允许的值为 text、xml、json 和 yaml。默认为文本。只有超级用户才能更改此设置。

auto_explain.log_level(枚举)

auto_explain.log_level 选择 auto_explain 将记录查询计划的日志级别。有效值为 DEBUG5、DEBUG4、DEBUG3、DEBUG2、DEBUG1、INFO、NOTICE、WARNING 和 LOG。默认为日志。只有超级用户才能更改此设置。

auto_explain.log_nested_statements(布尔值)

auto_explain.log_nested_statements 导致考虑记录嵌套语句(在函数内执行的语句)。当它关闭时,仅记录顶级查询计划。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.sample_rate(实数)

auto_explain.sample_rate 导致 auto_explain 仅解释每个会话中的一小部分语句。默认值为 1,表示解释所有查询。如果是嵌套语句,则要么全部解释,要么不解释。只有超级用户才能更改此设置。

在日常使用中,这些参数是在 postgresql.conf 中设置的,尽管超级用户可以在自己的会话中即时更改它们。典型用法可能是:

4.3 示例

1)创建扩展

2)窗口1执行以下查询

3)窗口2查看当前正在执行的SQL

可以看到PID=43144的进程,正在执行SQL:select pg_sleep(3),relname from pg_class;

执行计划为全表扫描,并且该真实的执行计划不需要通过explain analyze获取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/34095.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(1985-2022年)各省、地级市数字经济专利数据 整理

数字经济专利数量是衡量一个国家或地区在数字经济领域创新能力和技术发展水平的重要指标。这些专利通常与数字技术、互联网、大数据分析、云计算、人工智能(AI)、区块链、物联网(IoT)等创新成果相关。数字经济专利的增长不仅反映了…

[JS]函数

介绍 函数就是用来执行特点任务的代码块, 目的是实现代码复用, 提高开发效率 使用 1.0函数的声明 function 函数名 () {//函数体 } 2.0函数的调用 3.0命名规范 和变量命名规则基本一致尽量小驼峰式命名前缀应该为动词 传参 函数的参数可以极大提高函数的灵活性 1.0参数…

【React】变量 useState

开发需要,随便学学react。上手第一天,感觉这个JS语法很怪,没有什么逻辑性,比较抽象。随便写写笔记。 跟着网上找的项目写写感觉这个项目还不错: 分享给码友 https://zh-hans.react.dev/learn/tutorial-tic-tac-toe 参…

PEI转染试剂哪个品牌好用?

在做细胞转染实验时,经常会有这样的疑问,我们应该选择PEI转染试剂还是脂质体转染试剂?PEI转染试剂哪个品牌好用?在了解这个问题之前,我们先看看细胞转染的背景。 近年来,随着许多与疾病和细胞过程相关的基因被确定为…

等保测评是什么?等保方案怎么做?

等保测评,全称为网络安全等级保护测评,是依据国家相关标准对信息系统进行安全性评估和测试,以确保其符合国家等级保护要求的一种活动。这项测评工作对于保障信息系统安全至关重要,尤其是在当前网络安全威胁日益严峻的背景下。下面…

内存问题调优-GC

1. 排查元空间内存溢出 : 在JVM中配置 -verbose:class 打印类加载信息。 什么条件触发GC-CMS为例 1. eden区满了?会不会触发GC? eden区满触发YGC,FGC会出发全代回收,即Eden区也会被回收2. 老年代满了会不会触发GC&a…

代码随想录训练营Day45

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、打家劫舍二、打家劫舍2三、打家劫舍3 前言 提示:这里可以添加本文要记录的大概内容: 今天是跟着代码随想录刷题的第45天&#xff…

XX公司-JAVA笔试题

一、单选题 某单位的会议室有5排共40个座位,每排座位数相同。小张和小李随机入座,则他们坐在同一排的概率()。 A、不高于 15% B、高于 15%但低于 20% C、正好为 20% D、高于 20% 先让小张随机入座,有40个座位可选&…

【大数据 复习】第9章 数据仓库分析工具Hive

一、概念 1.概述 (1)Hive是一个构建于Hadoop顶层的数据仓库工具。 (2)某种程度上可以看作是用户编程接口,本身不存储和处理数据。 (3)依赖分布式文件系统HDFS存储数据。 (4&#xf…

python - 变量和字符串

一.变量 变量名就像我们现实社会的名字,把一个值赋值给一个名字时,Ta会存储在内存中,称之为变量(variable),在大多数语言中,都把这种行为称为“给变量赋值”或“把值存储在变量中”。 •不过P…

赋能行业数字化转型——家居建材信息API合集

家居建材信息API的核心原理在于利用互联网技术,通过预先定义的接口规范,实现家居建材信息的共享与交互。API作为连接数据源和应用程序的桥梁,能够接收请求并返回相应的数据。 家居建材信息API具有以下几个方面特点: 数据标准化&…

快手可灵:上线图生视频和视频续写

上次介绍的快手的 Kling 大模型上线了新功能,其中图生视频支持将静态图像转化为生动的 5 秒视频,运动幅度比 Luma 低,但是非常稳定。视频续写则支持单次让视频运动延续 4.5 秒,支持连续多次的续写,最长可生成 3 分钟的…

族乐智能零火转单火套件零火智能开关单火模块零线生成器

族乐智能零火转单火套件零火智能开关单火模块零线生成器 史新华 族乐智能零火转单火套件,如同一位巧手匠人,将传统的零火智能开关巧妙地转化为更为灵活的单火模式。这款套件不仅体现了现代科技的精妙之处,更展现了对传统技术的深情致敬与巧…

第30讲:Ceph集群RBD块存储通过CSI客户端与K8S StorageClass集成

文章目录 1.Ceph集群使用CSI客户端与K8S StorageClass集成简介2.RBD块存储与StorageClass集成架构图3.Ceph集群为StorageClass提供块存储设备3.1.在Ceph集群中创建StorageClass使用的资源池3.2.创建K8S集群访问RBD块存储设备的认证用户3.3.获取Ceph集群的集群信息 4.在K8S集群中…

C语言—结构体

1.结构体类型的声明 结构是一些值的集合,这些值称为成员变量。结构的每个成员可以是不同类型的变量。 1.1结构的简单声明 struct xxx {member——list; }xxxxx; 例如:描述一本书 struct BOOK {char Book_Name[20];char autho…

面向卫星遥感的红外微小舰船目标检测方法:MTU-Net

论文简介 空间红外微小舰船检测旨在从地球轨道卫星所拍摄的图像中识别并分离出微小舰船。由于图像覆盖面积极其广大(如数千平方公里),这些图像中的候选目标相比空中或地面成像设备观测到的目标,尺寸更小、亮度更低且变化更多。现有…

mayavi pyqt 实例

目录 安装: 示例代码: 生成3d检测框: 显示立方体 两个窗口 安装: pip install vtk pip install mayavi pip install PyQt5 pip install pyqt5 mayavi traits traitsui 示例代码: import sys from PyQt5.QtWidg…

如何在Java中实现缓存机制?

如何在Java中实现缓存机制? 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天我们将深入探讨在Java应用程序中如何实现高效的缓存机制。缓存是提高…

温湿度采集及OLED显示

目录 软件I2C和硬件I2C每隔2秒钟采集一次温湿度数据,显示到OLED上,同时通过串口发送到上位机的“串口助手”软件 软件I2C和硬件I2C "I2C"代表Inter-Integrated Circuit,是一种用于在数字电路之间进行通信的串行通信协议。软件I2C和…

使用Testcontainers进行Java集成测试

在现代软件开发中,集成测试是确保应用程序与其依赖项(如数据库、消息队列等)正确交互的关键步骤。Testcontainers是一个支持JUnit测试的Java库,它提供了一个简单而强大的方式来创建和管理测试所需的任何Docker容器。本文将详细介绍…