PostgreSQL日志中的SQL记录时机 —— log_statement 和 log_min_duration_statement

       最近跟朋友讨论到PostgreSQL日志中的SQL记录时机，研究了下log_statement 和 log_min_duration_statement两个参数，记录一下。

一、 参数简介

1. log_statement

① 作用

控制记录SQL的类型，可选值为：

  • none：关闭（默认）
  • ddl：DDL语句
  • mod：DDL和所有涉及数据修改的语句（DML、COPY FROM、PREPARE、EXECUTE等）。对于explain和explain analyze，如果后面的语句类型符合，也会被记录
  • all：所有语句

② 记录时机

       SQL语句解析成功后，执行前。因此即使设置为all，也不会记录有语法错误的语句（如果想记录，应该使用log_min_error_statement参数）。

③ 记录内容

       记录SQL语句，包含参数，但不包含执行用户、主机名等信息，这些需要审计插件才有。

2. log_min_duration_statement

① 作用

记录超过指定执行时间阈值的SQL，可选值为：

  • -1：关闭（默认）
  • 0：所有语句
  • 正数：慢SQL阈值

② 记录时机

       SQL语句执行完成后，因此能记录到执行时间。

③ 记录内容

  • 记录SQL语句、执行时间，但不包含参数。
  • 对于使用扩展查询协议的客户端，对语法分析、绑定、执行每一步所花时间会独立记录。

3. 同时符合两者的SQL会如何？

  • 语句在解析完成后、执行开始前，即被记入日志（log_statement生效）
  • 语句执行完成后，单独将duration记入日志（log_min_duration_statement生效），但不再重复记录语句
  • 因此建议使用log_line_prefix记录PID或会话ID，避免duration和语句关联不上

二、 效果测试

1. 两者均设置

log_statement='all',log_min_duration_statement='0s'

2023-11-28 17:51:45.222 CST [2484] LOG:  statement: select pg_sleep(10);
2023-11-28 17:51:55.227 CST [2484] LOG:  duration: 10005.249 ms

       语句记录为开始时间（log_statement生效），duration在执行完成时单独记录（log_min_duration_statement生效），但不再重复记录语句。

2. 仅设置log_statement

log_statement='all',log_min_duration_statement='-1'（禁用）

2023-11-28 17:53:49.540 CST [2760] LOG:  statement: select pg_sleep(10);

仅记录语句，记录时间为开始时间，没有duration

3. 仅设置log_min_duration_statement

log_statement='none'（禁用）,log_min_duration_statement='0s'

2023-11-28 17:55:20.288 CST [2826] LOG:  duration: 15015.447 ms  statement: select pg_sleep(15);

记录语句和duration，记录时间为结束时间

三、 参数记录时机

         从上面文档可以知道，两个参数记录时机都在SQL执行阶段，只是一个在前一个在后。源码中SQL执行相关的函数主要是exec_simple_query，因此我们就看看这个函数。

         函数刚开头就可以看到 pg_parse_query 和 check_log_statement函数。

/** exec_simple_query** Execute a "simple Query" protocol message.*/
static void
exec_simple_query(const char *query_string)
{CommandDest dest = whereToSendOutput;MemoryContext oldcontext;List	   *parsetree_list;ListCell   *parsetree_item;bool		save_log_statement_stats = log_statement_stats;bool		was_logged = false;bool		use_implicit_block;char		msec_str[32];
.../** Do basic parsing of the query or queries (this should be safe even if* we are in aborted transaction state!)*/parsetree_list = pg_parse_query(query_string);/* Log immediately if dictated by log_statement */if (check_log_statement(parsetree_list)){ereport(LOG,(errmsg("statement: %s", query_string),errhidestmt(true),errdetail_execute(parsetree_list)));was_logged = true;}
  • pg_parse_query函数用于SQL解析，符合log_statement记录的语句发生在解析完成后
  • check_log_statement函数就用于检查log_statement的设置，标记是否需要记录
  • was_logged=true表示已记录SQL语句，主要是给后面的慢SQL记录函数，提示其不需重复记录SQL文本
/** check_log_statement*		Determine whether command should be logged because of log_statement** stmt_list can be either raw grammar output or a list of planned* statements*/
static bool
check_log_statement(List *stmt_list)
{ListCell   *stmt_item;if (log_statement == LOGSTMT_NONE)return false;if (log_statement == LOGSTMT_ALL)return true;/* Else we have to inspect the statement(s) to see whether to log */foreach(stmt_item, stmt_list){Node	   *stmt = (Node *) lfirst(stmt_item);if (GetCommandLogLevel(stmt) <= log_statement)return true;}return false;
}

       

       后面一大堆是SQL执行相关的代码，非本次重点，直接拉到函数末尾，可以看到check_log_duration函数，看名字都能猜到是它了，也符合在SQL执行完才记录。

.../** Emit duration logging if appropriate.*/switch (check_log_duration(msec_str, was_logged)){case 1:ereport(LOG,(errmsg("duration: %s ms", msec_str),errhidestmt(true)));break;case 2:ereport(LOG,(errmsg("duration: %s ms  statement: %s",msec_str, query_string),errhidestmt(true),errdetail_execute(parsetree_list)));break;}if (save_log_statement_stats)ShowUsage("QUERY STATISTICS");TRACE_POSTGRESQL_QUERY_DONE(query_string);debug_query_string = NULL;
}

check_log_duration函数

         可以看到注释中给出了上面case 1,2的含义：

  • 1：仅记录duration，即前面提到的两个参数均生效的场景
  • 2：记录duration和语句：即前面提到的仅log_min_duration_statement生效的场景

另外是否记录慢sql与 log_duration、log_min_duration_sample 这些参数也有关。

/** check_log_duration*		Determine whether current command's duration should be logged*		We also check if this statement in this transaction must be logged*		(regardless of its duration).** Returns:*		0 if no logging is needed*		1 if just the duration should be logged*		2 if duration and query details should be logged** If logging is needed, the duration in msec is formatted into msec_str[],* which must be a 32-byte buffer.** was_logged should be true if caller already logged query details (this* essentially prevents 2 from being returned).*/
int
check_log_duration(char *msec_str, bool was_logged)
{if (log_duration || log_min_duration_sample >= 0 ||log_min_duration_statement >= 0 || xact_is_sampled){long		secs;int			usecs;int			msecs;bool		exceeded_duration;bool		exceeded_sample_duration;bool		in_sample = false;TimestampDifference(GetCurrentStatementStartTimestamp(),GetCurrentTimestamp(),&secs, &usecs);msecs = usecs / 1000;/** This odd-looking test for log_min_duration_* being exceeded is* designed to avoid integer overflow with very long durations: don't* compute secs * 1000 until we've verified it will fit in int.*/exceeded_duration = (log_min_duration_statement == 0 ||(log_min_duration_statement > 0 &&(secs > log_min_duration_statement / 1000 ||secs * 1000 + msecs >= log_min_duration_statement)));exceeded_sample_duration = (log_min_duration_sample == 0 ||(log_min_duration_sample > 0 &&(secs > log_min_duration_sample / 1000 ||secs * 1000 + msecs >= log_min_duration_sample)));/** Do not log if log_statement_sample_rate = 0. Log a sample if* log_statement_sample_rate <= 1 and avoid unnecessary random() call* if log_statement_sample_rate = 1.*/if (exceeded_sample_duration)in_sample = log_statement_sample_rate != 0 &&(log_statement_sample_rate == 1 ||random() <= log_statement_sample_rate * MAX_RANDOM_VALUE);if (exceeded_duration || in_sample || log_duration || xact_is_sampled){snprintf(msec_str, 32, "%ld.%03d",secs * 1000 + msecs, usecs % 1000);if ((exceeded_duration || in_sample || xact_is_sampled) && !was_logged)return 2;elsereturn 1;}}return 0;
}

参考：

https://www.postgresql.org/docs/current/runtime-config-logging.html#GUC-LOG-STATEMENT
https://www.postgresql.org/docs/current/protocol-flow.html#PROTOCOL-FLOW-EXT-QUERY
https://blog.csdn.net/qq_35423190/article/details/129138740
https://iwmj.wordpress.com/2018/04/03/postgresql-%E5%89%8D%E5%90%8E%E7%AB%AF%E5%8D%8F%E8%AE%AE%E4%B8%AD%E7%9A%84%E6%9F%A5%E8%AF%A2%E6%96%B9%E5%BC%8F%EF%BC%9A%E7%AE%80%E5%8D%95%E6%9F%A5%E8%AF%A2%E3%80%81%E6%89%A9%E5%B1%95%E6%9F%A5%E8%AF%A2/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/180894.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

C语言-求阶乘序列前N项和

C语言-求阶乘序列前N项和

本题要求编写程序&#xff0c;计算序列 1!2!3!⋯ 的前N项之和。 输入格式: 输入在一行中给出一个不超过12的正整数N。 输出格式: 在一行中输出整数结果。 输入样例: 5输出样例: 153 #include "stdio.h" int main(){int n;int sum 0;scanf("%d",&a…
阅读更多...
Unity中Shader的BRDF解析(四)

Unity中Shader的BRDF解析(四)

文章目录 前言一、BRDF 中的 IBL二、解析一下其中的参数1、光照衰减系数 &#xff1a;surfaceReduction2、GI镜面反射在不同角度下的强弱 &#xff1a;gi.specular * FresnelLerp (specColor, grazingTerm, nv);在BRDF中&#xff0c;IBL&#xff08;Image Based Light&#xff…
阅读更多...
CF 1896 A. Jagged Swaps 学习笔记

CF 1896 A. Jagged Swaps 学习笔记

链接 传送门 代码 #include<bits/stdc.h>using namespace std;const int N20;int a[N];int main() {int t;scanf("%d",&t);while(t--){int n;scanf("%d",&n);for(int i1;i<n;i){scanf("%d",&a[i]);}if(a[1]1) printf(&q…
阅读更多...
【人工智能】人工智能的技术研究与安全问题的深入讨论

【人工智能】人工智能的技术研究与安全问题的深入讨论

前言 人工智能&#xff08;Artificial Intelligence&#xff09;&#xff0c;英文缩写为AI。 它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是新一轮科技革命和产业变革的重要驱动力量。 &#x1f4d5;作者简介&#x…
阅读更多...
波兰边缘计算初创公司获得450w欧元融资

波兰边缘计算初创公司获得450w欧元融资

边缘计算社区获悉&#xff0c;近期&#xff0c;波兰边缘计算初创公司CTHINGS.CO 获得450w欧元A轮融资。 以下是官方声明&#xff1a; CTHINGS.CO 获得 2000 万兹罗提&#xff08;约450 万欧元&#xff09;用于国际扩张。此轮融资涉及 ORLEN VC、PKO VC、Freya Capital 和现有投…
阅读更多...
embeddings

embeddings

“embeddings”的中文翻译是“嵌入”或“嵌入向量”。在自然语言处理&#xff08;NLP&#xff09;领域&#xff0c;通常被称为“词向量”或“词嵌入”&#xff0c;它是表示词汇或令牌的一种方式&#xff0c;通过将这些词汇或令牌映射到一个向量空间中的点&#xff0c;以捕捉它们…
阅读更多...
芯片设计中的DFX

芯片设计中的DFX

在芯片设计领域&#xff0c;“DFX” 通常指的是 Design for eXcellence&#xff0c;其中X也可以看作是通配符。DFX 强调在芯片设计的各个阶段&#xff08;设计、验证、测试等&#xff09;考虑到各种因素&#xff0c;以达到卓越的设计质量和可维护性。DFX 的具体要求可能包括&am…
阅读更多...
「Verilog学习笔记」整数倍数据位宽转换8to16

「Verilog学习笔记」整数倍数据位宽转换8to16

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点&#xff0c;刷题网站用的是牛客网 根据时序图&#xff0c;数据是在第二个数据到来之后输出&#xff0c;当仅有一个数据到来时&#xff0c;不产生输出&#xff0c;所以内部需要一个指示信号valid_cnt&#xf…
阅读更多...
VMware虚机重启后静态IP不生效

VMware虚机重启后静态IP不生效

配置好一套虚机之后&#xff0c;因为重启电脑&#xff0c;导致虚机的静态ip配置不生效&#xff0c;xshell连接不上虚机。以下是自查和解决方案&#xff1a; 1.使用su -进入root用户 2.查看打开虚机的teminal窗口查看配置的ip文件&#xff1a;vim /etc/sysconfig/network-script…
阅读更多...
N8975A/安捷伦Agilent N8975A噪声系数分析仪

N8975A/安捷伦Agilent N8975A噪声系数分析仪

181/2461/8938产品概述N8975A是一款高性能噪声系数分析仪 用于进行快速、准确且可重复的噪声系统测量。 N8975A易用的特性能将复杂的测量简单化并让您获得值得信任的可重复且可靠的测量结果。 N8975A可同时提供噪声系数和增益测量&#xff0c;并可以多种格式查看、打印和保存…
阅读更多...
Python与设计模式--访问者模式

Python与设计模式--访问者模式

23种计模式之 前言 &#xff08;5&#xff09;单例模式、工厂模式、简单工厂模式、抽象工厂模式、建造者模式、原型模式、(7)代理模式、装饰器模式、适配器模式、门面模式、组合模式、享元模式、桥梁模式、&#xff08;11&#xff09;策略模式、责任链模式、命令模式、中介者模…
阅读更多...
学习知识随笔（Django）

学习知识随笔（Django）

文章目录 MVC与MTV模型MVCMTV Django目录结构Django请求生命周期流程图路由控制路由是什么路由匹配反向解析路由分发 视图层视图函数语法reqeust对象属性reqeust对象方法 MVC与MTV模型 MVC Web服务器开发领域里著名的MVC模式&#xff0c;所谓MVC就是把Web应用分为模型(M&#…
阅读更多...
2023-简单点-yolox-pytorch代码解析（一）-nets/darknet.py

2023-简单点-yolox-pytorch代码解析（一）-nets/darknet.py

yolox-pytorch: nets/darknet.py yolox网络结构yolox-pytorch目录今天解析注释net/darknet.pyFocusBaseConvDWConvSPPBottleneckDarknet未完待续。。。 yolox网络结构 yolox-pytorch目录 今天解析注释net/darknet.py #!/usr/bin/env python3 # 指定使用python3来执行此脚本 …
阅读更多...
主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

随着技术的进步和数据的不断爆炸&#xff0c;传统的磁盘文件系统已经暴露出它们的局限性。为了满足不断增长的存储需求&#xff0c;分布式文件系统作为动态且可扩展的解决方案应运而生。在本文中&#xff0c;我们探讨了三种代表性分布式文件系统的设计原则、创新和解决的挑战&a…
阅读更多...
SEO工具-免费功能最全的5款SEO工具

SEO工具-免费功能最全的5款SEO工具

随着互联网的蓬勃发展&#xff0c;搜索引擎优化&#xff08;SEO&#xff09;已经成为许多企业和个人网站必备的关键技能。然而&#xff0c;对于初学者或者运营小型网站的人来说&#xff0c;使用专业的SEO工具可能涉及较高的成本。在这篇文章中&#xff0c;我们将向您推荐五款高…
阅读更多...
【LeetCode热题100】【哈希】字母异位词分组

【LeetCode热题100】【哈希】字母异位词分组

给你一个字符串数组&#xff0c;请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 示例 1: 输入: strs ["eat", "tea", "tan", "ate", "nat", …
阅读更多...
C 标准库函数

C 标准库函数

C 标准库函数 在本教程中&#xff0c;您将了解C语言中的标准库函数。更具体地说&#xff0c;它们是什么&#xff0c;C语言中的不同库函数以及如何在程序中使用它们。 C标准库函数或简单的C库函数是C语言编程中的内置函数。 这些函数的原型和数据定义位于各自的头文件中。要使…
阅读更多...
1670. 设计前中后队列 --力扣 --JAVA

1670. 设计前中后队列 --力扣 --JAVA

题目 请你设计一个队列&#xff0c;支持在前&#xff0c;中&#xff0c;后三个位置的 push 和 pop 操作。 请你完成 FrontMiddleBack 类&#xff1a; FrontMiddleBack() 初始化队列。void pushFront(int val) 将 val 添加到队列的 最前面 。void pushMiddle(int val) 将 val 添…
阅读更多...
西南科技大学模拟电子技术实验二（二极管特性测试及其应用电路）预习报告

西南科技大学模拟电子技术实验二（二极管特性测试及其应用电路）预习报告

目录 一、计算/设计过程 二、画出并填写实验指导书上的预表 三、画出并填写实验指导书上的虚表 四、粘贴原理仿真、工程仿真截图 一、计算/设计过程 说明：本实验是验证性实验，计算预测验证结果。是设计性实验一定要从系统指标计算出元件参数过程，越详细越好。用公式输入…
阅读更多...
5个实用的Python编程小技巧

5个实用的Python编程小技巧

大家好&#xff0c;Python是一门很棒的编程语言&#xff0c;具有简洁和抽象为特点&#xff0c;本文将介绍五个实用的Python编程技巧。 1. 列表生成式 通过使用列表生成式&#xff0c;可以用一行简洁的代码生成列表、字典、集合&#xff0c;不需要编写多行代码。列表生成式最常…
阅读更多...
最新文章

Copyright @ 2022~2023