Python logging 模块详解

pkYsjL8.jpg

Python 的 logging 模块提供了一个强大而灵活的日志系统。它是 Python 标准库的一部分，因此可以在任何 Python 程序中使用。logging 模块提供了许多有用的功能，包括日志消息的级别设置、日志消息的格式设置、将日志消息输出到不同的目标，以及处理复杂的日志系统配置。

logging 组成部分

在 logging 模块中主要有四部分：Logger、Handler、Filter 和 Formatter。下面分别对这四部分进行介绍。

Logger

Logger 就是程序可以直接调用的一个日志接口，可以直接向 Logger 写入日志信息。但是 Logger 并不是直接实例化使用的，而是通过 logging.getLogger(name) 来获取对象，事实上 Logger 对象是单例模式，并且 logging 是多线程安全的，也就是在程序的任何地方使用的同名的 Logger 都指向了一个实例。

Handler

Handler 作用于 Logger，是真正的日志处理程序，一个 Logger 可以配置多个 Handler。同样的，一个 Handler 也可以作用在多个 Logger 上。每个 Handler 同样有一个日志级别，也就是说 Logger 可以根据不同的日志级别将日志传递给不同的 Handler，当然也可以相同的级别传递给多个 Handler 这就根据需求来灵活的设置了。

Handler 既有系统定义的，比如将日志输出到标准输出 stdout。也可以自定义日志处理器，比如将日志发送到邮件或者第三方的日志存储介质等。

Filter

Filter 提供了更细粒度的判断，来决定日志是否需要打印。原则上 Handler 获得一个日志就必定会根据日志级别进行统一处理，但是如果 Handler 拥有一个 Filter 的时候就可以对日志进行额外的处理和判断。例如 Filter 能够对来自特定源的日志进行拦截甚至进行修改（包括日志级别的修改，修改后再进行级别判断）。

Logger 和 Handler 都可以安装 Filter 甚至可以安装多个 Filter 串联起来。

Formatter

Formatter 指定了最终某条记录打印的格式。Formatter 会将传递来的信息拼接成一条具体的字符串，默认情况下 Formatter 只会将信息 %(message)s 直接打印出来。Formatter 中有一些自带的属性可以使用，如下表格：

pkYsOQP.png

注意的是一个 Handler 只能拥有一个 Formatter。

日志级别

作用

日志级别是一个用于控制和过滤日志消息的重要工具。日志级别可以帮助更有效地管理日志，只看到需要的信息，而忽略不必要的细节。

这个功能在开发和运行大型程序时非常有用。例如，在开发过程中，你可能需要 DEBUG 级别的日志来找出问题。但是在生产环境中，这么详细的日志可能会占用大量的磁盘空间，而且大部分信息可能都是不必要的。因此，在生产环境中，你可能只需要 WARNING 或者 ERROR 级别的日志。

级别

在记录日志时, 日志消息都会关联一个级别（“级别”本质上是一个非负整数）。系统默认提供了6个级别，它们分别是：

级别对应值
CRITICAL50
ERROR40
WARNING30
INFO20
DEBUG10
NOTSET0

继承关系和处理流程

Logger 继承关系

Logger 对象是有父子关系的，当没有父 Logger 对象时它的父对象是 root，当拥有父对象时父子关系会被修正。举个例子，logging.getLogger("abc.xyz") 会创建两个 Logger 对象，一个是 abc 父对象，一个是 xyz 子对象，同时 abc 没有父对象，所以它的父对象是 root。但是实际上 abc 是一个占位对象（虚的日志对象），可以没有 Handler 来处理日志。但是 root 不是占位对象，如果某一个日志对象打日志时，它的父对象会同时收到日志，所以有些使用者发现创建了一个 Logger 对象时会打两遍日志，就是因为他创建的 Logger 打了一遍日志，同时 root 对象也打了一遍日志。

1）level的继承

子 Logger 写日志时，优先使用本身设置了的 level；如果没有设置，则逐层向上级父 Logger 查询，直到查询到为止。最极端的情况是，使用 root Logger 的默认日志级别 logging.WARNING。

参考源码：

def getEffectiveLevel(self):"""Get the effective level for this logger.Loop through this logger and its parents in the logger hierarchy,looking for a non-zero logging level. Return the first one found."""logger = selfwhile logger:if logger.level:return logger.levellogger = logger.parentreturn NOTSET

2）Handler 的继承

先将日志对象传递给子 Logger 的所有 Handler 处理，处理完毕后，如果该子 Logger 的 propagate 属性没有设置为 False，则将日志对象向上传递给第一个父 Logger，该父 Logger 的所有 Handler 处理完毕后，如果它的 propagate 也没有设置为 False，则继续向上层传递，以此类推。最终的状态，要么遇到一个 Logger，它的 propagate 属性设置为了 False；要么一直传递直到 root Logger 处理完毕。

注意，Handler 不是真正的（类）继承，只是“行为上的继承”，也就是子 Logger 并没有没有绑定父类的 Handler。

参考源码：

def callHandlers(self, record):"""Pass a record to all relevant handlers.Loop through all handlers for this logger and its parents in thelogger hierarchy. If no handler was found, output a one-off errormessage to sys.stderr. Stop searching up the hierarchy whenever alogger with the "propagate" attribute set to zero is found - thatwill be the last logger whose handlers are called."""c = selffound = 0while c:for hdlr in c.handlers:found = found + 1if record.levelno >= hdlr.level:hdlr.handle(record)if not c.propagate:c = None  # break outelse:c = c.parentif (found == 0) and raiseExceptions and not self.manager.emittedNoHandlerWarning:sys.stderr.write("No handlers could be found for logger"" \"%s\"\n" % self.name)self.manager.emittedNoHandlerWarning = 1
日志记录的处理流程

pkYsXsf.png

在一个给定继承关系的日志配置中，如果其中任何一个 Logger 进行了日志记录，会经历下面几个步骤：

  • 首先这条记录会被 Logger 本身的 Handler 进行处理。
    • 检查日志级别是否满足最低要求
    • 是否有 Filter 进行更细粒度的处理
    • 用什么样的 Formatter 作为打印格式
  • 默认 Logger 的 propagate 值为 True，也就是在自己进行日志处理的同时，也会把这条日志代理到其父 Logger 进行处理，一直会被代理到 root Logger。

参考下面代码：

import logging# root logger
logging.basicConfig(level=logging.INFO)# parent logger
logger_parent = logging.getLogger("parent")
handler = logging.StreamHandler()
handler.setLevel(logging.CRITICAL)  # Set the handler's level to CRITICAL
logger_parent.addHandler(handler)
logger_parent.setLevel(level=logging.CRITICAL)# child logger
logger_child = logging.getLogger("parent.child")
logger_child.addHandler(logging.StreamHandler())
logger_child.setLevel(level=logging.INFO)if __name__ == "__main__":logger_child.info("Hi")

其输出结果为：

Hi
INFO:parent.child:Hi

在上面代码中有三个日志记录器，其继承关系分别是 logger_child 继承 logger_parent 继承 root。

每个日志记录器上设置的日志级别，比如代码 logger_parent.setLevel(level=logging.CRITICAL) 不会影响记录器对日志的代理关系，其影响的是这个记录器在使用时是否处理程序中的日志记录。比如 logger_parent 在使用的时候会忽略 CRITICAL 级别之下的日志。

在上述程序中：

  • Hi 这条日志首先会被 logger_child 的 Handler 进行处理。
  • 然后这条记录会被代理到 logger_parent，logger_parent 的 handler 会对这条日志做处理，由于 logger_parent 的 Handler 是 CRITICAL 级别的，因此忽略这条日志。
  • 接下来这条日志会继续被代理到 root，root 的 Handler 接下来会继续处理这条日志。

因此日志是否会被向上代理，取决于 Logger 上的 propagate 属性。

使用实例

基本日志打印

在下面的例子中，默认的日志级别是 WRANING，因此只有最后一个日志被打印出来。

import logginglogging.debug('this is debug message')
logging.info('this is info message')
logging.warning('this is warning message')# 打印结果：WARNING:root:this is warning message
root 日志配置

在下面的例子中，root 日志记录器可以通过 logging.basicConfig 进行配置，比如配置其默认的日志级别，Handler 或者输出格式等。

import logginglogging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(name)s - %(message)s')if __name__ == '__main__':logging.debug('this is debug message')logging.info('this is info message')logging.warning('this is warning message')'''''
结果：
2024-06-06 17:10:43,873 - root - this is debug message
2024-06-06 17:10:43,873 - root - this is info message
2024-06-06 17:10:43,873 - root - this is warning message
'''
将日志同时输出到文件和 stdout

在下面的配置中，定义了一个文件 Handler 和标准输出 Handler，并将其应用到 logger 日志处理器上，这样日志会同时被输出到文件和标准输出中。

如果你用 FileHandler 写日志，文件的大小会随着时间推移而不断增大。为了避免这种情况出现，可以在你的生成环境中使用 RotatingFileHandler 替代 FileHandler 做日志回滚。

import logginglogger = logging.getLogger(__name__)
logger.setLevel(level=logging.INFO)# 文件 Handler
file_handler = logging.FileHandler("log.txt")
file_handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)# 标准输出 Handler
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)# 在 logger 中应用这两个 Handler
logger.addHandler(file_handler)
logger.addHandler(console_handler)logger.info("Start print log")
logger.debug("Do something")
logger.warning("Something maybe fail.")
logger.info("Finish")
使用适配器扩展

在下面的例子中通过 logging 提供的 LoggerAdapter 方法可以对日志的字段进行扩展，输出的时候通过适当的 Formatter 进行扩展字段的输出。

import loggingformat_str = '%(levelname)s %(filename)s %(document_id)s %(message)s'
logging.basicConfig(level=logging.INFO, format=format_str)logger = logging.getLogger(__name__)extra = {'document_id': 'doc id'}
logger = logging.LoggerAdapter(logger, extra)logger.info({'name': 'Xiao Ming'})# INFO example_use_adapter.py doc id {'name': 'Xiao Ming'}
捕捉异常并使用 traceback 记录

当程序出现错误的时候，在使用 Logger 进行记录的时候通过设置参数 exc_info=True 可以在日志中记录详细的报错信息。

import logginglogger = logging.getLogger(__name__)try:open('/path/to/does/not/exist', 'rb')
except Exception as e:logger.error('Failed to open file', exc_info=True)'''
Failed to open file
Traceback (most recent call last):File "/Users/crown/Projects/python101/playground/logging_watchtower/example_traceback.py", line 6, in <module>open('/path/to/does/not/exist', 'rb')
FileNotFoundError: [Errno 2] No such file or directory: '/path/to/does/not/exist'
'''
通过配置文件

如果日志的配置比较复杂，可以考虑通过外置配置文件的方式进行 logging 配置，logging 模块支持 json 格式和 yaml 两种格式的配置文件，通过配置文件可以更清晰的进行负责日志的配置。

下面是通过 json 配置文件的方式对 logging 进行配置。

{"version": 1,"disable_existing_loggers": false,"formatters": {"simple": {"format": "%(asctime)s - %(name)s - %(levelname)s - %(message)s"}},"handlers": {"console": {"class": "logging.StreamHandler","level": "DEBUG","formatter": "simple","stream": "ext://sys.stdout"},"info_file_handler": {"class": "logging.handlers.RotatingFileHandler","level": "INFO","formatter": "simple","filename": "info.log","encoding": "utf8"}},"loggers": {"my_module": {"level": "ERROR","handlers": ["info_file_handler"],"propagate": "no"}},"root": {"level": "INFO","handlers": ["console","info_file_handler"]}
}

在 python 中读取配置文件：

{"version": 1,"disable_existing_loggers": false,"formatters": {"simple": {"format": "%(asctime)s - %(name)s - %(levelname)s - %(message)s"}},"handlers": {"console": {"class": "logging.StreamHandler","level": "DEBUG","formatter": "simple","stream": "ext://sys.stdout"},"info_file_handler": {"class": "logging.handlers.RotatingFileHandler","level": "INFO","formatter": "simple","filename": "info.log","encoding": "utf8"}},"loggers": {"my_module": {"level": "ERROR","handlers": ["info_file_handler"],"propagate": "no"}},"root": {"level": "INFO","handlers": ["console","info_file_handler"]}
}

参考文档

[1] python基础学习十 logging模块详细使用 https://www.cnblogs.com/louis-w/p/8567434.html
[2] github django logging https://github.com/django/django/blob/1586a09b7949bbb7b0d84cb74ce1cadc25cbb355/django/utils/log.py#L18

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/848939.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

UE5刷植物悬空了

UE5刷植物悬空了

UE5系列文章目录 文章目录 UE5系列文章目录前言一、解决办法 前言 在Unreal Engine5.3中使用植物模式刷各种植物时&#xff0c;有时会发现有的植物要么悬空&#xff0c;要不有刷不上地板的情况。而且悬空的植物还不能接触到地面&#xff0c;感觉很奇怪&#xff0c;就像下图所示…
阅读更多...
mmdetection的生物图像实例分割三：自定义数据集的测试与分析

mmdetection的生物图像实例分割三：自定义数据集的测试与分析

mmdetection的生物图像实例分割全流程记录 第三章 自定义数据集的测试、重建与分析 文章目录 mmdetection的生物图像实例分割全流程记录前言一、测试集的推理1.模型测试2.测试数据解析 二、测试结果的数据整合三、生物结构的重建效果 前言 mmdetection是一个比较容易入门且上…
阅读更多...
【研发日记】Matlab/Simulink软件优化(二)——通信负载柔性均衡算法

【研发日记】Matlab/Simulink软件优化(二)——通信负载柔性均衡算法

文章目录 前言 背景介绍 初始代码 优化代码 分析和应用 总结 前言 见《【研发日记】Matlab/Simulink软件优化(一)——动态内存负荷压缩》 背景介绍 在一个嵌入式软件开发项目中&#xff0c;需要设计一个ECU节点的CAN网路数据发送&#xff0c;需求是在500k的通信波特率上&a…
阅读更多...
机器人舵机：关键要素解析与选择指南

机器人舵机：关键要素解析与选择指南

在机器人技术日新月异的今天&#xff0c;舵机作为机器人的核心部件之一&#xff0c;扮演着至关重要的角色。它的性能直接关系到机器人的运动控制、稳定性以及精度等方面。那么&#xff0c;在选择和使用机器人舵机时&#xff0c;我们需要关注哪些关键要素呢&#xff1f;本文将为…
阅读更多...
使用Vue.js将form表单传递到后端

使用Vue.js将form表单传递到后端

一.form表单 <form submit.prevent"submitForm"></form> form表单像这样写出来&#xff0c;然后把需要用户填写的内容写在form表单内。 二.表单内数据绑定 <div class"input-container"><div style"margin-left: 9px;"&…
阅读更多...
WALT算法简介

WALT算法简介

WALT(Windows-Assist Load Tracing)算法是由Qcom开发&#xff0c; 通过把时间划分为窗口&#xff0c;对 task运行时间和CPU负载进行跟踪计算的方法。为任务调度、迁移、负载均衡及CPU调频 提供输入。 WALT相对PELT算法&#xff0c;更能及时反映负载变化&#xff0c; 更适用于…
阅读更多...
String类知识

String类知识

目录 一、String存在意义 二、字符串为何不可变 三、String类常用方法 1、字符串构造 2、String对象的比较 3、字符串查找 4、转化 &#xff08;1&#xff09;数值和字符转化 &#xff08;2&#xff09;大小写转换 &#xff08;3&#xff09;字符串转数组 &#xff08;4&…
阅读更多...
系统架构设计师【补充知识】: 应用数学 (核心总结)

系统架构设计师【补充知识】: 应用数学 (核心总结)

24.1 图论之最小生成树 (1)定义: 在连通的带权图的所有生成树中&#xff0c;权值和最小的那棵生成树(包含图中所有顶点的树)&#xff0c;称作最小生成树。 (2)针对问题: 带权图的最短路径问题。 (3)最小生成树的解法有普里姆(Prim)算法和克鲁斯卡尔(Kruskal)算法&#xff0c;我…
阅读更多...
重复文件怎么查找并清理，试试这5个文件去重方法（新）

重复文件怎么查找并清理，试试这5个文件去重方法（新）

重复文件怎么查找并清理&#xff1f;日常工作中&#xff0c;我们使用电脑的时间长了&#xff0c;都会累积大量好的文件&#xff0c;这其中难免会出现重复文件。这些重复文件不仅占用了电脑磁盘空间&#xff0c;还会降低电脑性能。因此&#xff0c;我们必须定期对重复文件查找出…
阅读更多...
fastapi学习前置知识点

fastapi学习前置知识点

前置知识点 FastApi&#xff1a;一个用于构建API的现代、快速&#xff08;高性能&#xff09;的web框架。 FastApi是建立在Pydantic和Starlette基础上&#xff0c;Pydantic是一个基于Python类型提示来定义数据验证、序列化和文档的库。Starlette是一种轻量级的ASGI框架/工具包…
阅读更多...
GIF录屏工具Gif123 v3.3.0单文件

GIF录屏工具Gif123 v3.3.0单文件

软件介绍 GIF的优势是小、轻、快&#xff0c;适合时间短、画面小、需要嵌入其他页面&#xff0c;打开就自动循环播放的动画。Gif123可录制合成鼠标轨迹,可调整鼠标指针大小,可在设置中打开鼠标指针高亮光圈功能,高亮光圈可跟随鼠标移动以指示鼠标位置。软件极其简单&#xff0…
阅读更多...
流水线建构apk、abb实战（二）

流水线建构apk、abb实战（二）

gradlew 命令生成apk、aab包 其实构建应用程序包就几个命令&#xff1a; ### 生成AAB&#xff1a; gradlew bundleRelease #输出到[project]/build/outputs/bundle/release/下 gradlew bundleDebug### 生成APK&#xff1a; gradlew assembleRelease gradlew assembleDebug###…
阅读更多...
菜刀冰蝎哥斯拉流量通讯特征绕过检测反制感知

菜刀冰蝎哥斯拉流量通讯特征绕过检测反制感知

1.加密流程 工具名称requestsresponseAntSwordbase64等方式明文冰蝎2.0开启Openssl扩展-动态密钥aes加密aes加密base64未开启Openssl扩展-异或异或base64冰蝎3.0开启Openssl扩展-静态密钥aes加密aes加密base64未开启Openssl扩展-异或异或base64哥斯拉php的为base64异或base64异…
阅读更多...
游戏《酒店业领袖》

游戏《酒店业领袖》

为快餐连锁店麦当劳&#xff0c;我们创建了一款名为“好客领袖”的游戏。麦当劳的员工可以在网站上注册&#xff0c;并测试自己是否扮演酒店领导的角色&#xff0c;在餐厅可能出现的各种情况下快速做出决定。奖品等待着那些在比赛中表现最好的人。 对于该项目&#xff0c;我们&…
阅读更多...
【Meetup】探索Apache SeaTunnel的二次开发与实战案例

【Meetup】探索Apache SeaTunnel的二次开发与实战案例

在数据科技快速演进的今天&#xff0c;业务场景的复杂化和数据量的激增&#xff0c;推动了大数据技术的迅速发展&#xff0c;在众多开源大数据处理工具中&#xff0c;Apache SeaTunnel以其强大的数据集成能力&#xff0c;成为众多企业的首选。 但随着应用深入&#xff0c;企业面…
阅读更多...
【三更新】多分式标注 脚本工具

【三更新】多分式标注 脚本工具

这篇是 多分式标注 脚本工具的第三次更新文章。 原文章及历次更新请点击链接 【ArcGIS 脚本工具】生成多分式标注 【更新】多分式标注 脚本工具 【再更新】多分式标注&#xff08;船新版本&#xff09; 更新内容 1、组合字段标注 分子、分母、前分、后分&#xff0c;四个…
阅读更多...
流水线建构apk、abb实战（一）

流水线建构apk、abb实战（一）

在构建机上需要下载的工具 流水线中的构建机无法使用Android Studio中自带的sdk工具下载&#xff0c;所以得下载commandlinetools命令行工具&#xff0c;下载后使用随附的 sdkmanager 下载其他 SDK 软件&#xff0c;解压后按照/cmdline-tools/latest/bin/sdkmanager目录结构整…
阅读更多...
Camtasia Studio2024破解汉化版crack安装包下载地址

Camtasia Studio2024破解汉化版crack安装包下载地址

在当今数字化时代&#xff0c;视频内容已成为传播信息和吸引观众的重要方式。无论是企业宣传、在线教育还是个人创作&#xff0c;一款功能强大的视频编辑软件都是必不可少的工具。而Camtasia Studio2024作为业界领先的视频编辑软件&#xff0c;其永久免费版及最新版本的功能更是…
阅读更多...
28 - 只出现一次的最大数字（高频 SQL 50 题基础版)

28 - 只出现一次的最大数字（高频 SQL 50 题基础版)

28 - 只出现一次的最大数字 select (selectnumfromMyNumbers group bynum havingcount(num)1order by num desc limit 1) as num;
阅读更多...
二叉树的先序创建、复制、深度及结点个数

二叉树的先序创建、复制、深度及结点个数

文章目录 前言一、二叉树的先序创建二、二叉树的复制三、二叉树的深度四、二叉树的结点个数总结 前言 T_T此专栏用于记录数据结构及算法的&#xff08;痛苦&#xff09;学习历程&#xff0c;便于日后复习&#xff08;这种事情不要啊&#xff09;。所用教材为《数据结构 C语言版…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023