[Python学习日记-54] Python 中的日志模块 —— logging

简介

基础用法

日志写入到文件

自定义日志格式

日志同时输出到屏幕和写入到文件

简介

        在程序的运行过程中会执行很多操作或者进行很多的交互，也有的时候可能你开发出来的网站会遭到黑客的攻击，这样你就需要去翻程序记录的日志进行朔源，那我们应该要如何记录日志呢？自己编写？如果自己编写就会面临日志格式是否标准、日志信息是否齐全、日志记录功能开发周期长等一系列问题，这显然不太现实，那我们应该怎么办呢？这就要用到 Python 中的 logging 模块了。当然日志记录的作用还远远不止溯源，例如 Bug修复之类的都需要日志来进行帮助修复，这样日志记录中就可能包含有正常的程序访问日志、有错误、警告等日志信息输出，并且 logging 模块提供了标准的日志接口，你可以通过它存储各种格式的日志，logging 模块的日志还可以进行分级，分有 debug()、info()、warning()、error() 和 critical() 5个级别。下面我们来认识一下这一功能强大的日志模块。

基础用法

一、日志直接输出到屏幕

演示代码如下： 

import logginglogging.warning("user [jove] attempted wrong password more than 3 times")
logging.critical("server is down")

代码输出如下： 

二、日志级别

级别	状态
DEBUG	详细信息，通常用于排除 Bug
INFO	正常的日志信息
WARNING	警告信息，可能目前程序能正常运行，但是存在风险，在不久的将来可能会触发
ERROR	错误信息，该项错误已经影响到程序的某项功能无法正常运行
CRITICAL	严重错误，表示主程序已经无法正常运行了

日志写入到文件

演示代码如下：

import logginglogging.basicConfig(filename='log_test.log',level=logging.INFO)  # 指定日志输出的文件和级别
logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('And this, too')

输出到 log_test.log 的效果如下：

        其中上面 logging.basicConfig 中的 level=loggin.INFO 意思是，把日志纪录级别设置为 INFO，也就是说只有日志级别是 INFO 或者比 INFO 更高级别的日志才会被纪录到文件里，在演示代码中，第一条日志是不会被纪录的，如果希望纪录 DEBUG 的日志，那把日志级别改成 DEBUG 就行了。

自定义日志格式

        前面输出到文件当中的日志信息感觉还少了点东西...没错！就是少了时间，不知道该日志事件的具体发生时间，日志信息里面没有时间就像西方失去了耶路撒冷一样！下面我们就来加上，代码如下：

import logginglogging.basicConfig(filename='log_test.log',level=logging.DEBUG,format='%(asctime)s Level-%(levelno)s %(message)s',  # levelno 数字输出日志级别datefmt='%Y-%m-%d %I:%M:%S %p')logging.debug('This message should go to the log file')
logging.info('So should this')
logging.warning('is when this event was logged.')
logging.warning('And this, too')
logging.error('no Network')
logging.critical('device is down')

输出到 log_test.log 的效果如下：

        除了加时间，还可以自定义一大堆格式，厉害的是连该日志出自代码的第几行都能输出，下表就是所有支持的格式 

格式	描述
%(name)s	Logger 的名字
%(levelno)s	数字形式的日志级别
%(levelname)s	调用日志输出函数的模块的完整路径名，可能没有
%(filename)s	调用日志输出函数的模块的文件名
%(module)s	调用日志输出函数的模块名
%(funcName)s	调用日志输出函数的函数名
%(lineno)d	调用日志输出函数的语句所在的代码行
%(created)f	当前时间，用 UNIX 标准的表示时间的浮点数表示
%(relativeCreated)d	输出日志信息时的，自 Logger 创建以来的毫秒数
%(asctime)s	字符串形式的当前时间（默认格式是“2003-07-08 16:49:45,896”），其中逗号后面的是毫秒
%(thread)d	线程 ID，可能没有
%(threadName)s	线程名，可能没有
%(process)d	进程 ID，可能没有
%(message)s	用户输出的消息

日志同时输出到屏幕和写入到文件

        如果想同时把日志信息打印在屏幕和文件里，就需要了解一点复杂的知识，例如面向对象之类的，这个知识将会在下章讲述。Python 使用 logging 模块记录日志涉及四个主要类分别为：

• logger：提供了应用程序可以直接使用的接口
• handler：将（logger 创建的）日志记录发送到合适的目的输出
• filter：提供了日志细度选择，由设备来决定输出哪条日志记录
• formatter：决定日志记录的最终输出格式

一、logging 模块流程图

        为了更好的理解他们之间的关系，请看下图

二、每个组建的主要功能

1、logger

        每个程序在输出信息之前都要获得一个 Logger，Logger 通常对应了程序的模块名，例如聊天工具的图形界面模块和核心模块可以这样获得它的 Logger：

# 图形界面
LOG_GUI = logging.getLogger("chat.gui")# 核心
LOG_KEL = logging.getLogger("chat.kernel")

        除此之外 Logger 还可以绑定 handler 和 filters，如下所示：

• Logger.setLevel(lel)：指定最低的日志级别，低于 lel 的级别将被忽略。debug 是最低的内置级别，critical 为最高
• Logger.addFilter(filt)、Logger.removeFilter(filt)：添加或删除指定的 filter
• Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或删除指定的 handler
• Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以设置的日志级别

2、handler

        该对象负责发送相关的信息到指定目的地。Python 的日志系统有多种 Handler 可以使用。有些 Handler 可以把信息输出到控制台，有些 Handler 可以把信息输出到文件，还有些 Handler 可以把信息发送到网络上如果觉得不够用，还可以编写自己的 Handler。可以通过 addHandler() 方法添加多个 handler。而且每个 Logger 还可以附加多个 Handler。接下来我们就来介绍一些常用的 Handler：

（1）logging.Handler.setLevel(lel)

        指定被处理的信息级别，低于 lel 级别的信息将被忽略。

        当 Logger.setLevel(lel_g) 和 logging.Handler.setLevel(lel_h) （lel_g 的权限等级小于 lel_h 的权限等级）的权限设置关系图如下所示：

当 Logger.setLevel(lel_g) 和 logging.Handler.setLevel(lel_h) （lel_g 的权限等级大于 lel_h 的权限等级）的权限设置关系图如下所示：

（2）logging.Handler.setFormatter()

        给这个 handler 选择一个格式。

（3）logging.Handler.addFilter(filt)、Handler.removeFilter(filt)

        新增或删除一个filter对象。

（4）logging.StreamHandler()

        使用这个 Handler 可以向类似于 sys.stdout 或者 sys.stderr 的任何文件对象（fileobject）输出信息。

（5）logging.FileHandler()

        和 StreamHandler 类似，用于向一个文件输出日志信息。不过 FileHandler 会帮你打开这个文件。

（6）logging.handlers.RotatingFileHandler()

        这个 Handler 类似于上面的 FileHandler，但是它可以管理文件的大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建 一个新的同名日志文件继续输出。例如日志文件是 chat.log。当 chat.log 达到指定的大小之后，RotatingFileHandler 将自动把文件改名为 chat.log.1，如果 chat.log.1 已经存在，会先把 chat.log.1 重命名为 chat.log.2，如此类推，最后重新创建 chat.log，继续输出日志信息。它的函数是：

RotatingFileHandler(filename,mode,maxBytes,backupCount)

        其中 filename 和 mode（默认为“a”，追加）两个参数和 FileHander 的是一样。

• maxBytes：用于指定日志文件的最大文件大小，单位为字节。如果 maxBytes 为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生
• backupCount：用于指定保留的备份文件的个数。例如指定为2时，当上面描述的重命名过程发生时，原有的 chat.log.2 并不会被更名，而是被删除

（7）logging.handlers.TimedRotatingFileHandler()

        这个 Handler 和 RotatingFileHandler 类似，不过它并没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就自动创建新的日志文件。重命名的过程与 RotatingFileHandler 类似，不过新的文件不是附加数字，而是当前时间。它的函数是：

TimedRotatingFileHandler(filename,when,interval,backupCount)

        其中 filename 参数和 backupCount 参数和 RotatingFileHandler 具有相同的意义。

• when：一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值：S（秒）、M（分）、H（小时）、D（天）、W（每星期，interval 为0时，代表星期一）、midnight（每天凌晨）
• interval：时间间隔

3、formatter

        logging 模块的 formatter 是个独立的组件，可以跟 handler 组合，用法如下

fh = logging.FileHandler("access.log")
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)    # 把 formmater 绑定到 fh 上

4、filter

        如果想对日志内容进行过滤，就可自定义一个 filter，在使用前需要先创建一个 filter 的面向对象，代码如下：

class IgnoreBackupLogFilter(logging.Filter):"""忽略带db backup 的日志"""def filter(self, record):  # 固定写法return "db backup" not in record.getMessage()

注意：filter 函数会返回 True 或者 False，logger 根据此值决定是否输出此日志 

然后把这个 filter 添加到 logger 中

logger.addFilter(IgnoreBackupLogFilter())

下面的日志就会把符合 filter 条件的过滤掉

logger.debug("test ....")
logger.info("test info ....")
logger.warning("start to run db backup job ...")    # 将会被过滤掉不输出
logger.error("test error ....")

三、应用案例

1、一个同时输出到屏幕、文件，并且带 filter 过滤的例子

# -*- coding=utf-8 -*-import loggingclass IgnoreBackupLogFilter(logging.Filter):"""忽略带db backup 的日志"""def filter(self, record):  # 固定写法return "db backup" not in record.getMessage()# 1. 生成 logger 对象
logger = logging.getLogger('web')
# 1.1 设置日志级别 全局的优先级比handler.setlevel的优先级高
logger.setLevel(logging.DEBUG)
# 1.2 把filter对象添加到logger中
logger.addFilter(IgnoreBackupLogFilter())# 2. 生成 handler对象
ch = logging.StreamHandler()
fh = logging.FileHandler('web.log')
# 2.1 给handler设置日志级别
ch.setLevel(logging.ERROR)
fh.setLevel(logging.INFO)
# 2.2 把handler对象绑定到logger
logger.addHandler(ch)
logger.addHandler(fh)# 3. 生成formatter对象
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_formatter = logging.Formatter('%(lineno)d - %(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 3.1 把formatter对象绑定handler对象
ch.setFormatter(console_formatter)
fh.setFormatter(file_formatter)# 没设置级别 默认日志级别是warning
logger.debug("test log ")
logger.info("test log 2")
logger.warning("test log 3")
logger.error("test log db backup 4")
logger.critical("test log 5")

代码输出如下：

2、文件自动截断的例子

按文件大小分：

# -*- coding=utf-8 -*-import logging
from logging import handlers# 1. 生成 logger 对象
logger = logging.getLogger('web')
# 1.1 设置日志级别 全局的优先级比handler.setlevel的优先级高
logger.setLevel(logging.DEBUG)# 2. 生成 handler对象
fh = handlers.RotatingFileHandler("web.log", maxBytes=10, backupCount=3)
# 2.1 把handler对象绑定到logger
logger.addHandler(fh)# 3. 生成formatter对象
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 3.1 把formatter对象绑定handler对象
fh.setFormatter(file_formatter)# 没设置级别 默认日志级别是warning
logger.debug("test log ")    # 被覆盖了
logger.info("test log 2")
logger.warning("test log 3")
logger.error("test log db backup 4")
logger.critical("test log 5")

代码输出如下： 

        从输出来看，"test log "是被"test log 5"覆盖了。

按时间来分：

# -*- coding=utf-8 -*-import logging
from logging import handlers# 1. 生成 logger 对象
logger = logging.getLogger('web')
# 1.1 设置日志级别 全局的优先级比handler.setlevel的优先级高
logger.setLevel(logging.DEBUG)# 2. 生成 handler对象
fh = handlers.TimedRotatingFileHandler("web.log", when='S', interval=5, backupCount=3)
# 2.1 把handler对象绑定到logger
logger.addHandler(fh)# 3. 生成formatter对象
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 3.1 把formatter对象绑定handler对象
fh.setFormatter(file_formatter)# 没设置级别 默认日志级别是warning
logger.debug("test log ")
logger.info("test log 2")
logger.warning("test log 3")
logger.error("test log db backup 4")
logger.critical("test log 5")

代码输出如下：