源码分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2
在构建高效的Python爬虫时，使用日志系统是不可避免的。我们已经讨论了Logger和Handler，现在我们来关注日志系统的另一个重要组件：Filters（过滤器）。Filters允许你更细粒度地控制日志的输出行为，确保只有符合特定条件的日志消息才会被处理。本篇博客将详细介绍如何在Python爬虫中配置和使用Filters，并提供代码实例来帮助你更好地理解其用法。
Filters组件概述
在Python的logging模块中，Filters可以被附加到Loggers或Handlers上，用于执行日志消息的更复杂的过滤逻辑。Filter基于日志记录属性（例如消息级别、日志记录器名称或消息内容）决定是否允许特定的日志记录通过。
Filters配置
创建一个简单的Filter
下面的例子展示了一个基础的Filter，它只允许错误级别（ERROR）以上的日志通过。
import loggingclass ErrorFilter(logging.Filter):def filter(self, record):return record.levelno >= logging.ERROR# 创建Logger和Handler
logger = logging.getLogger('spider')
handler = logging.StreamHandler()
handler.setLevel(logging.DEBUG)# 实例化并添加Filter
error_filter = ErrorFilter()
handler.addFilter(error_filter)# 设置日志格式并添加Handler
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)# 日志消息
logger.debug('这是一条debug信息，不会被显示。')
logger.info('这是一条info信息，不会被显示。')
logger.error('这是一条error信息，会被显示。')使用Lambda作为Filter
Python还允许你使用lambda函数快速定义简单的过滤逻辑。
# 创建一个只允许警告级别的Filter
warning_filter = logging.Filter()
warning_filter.filter = lambda record: record.levelno == logging.WARNINGhandler.addFilter(warning_filter)基于消息内容的Filter
有时候你可能想基于日志消息的内容来过滤日志。如下所示：
class MessageFilter(logging.Filter):def __init__(self, message):super().__init__()self.message = messagedef filter(self, record):return self.message in record.getMessage()# 实例化并添加内容过滤器
message_filter = MessageFilter('敏感')
handler.addFilter(message_filter)# 日志消息
logger.info('这里包含了一个敏感词汇，会被显示。')
logger.info('这条信息看起来很普通。')爬虫中的Filters应用
在爬虫中，你可以使用Filters来记录特定事件或排除一些不必要的日志信息。例如，你可能只关心那些包含“错误”或“失败”的日志条目，或者你可能想忽略掉一些频繁出现的、不影响爬虫运行的信息。
class Spider:def __init__(self):self.logger = logging.getLogger('spider')self.logger.setLevel(logging.INFO)handler = logging.StreamHandler()handler.setFormatter(formatter)self.logger.addHandler(handler)message_filter = MessageFilter('错误')self.logger.addFilter(message_filter)def crawl(self, url):# 模拟一个爬虫请求self.logger.info(f'正在爬取 {url}')# 假设请求失败了self.logger.error(f'爬取 {url} 时发生错误！')# 使用爬虫
my_spider = Spider()
my_spider.crawl('http://example.com')结语
Filters在Python日志模块中是一个强有力的组件，它可以大幅提升日志系统的灵活性和有效性。通过精确控制哪些日志消息被记录，你可以确保只关注对你真正重要的信息，这在调试复杂的爬虫系统或者分析大量爬取数据时尤其有价值。现在你已经理解了如何在Python爬虫中配置和使用Filters，希望你能够将这些知识应用到你的项目中，构建出更加可靠和高效的爬虫系统。记得，过滤器可以和Handler一起使用，为你的日志系统带来更大的灵活性和控制力。
)
