爬虫工作量由小到大的思维转变---＜第七十五章＞ Scrapy爬虫回调函数在请求重试中的应用研究

前言：

在Scrapy框架中，利用回调函数进行请求重试的实践方法与其优劣势，与传统的中间件重试机制进行对比。通过深入分析回调函数的工作原理及其在网络爬虫项目中的应用，旨在提高网络爬虫的效率和稳健性。同时，本文将探讨回调函数在Scrapy中的其他功能以及提供一个实际案例，以展示其在解决复杂网络数据采集问题上的实用性。

之前有对follow和callback进行过讲解，但是我感觉那篇文章没有讲透：
CSDN

正文：

1. 回调函数与中间件的作用

在Scrapy这个强大的网络爬虫框架中，回调函数和中间件扮演着两个特别重要但又很不一样的角色。

咱们先来聊聊回调函数。在Scrapy里，回调函数像是个勤劳的指挥官，它告诉Scrapy：“嘿，当你从这个网页上拿到数据后，别忘了把数据拿给我，我来决定下一步干啥。”简单点说，就是你每做一个请求，Scrapy得到响应后，会把这个响应的处理任务交给回调函数。回调函数基于这个响应可能会做很多事情，比如解析数据，继续发起新的请求，或者就是我们今天要重点谈的，做一些错误处理比如请求重试。

再看看中间件，这货的作用则宽泛而强大。中间件更像是一个全能的助手，它在Scrapy的请求和响应流程中起着桥梁和调节器的作用。无论是处理请求还是响应，中间件都能在其中做一些手脚，比如设置代理、过滤掉一些无用请求、甚至在请求失败时自动重试。所以，它是一个影响全局行为的配置项。

2. 通过回调函数进行请求重试

2.1 回调函数重试的工作原理

回调函数进行重试的原理其实挺直观的。就像你玩游戏卡关了，决定重来一次，直到过关为止。在Scrapy中，假设发起了一个请求，但这个请求没成功或者成功了但内容不是你想要的。此时，回调函数能够决定“咱们再来一次”，然后重新发起请求，直至满足某条件，比如获取到正确的数据或达到最大重试次数。

2.2 实现回调函数重试的方法

实现这个机制，主要是依靠Scrapy的Request对象和回调函数。你在回调函数中收到一个响应后，判断它是否满足你的需要，如果不满足，就在那个回调函数里面再次生成一个Request对象，把它yield回给Scrapy，让Scrapy再去调度这个新的请求。重点在于，你可以在这个新的Request中，通过meta参数传递一些信息，比如当前的重试次数，这样就可以控制重试的行为了。

2.3 回调函数重试的优势

使用回调函数进行请求重试的一大优势在于它的灵活性。你可以根据每个请求的特性和每次响应的具体内容来决定是否需要重试，以及如何重试。这意味着，即使面对一些特殊情况，比如某个页面偶尔会出现莫名的错误，或者是需要检查内容是否包含某些特定的信息，回调函数都能提供个性化的解决方案。

2.4 回调函数重试的劣势

然而，这种方法并不是完美的，首先，它会让你的Spider代码变得比较复杂，尤其是当你有很多请求需要在失败时重试，而每个请求的重试逻辑又不太一样时。每个回调函数都要包含判断逻辑，检查是否需要重试，这会让代码变得难以维护。再者，重试机制本身就会让爬虫的运行效率降低，因为你需要花额外的时间去重新发起请求和处理。而且，如果没有正确设置停止条件，比如最大重试次数，那么就可能陷入无限重试的循环中，这显然是我们不希望看到的。

3. 与中间件重试机制的对比分析

3.1 中间件重试机制概述

在Scrapy框架中，中间件重试机制是指系统自带的一个功能，它能在请求因为某些原因失败时自动进行重试。比如说，如果因为网络问题或者服务器暂时不可用导致请求失败，Scrapy会根据设定的重试次数和重试间隔自动重新发起请求。使用这个机制，你只需要在项目的设置里做些简单的配置，比如设置最大重试次数RETRY_TIMES，而无需在代码中明确编写重试逻辑。

3.2 回调函数重试与中间件重试的差异

两者的主要区别在于控制层面和灵活性上。

控制层面：中间件重试是全局的，适用于所有请求；而回调函数重试则可以精确控制到每个请求，根据不同请求的需要定制不同的重试策略。
灵活性：回调函数重试在逻辑上更灵活，你可以根据响应的具体情况决定是否需要重试；中间件重试则主要基于HTTP状态码或网络错误等比较固定的情况进行重试，无法做出更细致的判断。

3.3 应用场景分析

中间件重试非常适合那些因网络问题或服务器错误而需要重试的通用情况。比如，你的爬虫任务主要面向一些相对稳定的网站，且遇到的错误主要是临时的连接问题或者服务器5XX错误。
回调函数重试则更适用于需要根据响应内容或特定业务逻辑来判断是否重试的情况。例如，某些网页可能返回一个空白页或包含特定错误信息，需要根据这些内容来决定是否重新请求。

4. 回调函数的其他功能

回调函数在Scrapy中不仅能用于请求重试，它还有很多其他强大的功能。

4.1 数据解析与处理

通常，回调函数用于解析响应并提取数据。

import scrapyclass MySpider(scrapy.Spider):name = 'example_spider'def start_requests(self):url = 'http://example.com'yield scrapy.Request(url, callback=self.parse)def parse(self, response):item = {}item['title'] = response.css('h1::text').get()# 其他数据提取逻辑...return item

4.2 动态请求调度

回调函数可以用来动态地发起新的请求。

def parse(self, response):next_page = response.css('a.next::attr(href)').get()if next_page:yield response.follow(next_page, self.parse)

4.3 错误处理与日志记录

你可以在回调函数中捕获异常，进行错误处理或记录。

def parse(self, response):try:# 解析逻辑except Exception as e:self.logger.error(f"解析时发生错误：{e}")

4.4 功能扩展示例

假设网站的内容是基于JavaScript动态加载的，你可以使用回调函数结合Scrapy-Splash或Scrapy-Selenium中间件进行处理。

def parse(self, response):script = """function main(splash)splash:go(splash.args.url)splash:wait(0.5)return splash:html()end""" yield scrapy_splash.SplashRequest(url, self.parse_result, endpoint='execute', args={'lua_source': script})def parse_result(self, response):# 解析从Splash处理后的动态内容

通过使用不同的回调函数和Scrapy框架提供的其他组件，你可以为爬取任务增加各种复杂的功能，让爬虫变得更加智能和高效。记住，理论固然重要，但实践才能让知识发挥真正的价值。这里给出的代码和概念只是一个起点，希望能激发你去尝试更多可能性。

补：不论是通过回调函数进行的重试请求，还是通过中间件进行的重试请求，他们都会被放到请求队列里进行重新排列；而执行顺序，也是跟自己设置的队列请求规则有关！当然，可以改造的地方，可以在回调函数的时候，给它设置优先级--->这样更加自定义一些！

5. 真实案例研究

5.1 案例背景介绍

想象我们现在面对的是一个在线图书商城，该商城的书评信息是通过动态加载的方式展现的，而且每次只能通过修改POST请求的参数来获取不同页码的书评数据。为了有效收集这些分散在不同页码的书评，我们计划使用Scrapy框架，通过在回调函数中不断修改请求参数，从而实现对多个页面的书评数据进行爬取。

5.2 采用回调函数处理复杂数据采集的策略

策略主要涉及两个核心思路：

动态修改POST请求参数：根据当前爬取到的页面信息，修改下一次请求所需要的POST参数（比如页码）。
重复回调自身：利用回调函数的方式，不断地向服务器发送新的请求，并在回调函数中处理返回的数据，实现对数据的连续爬取。

5.3 代码实现与效果评估

首先定义我们的Spider代码框架：

import scrapyclass BookReviewSpider(scrapy.Spider):name = 'book_review'allowed_domains = ['example.com/bookreviews']start_urls = ['http://example.com/bookreviews']def start_requests(self):for url in self.start_urls:# 假设初次请求页码为1formdata = {'page': '1'}# 初始请求使用POST方法，第一次请求回调函数为 parse_pageyield scrapy.FormRequest(url, formdata=formdata, callback=self.parse_page)def parse_page(self, response):# 处理响应，提取数据...# 假设我们在响应中提取了需要的书评数据# 确定是否还有更多页，如果有则构造新的请求current_page = response.meta.get('page', 1)next_page = current_page + 1if self.has_more_page(response):  # 假设这是我们的逻辑判断是否还有更多页的方法formdata = {'page': str(next_page)}yield scrapy.FormRequest(response.url, formdata=formdata, callback=self.parse_page, meta={'page': next_page})def has_more_page(self, response):# 这里是判断是否有更多页的逻辑，返回True或Falsepass

评估效果主要基于以下几个方面：