scrapy 工作流程

 

Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：

1. 引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。
2. 引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。
3. 引擎从调度那获取接下来进行爬取的页面。
4. 调度将下一个爬取的URL返回给引擎，引擎将他们通过下载中间件发送到下载器。
5. 当网页被下载器下载完成以后，响应内容通过下载中间件被发送到引擎。
6. 引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。
7. 蜘蛛处理响应并返回爬取到的项目，然后给引擎发送新的请求。
8. 引擎将抓取到的项目项目管道，并向调度发送请求。
9. 系统重复第二部后面的操作，直到调度中没有请求，然后断开引擎与域之间的联系。