From：https://blog.csdn.net/weixin_37947156/article/details/74435304
Scrapy github 下载地址：https://github.com/scrapy/scrapy
介绍
Scrapy是一个基于Python编写的一个开源爬虫框架，它可以帮你快速、简单的方式构建爬虫，并从网站上提取你所需要的数据。
这里不再介绍Scrapy的安装和使用，本系列主要通过阅读源码讲解Scrapy实现思路为主。
如果有不懂如何使用的同学，请参考官方网站或官方文档学习。
------------------------------------------------------------------------------------------
scrapy 中文文档 和 scrapy 英文文档参照看。因为中文文档比较老，英文文档是最新的。
scrapy 英文文档：https://doc.scrapy.org/en/latest
scrapy 中文文档：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
高性能爬虫 Scrapy 框架：https://www.cnblogs.com/wwg945/articles/9021888.html
------------------------------------------------------------------------------------------
简单来说构建和运行一个爬虫只需完成以下几步：
- 使用 scrapy startproject spider_project 创建爬虫模板或自己编写爬虫脚本
- 爬虫类 继承 scrapy.Spider，重写 parse 方法
- parse 方法中 yield 或 return 字典、Request、Item
- 使用 scrapy crawl <spider_name> 或 scrapy runspider <spider_file.py>运行
经过简单的几行代码，就能采集到某个网站下一些页面的数据，非常方便。
但是在这背后到底发生了什么？Scrapy到底是如何帮助我们工作的呢？
架构
来看一看 Scrapy 的架构图：
核心组件
Scrapy有以下几大组件：
- Scrapy Engine：核心引擎，负责控制和调度各个组件，保证数据流转；
- Scheduler：负责管理任务、过滤任务、输出任务的调度器，存储、去重任务都在此控制；
- Downloader：下载器，负责在网络上下载网页数据，输入待下载URL，输出下载结果；
- Spiders：用户自己编写的爬虫脚本，可自定义抓取意图；
- Item Pipeline：负责输出结构化数据，可自定义输出位置；
除此之外，还有两大中间件组件：
- Downloader middlewares：介于引擎和下载器之间，可以在网页在下载前、后进行逻辑处理；
- Spider middlewares：介于引擎和爬虫之间，可以在调用爬虫输入下载结果和输出请求/数据时进行逻辑处理；
数据流转
按照架构图的序号，数据流转大概是这样的：
- 引擎从自定义爬虫中获取初始化请求（也叫种子URL）；
- 引擎把该请求放入调度器中，同时引擎向调度器获取一个待下载的请求（这两部是异步执行的）；
- 调度器返回给引擎一个待下载的请求；
- 引擎发送请求给下载器，中间会经过一系列下载器中间件；
- 这个请求通过下载器下载完成后，生成一个响应对象，返回给引擎，这中间会再次经过一系列下载器中间件；
- 引擎接收到下载返回的响应对象后，然后发送给爬虫，执行自定义爬虫逻辑，中间会经过一系列爬虫中间件；
- 爬虫执行对应的回调方法，处理这个响应，完成用户逻辑后，会生成结果对象或新的请求对象给引擎，再次经过一系列爬虫中间件；
- 引擎把爬虫返回的结果对象交由结果处理器处理，把新的请求对象通过引擎再交给调度器；
- 从1开始重复执行，直到调度器中没有新的请求处理；
核心组件交互图
我在读完源码后，整理出一个更详细的架构图，其中展示了更多相关组件的细节：
这里需要说明一下图中的Scrapyer，其实这也是在源码的一个核心类，但官方架构图中没有展示出来，这个类其实是处于Engine、Spiders、Pipeline之间，是连通这3个组件的桥梁，后面在文章中会具体讲解。
核心类图
涉及到的一些核心类如下：
其中标没有样式的黑色文字是类的核心属性，黄色样式的文字都是核心方法。
可以看到，Scrapy的核心类，其实主要包含5大组件、4大中间件管理器、爬虫类和爬虫管理器、请求、响应对象和数据解析类这几大块。
