爬虫Scrapy框架基本流程图入门：以东莞阳光网为例

一、Scrapy简单介绍

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。

Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

二、整体架构

• 引擎(Scrapy Engine)，用来处理整个系统的数据流处理，触发事务。

• 调度器(Scheduler)，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。

• 下载器(Downloader)，用于下载网页内容，并将网页内容返回给蜘蛛。

• 蜘蛛(Spiders)，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。每个spider负责处理一个特定(或一些)网站。

• 项目管道(ItemPipeline)，负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

• 下载器中间件(DownloaderMiddlewares)，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

• 蜘蛛中间件(SpiderMiddlewares)，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。

• 调度中间件(SchedulerMiddlewares)，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

爬取流程：上图绿线是数据流向，

首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，

Spider分析出来的结果有两种：

一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回Scheduler；

另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。

另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

三、数据流

Scrapy中的数据流由执行引擎控制，其过程如下:

1.引擎打开一个网站(open adomain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

3.引擎向调度器请求下一个要爬取的URL。

4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。

5.一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。

6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。

7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

8.引擎将(Spider返回的)爬取到的Item给ItemPipeline，将(Spider返回的)Request给调度器。

9.(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

四、Scrapy项目基本流程

以东莞阳光网为例，爬取数据抓取问题反应

1、创建Scrapy项目

使用全局命令startproject创建项目，创建新文件夹并且使用命令进入文件夹，创建一个名为yangguang的Scrapy项目。

scrapy startproject yangguang

2.使用项目命令genspider创建Spider

scrapy genspider yg sun0769.com

3、定义要抓取的数据

Item 是保存爬取到的数据的容器；其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类，并且定义类型为 scrapy.Field 的类属性来定义一个Item。

import scrapyclass YangguangItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()title = scrapy.Field()num = scrapy.Field()stats = scrapy.Field()author_name = scrapy.Field()publish_time = scrapy.Field()content_text = scrapy.Field()content_img = scrapy.Field()href = scrapy.Field()

4、编写提取item数据的Spider

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提取生成 item 的方法。

为了创建一个Spider，您必须继承 scrapy.Spider 类，且定义以下三个属性:

• name: 用于区别Spider。该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。

• start_urls: 包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。

• parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

通过选择器提取数据

Selectors选择器简介：

Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。

XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

XPath表达式的例子和含义：

• /html/head/title: 选择HTML文档中<head> 标签内的 <title> 元素

• /html/head/title/text():选择上面提到的 <title> 元素的文字

• //td: 选择所有的<td> 元素

• //div[@class="mine"]:选择所有具有 class="mine" 属性的 div 元素

提取数据：

观察HTML源码并确定合适的XPath表达式。

在查看了网页的源码后，您会发现网站的信息是被包含在第二个元素中。

我们可以通过这段代码选择该页面中网站列表里所有

• 元素:response.xpath('//ul/li')

• Item 对象是自定义的python字典。您可以使用标准的字典语法来获取到其每个字段的值。

一般来说，Spider将会将爬取到的数据以 Item 对象返回。

# -*- coding: utf-8 -*-
import scrapy
from yangguang.items import YangguangItemclass YgSpider(scrapy.Spider):name = 'yg'allowed_domains = ['wz.sun0769.com']start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=0']def parse(self, response):tr_list = response.xpath("//div[@class='greyframe']/table[2]/tr/td/table/tr")for tr in tr_list:item = YangguangItem()item['num'] = tr.xpath("./td[1]/text()").extract_first()item['title']=tr.xpath("./td[2]/a[2]/@title").extract_first()item['href']=tr.xpath("./td[2]/a[2]/@href").extract_first()item['stats']=tr.xpath("./td[3]/span/text()").extract_first()item['author_name']=tr.xpath("./td[4]/text()").extract_first()yield scrapy.Request(item['href'],callback=self.parse_detail,meta={'item':item})#列表下一页请求next_url = response.xpath("//a[text()='>']/@href").extract_first()if next_url is not None:yield scrapy.Request(next_url,callback=self.parse)def parse_detail(self,response):item = response.meta['item']item["content_text"] = response.xpath("//div[@class='cl text14_2']//text()").extract()item['content_img']=response.xpath("//div[@class='c1 text14_2']//img/@src").extract()yield item

5.Pipeline管道保存数据，结果保存到文件中

spider负责爬虫的配置，item负责声明结构化数据，而对于数据的处理，在scrapy中使用管道的方式进行处理，

只要注册过的管道都可以处理item数据（处理，过滤，保存）

import json
class YangguangPipeline(object):def process_item(self, item, spider):item['content_text']=[i.replace("\xa0","").replace("\t","") for i in item['content_text']]item['content_text']=[i for i in item['content_text'] if len(i)>0]print(item)with open('yangguang.txt','a',encoding='utf-8') as f:f.write(json.dumps(dict(item),ensure_ascii=False))

6.配置settings设置

ROBOTSTXT_OBEY = True 改为False

#下面的注释掉的打开

ITEM_PIPELINES = {
'yangguang.pipelines.YangguangPipeline': 300,
}

7.进行爬取：执行项目命令crawl，启动Spider：

scrapy crawl yg

总结：在这个过程中：

Scrapy为Spider的 start_urls 属性中的每个URL创建了scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。Request对象经过调度，执行生成scrapy.http.Response 对象并送回给spider parse() 方法。