超详细的Scrapy框架的基本使用教程

Scrapy的介绍

scrapy的工作流程(重点!!!)

如下图所示:

爬虫

  1. 负责向引擎提供要爬取网页的URL,引擎会把这个URL封装成request对象并传递给调度器,
  2. 把引擎传递过来的response对象进行数据解析。数据解析有两种结果:
    1. 解析出具体的数据,那么通过引擎把这个具体的数据传递给管道,然后存入文件、数据库等
    2. 解析出一个新的URL,那么过程同作用1

管道:负责把引擎传递过来的数据进行存储,存入文件、数据库等。管道可以有多个,比如MySQL的管道,某个文件的管道,mango的管道等。

调度器:可以把调度器的存储结构看成一个优先队列,不同的request对象可能优先级不一样,按优先级的高低进行调度

  1. 把引擎传递过来的request对象放入队列进行排队,调度器可以实现去重的效果,即对两个相同的URL,只存储一个
  2. 向引擎提供队头的request对象(即优先级高的request对象),引擎把这个request对象传递给下载器进行请求

下载器:把引擎传递过来的request对象发送给服务器请求数据,并把服务器返回的内容封装成response对象, 然后把这个response对象传递给引擎,引擎再把这个response对象传递给爬虫进行数据解析

引擎:从上面的流程中可以看到,引擎负责控制数据流在所有组件流动,并在相应动作时触发事件,相当于爬虫的大脑

注意,在实际的代码编写过程中,我们只需要关注爬虫和管道部分的代码编写,而引擎、调度器、下载器都不需要我们实现   

scrapy的安装

在终端输入以下命令(包有点大,建议切换成国内的镜像源,如清华源等,据说安装可能会有很多问题,但是可能我人品比较好,没遇到,嘿嘿。如果有问题的百度一下吧)

pip install scrapy 

scrapy的基本使用

以爬取4399游戏网站的游戏名称为例,scrapy有以下几个步骤:

1、创建scrapy项目

首先在某个文件夹下打开终端,输入以下命令创建scrapy项目

scrapy startproject 项目名称

2、创建一个爬虫程序 

首先进入项目文件夹下,然后输入命令: 

scrapy genspider 爬虫程序的名称  要爬取网站的域名

3、编写爬虫程序

在game_4399.py文件中编写爬虫代码,代码如下

import scrapyclass Game4399Spider(scrapy.Spider):name = "game_4399"  # 爬虫程序的名称allowed_domains = ["4399.com"]  # 允许爬取的域名# 默认情况下是:https://4399.com# 但是我们不从首页开始爬取,所以改一下URLstart_urls = ["https://4399.com/flash/"]  # 一开始爬取的URLdef parse(self, response):  # 该方法用于对response对象进行数据解析# print(response)  # <200 http://www.4399.com/flash/># print(response.text)  # 打印页面源代码# response.xpath()  # 通过xpath解析数据# response.css()  # 通过css解析数据# 获取4399小游戏的游戏名称# txt = response.xpath('//ul[@class="n-game cf"]/li/a/b/text()')# txt 列表中的每一项是一个Selector:# <Selector query='//ul[@class="n-game cf"]/li/a/b/text()' data='逃离克莱蒙特城堡'>]# 要通过extract()方法拿到data中的内容# print(txt)# txt = response.xpath('//ul[@class="n-game cf"]/li/a/b/text()').extract()# print(txt)  # 此时列表中的元素才是游戏的名字# 也可以先拿到每个li,然后再提取名字lis = response.xpath('//ul[@class="n-game cf"]/li')for li in lis:# name = li.xpath('./a/b/text()').extract()# # name 是一个列表# print(name)  # ['王城霸业']# 一般我们都会这么写:li.xpath('./a/b/text()').extract()[0]# 但是这样如果列表为空就会报错,所以换另一种写法# extract_first方法取列表中的第一个,如果列表为空,返回Nonename = li.xpath('./a/b/text()').extract_first()print(name)  # 王城霸业category = li.xpath('./em/a/text()').extract_first()  # 游戏类别date = li.xpath('./em/text()').extract_first()  # 日期print(category, date)# 通过yield向管道传输数据dic = {'name': name,'category': category,'date': date}# 可以认为这里是把数据返回给了管道pipeline,# 但是实际上是先给引擎,然后引擎再给管道,只是这个过程不用我们关心,scrapy会自动完成# 这里的数据会在管道程序中接收到yield dic

4、运行scrapy爬虫程序

在终端输入命令,就可以看到爬虫程序运行结果。

scrapy crawl 爬虫程序名称

5、总结scrapy的基本使用

关于第6、7步,在下面的scrapy管道中会说到。

Scrapy中的管道

基本介绍

我们接着看上述4399中创建的scrapy项目,管道的默认情况如下:

管道程序默认是不生效的,需要在settings文件进行配置,如下:

pipelines.py文件中的代码

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapter# 默认情况下管道是不开启的,需要在settings文件中进行设置
class GamePipeline:def process_item(self, item, spider):"""接收爬虫通过引擎传递过来的数据:param item: 具体的数据内容:param spider: 对应传递数据的爬虫程序:return:"""print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>return item  # 把数据传递给下一个管道

 settings文件中关于管道的代码

ITEM_PIPELINES = {# 管道程序的所在路径:优先级# 300 表示管道的优先级,数字越小优先级越高# 优先级高的管道会比优先级低的管道先拿到数据"game.pipelines.GamePipeline": 300,
}

运行命令:scrapy crawl game_4399,运行结果如下(只截取了一部分):

上述只有一个管道,如果有多个管道,比如我们自定义一个管道,代码如下:

from itemadapter import ItemAdapter# 默认情况下管道是不开启的,需要在settings文件中进行设置
class GamePipeline:def process_item(self, item, spider):"""接收爬虫通过引擎传递过来的数据:param item: 具体的数据内容:param spider: 对应传递数据的爬虫程序:return:"""print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>return item  # 把数据传递给下一个管道# 自定义一个管道程序
# 记得在settings文件中配置,否则不生效
class OtherPipeline:def process_item(self, item, spider):# 比如这里给传递过来的数据添加一个新的字段item['new_field'] = 'hello'return item

settings文件关于管道的代码

ITEM_PIPELINES = {# 管道程序的所在路径:优先级# 300 表示管道的优先级,数字越小优先级越高# 优先级高的管道会比优先级低的管道先拿到数据"game.pipelines.GamePipeline": 300,# 优先级比GamePipeline高,可以通过运行结果看出"game.pipelines.OtherPipeline": 299
}

 运行结果如下,可见多了一个字段

 scrapy中的数据格式item

在上述的项目中,我们在爬虫程序里解析出来的数据组装成了字典然后使用yield传递给了管道,但是这实际上是不符合scrapy的规范的。在scrapy中,数据用item表示。

还是以上面的4399为例。game_4399.py中的代码如下:

import scrapyfrom game.items import GameItemclass Game4399Spider(scrapy.Spider):name = "game_4399"  # 爬虫程序的名称allowed_domains = ["4399.com"]  # 允许爬取的域名# 默认情况下是:https://4399.com# 但是我们不从首页开始爬取,所以改一下URLstart_urls = ["https://4399.com/flash/"]  # 一开始爬取的URLdef parse(self, response):  # 该方法用于对response对象进行数据解析# 也可以先拿到每个li,然后再提取名字lis = response.xpath('//ul[@class="n-game cf"]/li')for li in lis:name = li.xpath('./a/b/text()').extract_first()category = li.xpath('./em/a/text()').extract_first()  # 游戏类别date = li.xpath('./em/text()').extract_first()  # 日期# 通过yield向管道传输数据# dic = {#     'name': name,#     'category': category,#     'date': date# }# 可以认为这里是把数据返回给了管道pipeline,# 但是实际上是先给引擎,然后引擎再给管道,只是这个过程不用我们关心,scrapy会自动完成# 如果只有一个数据,可以通过return返回,但是在scrapy中没人使用return,都是用yield的# 另外,在scrapy中,只希望yield返回三个类型之一的数据:item、request、None# 这里可以yield dic 返回字典,但是实际上并不希望这么干# 而且如果换成了 yield [] 返回雷暴,就会报错:# ERROR: Spider must return request, item, or None, got 'list'# yield dic# 我们现在不返回字典,而是返回真正推荐我们返回的格式之一:item# 先导入GameItem类:from game.items import GameItem# 然后创建它的实例,使用起来和字典类似# 区别就是GameItem类里没有定义的字段,就不能使用,比如不能item['某个没有定义的字段']item = GameItem()# item['xxx'] 里的xxx要在类GameItem里定义有,否则就会报错item['name'] = nameitem['category'] = categoryitem['date'] = dateyield item

 items.py中的代码

import scrapyclass GameItem(scrapy.Item):# 这里定义了三个字段,分别表示游戏的名称、类别和日期name = scrapy.Field()category = scrapy.Field()date = scrapy.Field()# 可以定义其他字段来表示不同的信息
class OtherItem(scrapy.Item):pass

管道程序pipelines.py中的代码

from itemadapter import ItemAdapter# 默认情况下管道是不开启的,需要在settings文件中进行设置
class GamePipeline:def process_item(self, item, spider):"""接收爬虫通过引擎传递过来的数据:param item: 具体的数据内容:param spider: 对应传递数据的爬虫程序:return:"""print(item)  # {'name': '武器升级', 'category': '休闲类', 'date': '2024-01-06'}print(spider)  # <Game4399Spider 'game_4399' at 0x22867dafc70>return item  # 把数据传递给下一个管道# 自定义一个管道程序
# 记得在settings文件中配置,否则不生效
class OtherPipeline:def process_item(self, item, spider):# 比如这里给传递过来的数据添加一个新的字段# 此时传递过来的item不再是字典,而是GameItem类对象# 由于GameItem类里没有定义字段new_field,所以不能使用,否则报错# item['new_field'] = 'hello'return item

数据存储

我们一直说通过管道存储数据,但是上面的例子一直未涉及,现在来讲解怎么把数据进行持久化存储。在上面的例子中,我们已经在管道程序里拿到了引擎传递过来的数据,现在就可以把这些数据存储起来。

首先,先来说一说数据存储的几种方案:

  • 存入.csv文件,这类数据一般用于数据分析
  • 存入MySQL数据库
  • 存入mangodb数据库
  • 写入文件,如图片、视频、文字等数据

下面以存入csv文件为例(存入MySQL的也列举了一个模板,mango数据库的操作和MySQL基本一致,但是由于我对mango不熟悉,所以不写了,需要的可以百度一下)

settings文件中的代码

ITEM_PIPELINES = {# 管道程序的所在路径:优先级# 300 表示管道的优先级,数字越小优先级越高# 优先级高的管道会比优先级低的管道先拿到数据"game.pipelines.GamePipeline": 300,"game.pipelines.GameMySqlPipeline": 300,# 优先级比GamePipeline高,可以通过运行结果看出"game.pipelines.OtherPipeline": 299
}
# 配置MySQL
MYSQL = {"host": "localhost",  # 主机"port": 3306,  # 端口"user": "xxx",  # 用户名"password": "xxx",  # 密码"database": "xxx"  # 数据库名称
}

pipelines.py的代码:

import pymysql
# 导入MySQL配置
from game.settings import MYSQL# 默认情况下管道是不开启的,需要在settings文件中进行设置
class GamePipeline:def __init__(self):self.f = Nonedef open_spider(self, spider):""""""print('爬虫开始了...')self.f = open('./game_data.csv', mode='a', encoding='utf-8')def process_item(self, item, spider):"""接收爬虫通过引擎传递过来的数据:param item: 具体的数据内容:param spider: 对应传递数据的爬虫程序:return:"""print('爬虫进行中...')# 把数据写入文件# 写入模式是mode='a',表示在文件里追加,不能是w,否则文件原本的内容会被覆盖# 以下的这种方式效率不高,因为每传递一次数据,就要进行一次文件的打开的关闭操作# with open('./game_data.csv', mode='a', encoding='utf-8') as f:#     f.write(f'{item["category"]}, {item["name"]}, {item["date"]}\n')# 采取另一种方式# scrapy 提供了两个方法open_spider()、close_spider(),分别会在爬虫开始时和爬虫结束后调用self.f.write(f'{item["category"]}, {item["name"]}, {item["date"]}\n')return item  # 把数据传递给下一个管道def close_spider(self, spider):print('爬虫结束了...')if self.f:self.f.close()# 默认情况下管道是不开启的,需要在settings文件中进行设置
class GameMySqlPipeline:def __init__(self):self.conn = Nonedef open_spider(self, spider):print('爬虫开始了...')# self.conn = pymysql.connect(  # 创建数据库连接#     host='localhost',  # 主机#     port=3306,  # 端口#     user='xxx',  # 用户名#     password='xxx',  # 密码#     database='xxx'  # 数据库名称# )# 可以向上面那样写,但是更好的办法是写在settings文件中# 然后从settings文件中导入:from game.settings import MYSQLself.conn = pymysql.connect(  # 创建数据库连接host=MYSQL['host'],  # 主机port=MYSQL['port'],  # 端口user=MYSQL['user'],  # 用户名password=MYSQL['password'],  # 密码database=MYSQL['database']  # 数据库名称)def process_item(self, item, spider):"""接收爬虫通过引擎传递过来的数据:param item: 具体的数据内容:param spider: 对应传递数据的爬虫程序:return:"""print('爬虫进行中...')# 把数据写入mysql数据库# 下载数据库包并导入:pip install pymysql# 确定自己的数据库中准备好了相应的数据表try:cursor = self.conn.cursor()# 插入的sql语句# (%s, %s, %s) 对应相应的字段类型,%s表示字符串类型insert_sql = 'insert into 数据库表名 (字段1, 字段2, 字段3, ...) values (%s, %s, %s)'# execute()的第二个参数是一个元祖,里面的每一个元素对应sql语句中的字段值cursor.execute(insert_sql, (item['category'], item['name'], item['date']))self.conn.commit()  # 提交事务except:self.conn.rollback()  # 出现异常,执行回滚操作finally:if cursor:cursor.close()return item  # 把数据传递给下一个管道def close_spider(self, spider):print('爬虫结束了...')if self.conn:self.conn.close()# 自定义一个管道程序
# 记得在settings文件中配置,否则不生效
class OtherPipeline:def process_item(self, item, spider):# 比如这里给传递过来的数据添加一个新的字段# 此时传递过来的item不再是字典,而是GameItem类对象# 由于GameItem类里没有定义字段new_field,所以不能使用,否则报错# item['new_field'] = 'hello'return item

结尾

关于scrapy的基本使用,好像还有中间件这个内容,但是我看的那个视频教程这个部分好像漏掉了,反正就是没有笔记,需要了解的自行百度一下吧,或者看官方文档也行。

本人也是初学者,所以文章中有什么错误的地方,欢迎指正。

有一个对应的综合练习:scrapy框架爬取图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/722026.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

常用区块链安全关键名词和攻击方法解释

文章目录 一、重点名词解释1.1 钱包&#xff08;Wallet&#xff09;1.2 冷钱包(Cold Wallet)1.3 热钱包 &#xff08;Hot Wallet&#xff09;1.4 公钥(Public Key)1.5 私钥(Private Key)1.6 助记词(Mnemonic)1.7 Keystore1.8 公链(Public Blockchain)1.9 交易所 Exchange1.10 节…

API 常用的序列化协议详解

目录 JSON (JavaScript Object Notation) XML (Extensible Markup Language) Protocol Buffers (Protobuf) MessagePack Thrift Avro 小结 API&#xff08;Application Programming Interface&#xff0c;应用程序编程接口&#xff09;在软件开发中扮演着至关重要的角色…

leetcode 673.最长递增子序列的个数

上一题只需要知道最长递增子序列的长度就行了&#xff0c;那样的话直接一个dp就完事了&#xff0c;但是呢&#xff0c;这里说了需要记录这个最长长度递增子序列的个数&#xff0c;这下的话&#xff0c;如果你想用原先的思路&#xff0c;其实可以&#xff0c;但是要能做到计数的…

vue3 (六)自定义指令

1.定义自定义指令&#xff1a; app.directive(pos,{mounted(el,bunding){el.style[bunding.arg] bunding.value px;}, updated(el,bunding){el.style[bunding.arg] bunding.value px;} }) app.directive(指令名,{ mounted(el,bunding){}, updated(el,bunding){} }) 如果只…

安卓app软件开发的费用

我们公司总结的开发价格根据安卓APP&#xff0c;苹果APP行业的报价&#xff0c;开发的APP软件费用主要受到两个方面的影响。安卓和苹果APP软件应用的复杂性&#xff0c;第二个是定制开发的APP软件&#xff0c;开发成本和人员的投入成本&#xff0c;以下就是不同的报价费用是怎么…

面试经典150题【51-60】

文章目录 面试经典150题【51-60】71.简化路径155.最小栈150.逆波兰表达式求值224.基本计算器141.环形链表2.两数相加21.合并两个有序链表138.随机链表的复制19.删除链表的倒数第N个节点82.删除链表中的重复元素II 面试经典150题【51-60】 71.简化路径 先用split(“/”)分开。然…

10. Nginx进阶-Return

简介 什么是Return&#xff1f; nginx的return指令是用于在nginx配置文件中进行重定向或返回特定的HTTP响应码的指令。 它可以根据不同的条件来执行不同的操作&#xff0c;如重定向到其他URL、返回指定的HTTP响应码或自定义响应内容等。 Return适用范围 return指令只能在se…

四平方和 刷题笔记

/* 四平方和 直接暴力搜索 可能会超时 使用二分辅助搜索 先枚举出 c*cd*d并存入数组 用式子算出 a*ab*b还剩下多少查找sum数组里面是否存在符合条件的数 查找方式使用二分搜索 当逼近答案后 检查一下是否为所需的数 如果是 直接输出 */ #include <cstring> #includ…

rabbitmq基础(1)

1、背景 能实现消息队列的框架软件有很多&#xff0c;kafka、rabbitmq、RocketMq、activeMq、Redis&#xff08;非专业&#xff09;&#xff0c;各有各的特点和优缺点。但是之前的公司数据需求规模并非很大&#xff0c;所以采用rabbitmq作为消息队列。 2、rabbitMq的基础架构…

大批量接口请求的前端优化

接到一个需求&#xff0c;需要做一个运维的功能&#xff0c;对公司下平台子系统做一个开关界面&#xff0c;要求可以大批量对系统进行修改。这样大批量的修改&#xff0c;如果有个老哥手一抖点了全选&#xff0c;那可能同时会发送几十上百个接口&#xff0c;对浏览器和服务器都…

C++面试宝典【配文档,全方面学习】

原word文档[链接: https://pan.baidu.com/s/1CKnm7vHDmHSDskAgxgZgKA?pwdr4wv 提取码: r4wv 复制这段内容后打开百度网盘手机App&#xff0c;操作更方便哦 --来自百度网盘超级会员v5的分享] 一、C / C基础 1、简述C的内存分区&#xff1f; 一个C、C程序的内存分区主要有5个…

使用html网页播放多个视频的几种方法

前言 因为项目测试需要&#xff0c;我需要可以快速知道自己推流的多路视频流质量&#xff0c;于是我想到可以使用html网页来播放视频&#xff0c;实现效果极其简单&#xff0c;方法有好几种&#xff0c;以下是几种记录&#xff1a; 注意&#xff1a;测试过&#xff0c;VLC需要使…

Java:类加载器

参考 JavaGuide 简介 类加载器的主要作用是加载Java类的字节码即.class文件到JVM中。每个Java类都有一个引用指向加载它的类加载器。数组类是JVM直接生成而非加载的。根据需要动态加载&#xff0c;已加载的类放到ClassLoader中&#xff0c;相同二进制名称的类只会被加载一次…

C++从零开始的打怪升级之路(day43)

这是关于一个普通双非本科大一学生的C的学习记录贴 在此前&#xff0c;我学了一点点C语言还有简单的数据结构&#xff0c;如果有小伙伴想和我一起学习的&#xff0c;可以私信我交流分享学习资料 那么开启正题 今天分享的是关于多态的知识点 1.多态的概念及定义&#xff0c;…

[Python] 添加重试机制来处理某些可能出现异常的函数

在 Python 中&#xff0c;如果你想要添加重试机制来处理某些可能出现异常的函数&#xff0c;可以使用 retry 装饰器。虽然 Python 标准库中没有提供内置的 retry 装饰器&#xff0c;但你可以使用第三方库 tenacity 来实现这个功能。 tenacity 是一个流行的 Python 库&#xff…

Ubuntu18.04运行ORB-SLAM3

ORB-SLAM3复现(ubuntu18) 文章目录 ORB-SLAM3复现(ubuntu18)1 坐标系与外参Intrinsic parameters2 内参Intrinsic parameters2.1 相机内参① 针孔模型Pinhole② KannalaBrandt8模型③ Rectified相机 2.2 IMU内参 3 VI标定—外参3.1 Visual calibration3.2 Inertial calibration…

STM32类别概述、下载程序及启动过程分析

STM32类别概述、下载程序及启动过程分析 STM32类别STM32下载程序STM32启动过程分析 STM32类别 STM32 目前总共有 5 大类&#xff0c;18 个系列 结合 STM32F1 的芯片来说&#xff0c;其 CMSIS 应用程序的简单结构框图&#xff0c;不包括实时操作系统和 中间设备等组件&#xf…

find函数-秒了道题

秒了 笑死 还是规规矩矩做吧 string类的find()函数用于在字符串中查找字符或子串&#xff0c;返回第一个匹配的位置。 class Solution { public:int strStr(string haystack, string needle) {return haystack.find(needle);} };

搜维尔科技:Manus Prime X系列手套介绍,由 PrimeXMarkerMocap 和Prime X Haptic VR 手套组成

搜维尔科技&#xff1a;Manus Prime X系列手套介绍&#xff0c;由 PrimeXMarkerMocap 和Prime X Haptic VR 手套组成 Manus Prime X&#xff08;点击进入官网&#xff09;系列手套介绍&#xff0c;由 PrimeXMarkerMocap 和Prime X Haptic VR 手套组成

深入理解操作系统Operator System(1)

目录 OS概念 设计OS的目的 OS定位 操作系统对下的结构层次示意图 理解操作系统的"管理"❗❗ "管理"被管理者的数据 怎么获取被管理者的数据 获取被管理者什么"数据" 数据过多&先描述再组织❗ C/C中的体现 解释OS对硬件的"管…