二、scrapy爬虫框架——scrapy构造并发送请求

scrapy数据建模与请求

学习目标：
  1. 应用 在scrapy项目中进行建模
  2. 应用 构造Request对象，并发送请求
  3. 应用 利用meta参数在不同的解析函数中传递数据

1. 数据建模

通常在做项目的过程中，在items.py中进行数据建模

1.1 为什么建模

  1. 定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查
  2. 配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替
  3. 使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多

1.2 如何建模

在items.py文件中定义要提取的字段：

class MyspiderItem(scrapy.Item): name = scrapy.Field()   # 讲师的名字title = scrapy.Field()  # 讲师的职称desc = scrapy.Field()   # 讲师的介绍

1.3 如何使用模板类

模板类定义以后需要在爬虫中导入并且实例化，之后的使用方法和使用字典相同

job.py：

from myspider.items import MyspiderItem   # 导入Item，注意路径
...def parse(self, response)item = MyspiderItem() # 实例化后可直接使用item['name'] = node.xpath('./h3/text()').extract_first()item['title'] = node.xpath('./h4/text()').extract_first()item['desc'] = node.xpath('./p/text()').extract_first()print(item)

注意：

  1. from myspider.items import MyspiderItem这一行代码中 注意item的正确导入路径，忽略pycharm标记的错误
  2. python中的导入路径要诀：从哪里开始运行，就从哪里开始导入

1.4 开发流程总结

  1. 创建项目

    scrapy startproject 项目名
  2. 明确目标

    在items.py文件中进行建模
  3. 创建爬虫

    3.1 创建爬虫

    scrapy genspider 爬虫名 允许的域
    3.2 完成爬虫

    修改start_urls
    检查修改allowed_domains
    编写解析方法
  4. 保存数据

    在pipelines.py文件中定义对数据处理的管道

    在settings.py文件中注册启用管道

2. 翻页请求的思路

对于要提取如下图中所有页面上的数据该怎么办？

回顾requests模块是如何实现翻页请求的：

  1. 找到下一页的URL地址
  2. 调用requests.get(url)

scrapy实现翻页的思路：

  1. 找到下一页的url地址
  2. 构造url地址的请求对象，传递给引擎

3. 构造Request对象，并发送请求

3.1 实现方法

  1. 确定url地址
  2. 构造请求，scrapy.Request(url,callback)
    • callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析
  3. 把请求交给引擎：yield scrapy.Request(url,callback)

3.2 网易招聘爬虫

通过爬取网易招聘的页面的招聘信息,学习如何实现翻页请求

地址：https://hr.163.com/position/list.do

思路分析：
  1. 获取首页的数据
  2. 寻找下一页的地址，进行翻页，获取数据
注意：
  1. 可以在settings中设置ROBOTS协议
# False表示忽略网站的robots.txt协议，默认为True
ROBOTSTXT_OBEY = False
  1. 可以在settings中设置User-Agent：
# scrapy发送的每一个请求的默认UA都是设置的这个User-Agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'

3.3 代码实现

在爬虫文件的parse方法中：

......# 提取下一页的hrefnext_url = response.xpath('//a[contains(text(),">")]/@href').extract_first()# 判断是否是最后一页if next_url != 'javascript:void(0)':# 构造完整urlurl = 'https://hr.163.com/position/list.do' + next_url# 构造scrapy.Request对象，并yield给引擎# 利用callback参数指定该Request对象之后获取的响应用哪个函数进行解析yield scrapy.Request(url, callback=self.parse)
......

3.4 scrapy.Request的更多参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
参数解释
  1. 中括号里的参数为可选参数
  2. callback：表示当前的url的响应交给哪个函数去处理
  3. meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等
  4. dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动
  5. method：指定POST或GET请求
  6. headers：接收一个字典，其中不包括cookies
  7. cookies：接收一个字典，专门放置cookies
  8. body：接收json字符串，为POST的数据，发送payload_post请求时使用（在下一章节中会介绍post请求）

4. meta参数的使用

meta的作用：meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数：

def parse(self,response):...yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...def parse_detail(self,response):#获取之前传入的itemitem = resposne.meta["item"]
特别注意
  1. meta参数是一个字典
  2. meta字典中有一个固定的键proxy，表示代理ip，关于代理ip的使用我们将在scrapy的下载中间件的学习中进行介绍

在这里插入图片描述
在这里插入图片描述

小结

  1. 完善并使用Item数据类：
  2. 在items.py中完善要爬取的字段
  3. 在爬虫文件中先导入Item
  4. 实力化Item对象后，像字典一样直接使用
  5. 构造Request对象，并发送请求：
  6. 导入scrapy.Request类
  7. 在解析函数中提取url
  8. yield scrapy.Request(url, callback=self.parse_detail, meta={})
  9. 利用meta参数在不同的解析函数中传递数据:
  10. 通过前一个解析函数 yield scrapy.Request(url, callback=self.xxx, meta={}) 来传递meta
  11. 在self.xxx函数中 response.meta.get(‘key’, ‘’) 或 response.meta[‘key’] 的方式取出传递的数据

参考代码

wangyi/spiders/job.py

import scrapy
from wangyi.items import WangyiItemclass JobSpider(scrapy.Spider):name = 'job'# 2、检查修改域名allowed_domains = ['163.com']# 1、修改起始urlstart_urls = ['https://hr.163.com/position/list.do']# 3、解析数据def parse(self, response):# 提取数据# 获取所有职位节点列表node_list = response.xpath('//*[@class="position-tb"]/tbody/tr')# print(len(node_list))# 遍历节点列表,通过枚举来过滤掉没用的节点for num,node in enumerate(node_list):# print(num,node)# 设置过滤条件，将目标节点获取出来if num % 2 ==0:item = WangyiItem()item['name'] = node.xpath('./td[1]/a/text()').extract_first()# item['link'] = "https://hr.163.com/" + node.xpath('./td[1]/a/@href').extract_first()# response.urljoin()用来拼接相对路径的url,可以理解成自动补全item['link'] = response.urljoin(node.xpath('./td[1]/a/@href').extract_first())item['depart'] = node.xpath('./td[2]/text()').extract_first()item['category'] = node.xpath('./td[3]/text()').extract_first()item['type'] = node.xpath('./td[4]/text()').extract_first()item['address'] = node.xpath('./td[5]/text()').extract_first()# strip()方法去掉字符串前后的空格item['num'] = node.xpath('./td[6]/text()').extract_first().strip()item['date'] = node.xpath('./td[7]/text()').extract_first()# print(item)# yield item# 构建详情页面的请求yield scrapy.Request(url = item['link'],callback = self.parse_detail,meta = {'item':item})# 模拟翻页part_url = response.xpath('/html/body/div[2]/div[2]/div[2]/div/a[last()]/@href').extract_first()# 判断终止条件if part_url != 'javascript:void(0)':next_url = response.urljoin(part_url)# 构建请求对象，并且返回给引擎yield scrapy.Request(url = next_url,callback = self.parse)# 定义详情页面的数据解析方法def parse_detail(self,response):# 将meta传参获取# print('------------------',response.meta['item'])item = response.meta['item']# 提取剩余字段数据item['duty'] = ''.join(response.xpath('/html/body/div[2]/div[2]/div[1]/div/div/div[2]/div[1]/div/text()').extract()).strip()item['require'] = ''.join(response.xpath('/html/body/div[2]/div[2]/div[1]/div/div/div[2]/div[2]/div/text()').extract()).strip()# print(item)# 返回给引擎yield item

wangyi/items.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass WangyiItem(scrapy.Item):# define the fields for your item here like:name = scrapy.Field() # 职位名称link = scrapy.Field() # 点击链接depart = scrapy.Field() # 所属部门category = scrapy.Field() # 职位类型type = scrapy.Field() # 工作类型address = scrapy.Field() # 工作地点num = scrapy.Field() # 招聘人数date = scrapy.Field() # 发布时间duty = scrapy.Field() # 岗位描述require = scrapy.Field()  # 岗位要求

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/470977.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LeetCode 2287. 重排字符形成目标字符串

LeetCode 2287. 重排字符形成目标字符串

文章目录1. 题目2. 解题1. 题目 给你两个下标从 0 开始的字符串 s 和 target 。你可以从 s 取出一些字符并将其重排，得到若干新的字符串。 从 s 中取出字符并重新排列，返回可以形成 target 的 最大 副本数。 示例 1： 输入：s &…
阅读更多...
MVC阻止用户注入JavaScript代码或者Html标记

MVC阻止用户注入JavaScript代码或者Html标记

使用HttpUtility.HtmlEncode("")将字符串进行过滤处理 转载于:https://www.cnblogs.com/xuhongfei/p/5275124.html
阅读更多...
Python自动化办公——xlrd、xlwt读写Excel

Python自动化办公——xlrd、xlwt读写Excel

一、xlrd、xlwt读写Excel 1、读操作 import xlrd# 1、打开工作本workbook xlsx xlrd.open_workbook(r.\7月下旬入库表.xlsx)# 2、打开需要操作的表sheet table xlsx.sheet_by_index(0) # table xlsx.sheet_by_name(7月下旬入库表)# 3、读取指定单元格的数据 print(table.c…
阅读更多...
LeetCode 2288. 价格减免

LeetCode 2288. 价格减免

文章目录1. 题目2. 解题1. 题目 句子 是由若干个单词组成的字符串，单词之间用单个空格分隔，其中每个单词可以包含数字、小写字母、和美元符号 $ 。 如果单词的形式为美元符号后跟着一个非负实数，那么这个单词就表示一个价格。 例如 "$…
阅读更多...
UWP滑动后退

UWP滑动后退

经过近些年智能手机App的不断发展，用户已经不仅仅满足于功能上的需求。UI、设计等非功能点逐渐在App体验中占了大多数的分数。不知从何时起，滑动手势就成为了App的一个标配。他不仅仅是一个功能，更是一个UI设计。其有以下几个优点&#xff1a…
阅读更多...
PyQt5 高级界面控制（表格、树、tab、dock、scrollbar、多文档界面）

PyQt5 高级界面控制（表格、树、tab、dock、scrollbar、多文档界面）

文章目录1. 表格与树1.1 QTableView1.2 QListView1.3 QListWidget1.4 QTableWidget表根据界面宽度自动伸缩禁止编辑单击某单元，使之默认选中整行设置宽高度与内容相匹配是否显示表头单元格中放置控件输入行号，快速定位行设置颜色加粗字体排序文本对齐合并…
阅读更多...
使用pymysql进行数据库的增删改查

使用pymysql进行数据库的增删改查

使用pymysql进行数据库的增删改查： import pymysqldatabase pymysql.connect(127.0.0.1,root,root,jxgl,charsetutf8)# 初始化指针 cursor database.cursor()# 增 # sql "insert into students(s_no,s_name,sex,birthday,D_NO,address,phone) VALUES (1230…
阅读更多...
人工智能第一次作业

人工智能第一次作业

1、 你认为什么是人工智能？ 人工智能（Artificial Intelligence）简称AI，主要研究如何用人工的方法和技术，使用各种自动化机器或智能机器（主要指计算机）模仿、延伸和扩展人的智能，实…
阅读更多...
PyQt5 高级界面控制（多线程、网页交互、调用JavaScript）

PyQt5 高级界面控制（多线程、网页交互、调用JavaScript）

文章目录1. 多线程1.1 QTimer1.2 QThread界面卡住例子分离UI和工作线程1.3 事件处理2. 网页交互显示本地 html显示 html 代码调用 JavaScriptJavaScript 调用 PyQt代码learn from 《PyQt5 快速开发与实战》 https://doc.qt.io/qtforpython/index.html https://www.riverbankcom…
阅读更多...
[转]html超链接打开的窗口大小

[转]html超链接打开的窗口大小

<a href"#" onclick"javascript:window.open(http://www.baidu.com,,height20,width20,top0,left0,toolbarno,menubarno,scrollbarsno, resizableno,locationno, statusno)">aaaaaaaaaaaaaaa</a> 各项参数 其中yes/no也可使用1/0&#xff1b;p…
阅读更多...
读写Excel 用 xlsxwriter,openpyxl 更灵活

读写Excel 用 xlsxwriter,openpyxl 更灵活

一、xlsxwriter的使用&#xff1a; # import xlwt # # workbook xlwt.Workbook() # sheet0 workbook.add_sheet(sheet0) # for i in range(0,300): # sheet0.write(0,i,i) # workbook.save(number.xls)# 以上代码运行会报错&#xff0c;因为xlwt不支持超过256列的表格im…
阅读更多...
LeetCode 2293. 极大极小游戏

LeetCode 2293. 极大极小游戏

文章目录1. 题目2. 解题1. 题目 给你一个下标从 0 开始的整数数组 nums &#xff0c;其长度是 2 的幂。 对 nums 执行下述算法&#xff1a; 设 n 等于 nums 的长度&#xff0c;如果 n 1 &#xff0c;终止 算法过程。否则&#xff0c;创建 一个新的整数数组 newNums &#x…
阅读更多...
devexpress gridcontrol 内置导航栏，双击后才修改数据

devexpress gridcontrol 内置导航栏，双击后才修改数据

4、 使用Grid内置导航栏 gridControl1.UseEmbeddedNativgatorTrue 设定内置导航栏按钮其他属性 gridControl1.EmbeddedNavigator 5、 GridView内置方式编辑数据 禁止编辑数据 gridView1.OptionsBehavior.Editable False&#xff0c;默认是True 可编辑。 Gridview内置数据编辑器…
阅读更多...
Python自动发送微信消息

Python自动发送微信消息

一、用Python自动发送微信消息 import itchat# enableCmdQRTrue&#xff0c;允许在cmd命令行显示二维码 # hotReloadTrue&#xff0c;允许短期内可以不需要重复登陆 itchat.auto_login(enableCmdQRTrue,hotReloadTrue)# to_name itchat.search_friends(name"微信好友备注…
阅读更多...
LeetCode 2294. 划分数组使最大差为 K

LeetCode 2294. 划分数组使最大差为 K

文章目录1. 题目2. 解题1. 题目 给你一个整数数组 nums 和一个整数 k 。你可以将 nums 划分成一个或多个 子序列 &#xff0c;使 nums 中的每个元素都 恰好 出现在一个子序列中。 在满足每个子序列中最大值和最小值之间的差值最多为 k 的前提下&#xff0c;返回需要划分的 最…
阅读更多...
工作中用到的安卓日志相关命令(logcat)

工作中用到的安卓日志相关命令(logcat)

1. 打印安卓日志&#xff0c;在cmd中使用adb shell logcat&#xff1b;在adb shell下直接打logcat2. 如果不想打印占用终端&#xff0c;则加个&号&#xff0c;即logcat &3. 如果想把前面的打印清掉&#xff0c;开始现在的打印&#xff0c;则用logcat -c;logcat4. 如果想…
阅读更多...
三、scrapy爬虫框架——scrapy模拟登陆

三、scrapy爬虫框架——scrapy模拟登陆

scrapy模拟登陆 学习目标&#xff1a; 应用 请求对象cookies参数的使用了解 start_requests函数的作用应用 构造并发送post请求 1. 回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的&#xff1f; 直接携带cookies请求页面找url地址&#xff0c;发送post请求…
阅读更多...
LeetCode 2295. 替换数组中的元素

LeetCode 2295. 替换数组中的元素

文章目录1. 题目2. 解题1. 题目 给你一个下标从 0 开始的数组 nums &#xff0c;它包含 n 个 互不相同 的正整数。请你对这个数组执行 m 个操作&#xff0c;在第 i 个操作中&#xff0c;你需要将数字 operations[i][0] 替换成 operations[i][1] 。 题目保证在第 i 个操作中&a…
阅读更多...
ssh对等性配置

ssh对等性配置

目的: 让通过ssh在目标机器上执行命令和scp, 不必每次输入密码. 做法: 假设有机器A, 机器B 在A上执行, ssh-keygen, 一路使用默认值, 成功生成: 私钥id_rsa, 公钥id_rsa.pub 把A上生成的公钥id_rsa.pub的内容, 写入机器B的.ssh/authorized_keys文件中, 文件不存在则创建. cat i…
阅读更多...
四、scrapy爬虫框架——scrapy管道的使用

四、scrapy爬虫框架——scrapy管道的使用

scrapy管道的使用 学习目标&#xff1a; 掌握 scrapy管道(pipelines.py)的使用 之前我们在scrapy入门使用一节中学习了管道的基本使用&#xff0c;接下来我们深入的学习scrapy管道的使用 1. pipeline中常用的方法&#xff1a; process_item(self,item,spider): 管道类中必须…
阅读更多...
最新文章

Copyright @ 2022~2023