Python爬虫Scrapy(二)_入门案例

在这里插入图片描述

入门案例

学习目标

  • 创建一个Scrapy项目
  • 定义提取的结构化数据(Item)
  • 编写爬取网站的Spider并提取出结构化数据(Item)
  • 编写Item Pipelines来存储提取到的Item(即结构化数据)

一、新建项目(scrapy startproject)

  • 在开始爬取之前,必须创建一个新的Scrapy项目。进入自定义的项目目录中,运行下列命令:
scrapy startproject cnblogSpider
  • 其中,cnblogSpider为项目名称,可以看到将会创建一个cnblogSpider文件夹,目录结构大致如下:

scrapy目录结构

scrapy.cfg:项目部署文件 cnblogSpider/: 该项目的python模块,之后可以在此加入代码 cnblogSpider/items.py: 项目中的item文件。 cnblogSpider/pipelines.py: 项目中的Pipelines文件。 cnblogSpider/settings.py: 项目的配置文件。 cnblogSpider/spiders/: 放置Spider代码的目录。

二、明确目标(mySpider/items.py)

我们打算抓取:“http://www.cnblogs.com/miqi1992/default.html?page=2” 网站里博客地址、标题、创建时间、文本。

  1. 打开cnblogSpider目录下的items.py
  2. item定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误。
  3. 可以通过创建一个scrapy.item类,并且定义类型为scrapy.Field的类属性来定义一个Item(可以理解成类似于ORM的映射关系)。
  4. 接下来,创建一个CnblogspiderItem类,和模型item模型(model)。 ```python import scrapy

class CnblogspiderItem(scrapy.Item): # define the fields for your item here like: url = scrapy.Field() time = scrapy.Field() title = scrapy.Field() content = scrapy.Field() ```

三、制作爬虫(spiders/cnblogsSpider.py)

爬虫功能主要分两步:

1. 爬数据

  • 在当前目录下输入命令,将在cnblogSpider/spiders目录下创建一个名为cnblog的爬虫,并制定爬取域的范围: scrapy genspider cnblog “cnblogs.com”
  • 打开cnblogSpider/spiders目录下的cnblog,默认增加了下列代码: ```python -- coding: utf-8 -- import scrapy

class CnblogSpider(scrapy.Spider): name = ‘cnblog’ allowed_domains = [‘cnblogs.com’] start_urls = [‘http://cnblogs.com/’]

def parse(self, response):pass

```

其实也可以由我们自行创建cnblog.py并编写上面的代码,只不过使用命令可以免去编写固定代码的麻烦

要建立一个Spider,你必须用scrapy.Spider类创建一个子类,并确定了三个强制的属性和一个方法。

  • name = "": 这个爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字。

  • allow_domains=[]: 是搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略。

  • start_urls=():爬取的URL元祖/列表。爬虫从这里开始爬取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

  • parse(self, response)
    

    :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下:

    1. 负责解析返回的网页数据(respose.body),提取结构化数据(生成item)
    2. 生成需要下一页的URL请求

将start_urls的值改为需要爬取的第一个url

start_urls=("http://www.cnblogs.com/miqi1992/default.html?page=2")

修改parse()方法

def parse(self, response):filename = "cnblog.html"with open(filename, 'w') as f:f.write(response.body)

然后运行一下看看,在cnblogSpider目录下运行:

scrapy crawl cnblog

是的,就是cnblog,看上面代码,它是CnblogSpider类的name属性,也就是scrapy genspider命令的唯一爬虫名。

运行之后,如果打印的日志出现[scrapy]INFO: Spider closed(finished),代表执行完成。之后当前文件夹中就出现了一个cnblog.html文件,里面就是我们刚刚要爬取的网页的全部源代码信息。

#注意,Python2.x默认编码环境是ASCII,当和取回的数据编码格式不一致时,可能会造成乱码;
#我们可以指定保存内容的编码格式,一般情况下,我们可以在代码最上方添加:
import os
reload(sys)
sys.setdefaultencoding('utf-8')
#这三行代码是Python2.x里面解决中文编码的万能钥匙,警告这么多年的吐槽后Python3学乖了,默认编码是Unicode了

2.爬数据

  • 爬取整个网页完毕,接下来就是取过程了,首先观察页面源码:

页面结构

<div class="day"><div class="dayTitle">...</div><div class="postTitle">...</div><div class="postCon">...</div>
</div>
  • XPath表达式如下:
    • 所有文章:.//*[@class=‘day’]
    • 文章发表时间:.//*[@class=‘dayTitle’]/a/text()
    • 文章标题内容:.//*[@class=‘postTitle’]/a/text()
    • 文章摘要内容:.//*[@class=‘postCon’]/div/text()
    • 文章链接:.//*[@class=‘postTitle’]/a/@href

是不是一目了然?直接上XPath开始提取数据吧。

  • 我们之前在cnblogSpider/items.py里定义了一个CnblogItem类。这里引入进来 from cnblogSpider.items import CnblogspiderItem
  • 然后将我们得到的数据封装到一个CnblogspiderItem对象中,可以保存每个博客的属性: ```python

form cnblogSpider.items import CnblogspiderItem

def parse(self, response): # print(response.body) # filename = “cnblog.html” # with open(filename, ‘w’) as f: # f.write(response.body)

    #存放博客的集合items = []for each in response.xpath(".//*[@class='day']"):item = CnblogspiderItem()url = each.xpath('.//*[@class="postTitle"]/a/@href').extract()[0]title = each.xpath('.//*[@class="postTitle"]/a/text()').extract()[0]time = each.xpath('.//*[@class="dayTitle"]/a/text()').extract()[0]content = each.xpath('.//*[@class="postCon"]/div/text()').extract()[0]item['url'] = urlitem['title'] = titleitem['time'] = timeitem['content'] = content items.append(item)#直接返回最后数据return items

```

  • 我们暂时先不处理管道,后面会详细介绍。

保存数据

scrapy保存信息的最简单的方法主要有四种, -o 输出指定格式的文件,命令如下:

#json格式,默认为Unicode编码
scrapy crawl cnblog -o cnblog.json#json lines格式,默认为Unicode编码
scrapy crawl cnblog -o cnblog.jsonl#csv逗号表达式,可用excel打开
scrapy crawl cnblog -o cnblog.csv#xml格式
scrapy crawl cnblog -o cnblog.xml

思考

如果将代码改成下面形式,结果完全一样

请思考yield在这里的作用:

form cnblogSpider.items import CnblogspiderItemdef parse(self, response):# print(response.body)# filename = "cnblog.html"# with open(filename, 'w') as f:#     f.write(response.body)#存放博客的集合# items = []for each in response.xpath(".//*[@class='day']"):item = CnblogspiderItem()url = each.xpath('.//*[@class="postTitle"]/a/@href').extract()[0]title = each.xpath('.//*[@class="postTitle"]/a/text()').extract()[0]time = each.xpath('.//*[@class="dayTitle"]/a/text()').extract()[0]content = each.xpath('.//*[@class="postCon"]/div/text()').extract()[0]item['url'] = urlitem['title'] = titleitem['time'] = timeitem['content'] = content # items.append(item)#将获取到的数据交给pipelinesyield item#直接返回最后数据,不经过pipelines#return items

更多Python的学习资料可以扫描下方二维码无偿领取!!!

1)Python所有方向的学习路线(新版)

总结的Python爬虫和数据分析等各个方向应该学习的技术栈。

在这里插入图片描述

比如说爬虫这一块,很多人以为学了xpath和PyQuery等几个解析库之后就精通的python爬虫,其实路还有很长,比如说移动端爬虫和JS逆向等等。

img

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然达不到大佬的程度,但是精通python是没有问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/15456.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解设计模式之门面模式

深入理解设计模式之门面模式 什么是门面模式&#xff1f; 门面模式&#xff08;Facade Pattern&#xff09;是一种结构型设计模式&#xff0c;它提供了一个简单的接口&#xff0c;用于访问复杂子系统中的一组接口。门面模式通过封装子系统的复杂性&#xff0c;提供了一个更简…

809协议服务端程序解码程序

809协议服务端程序解码程序 目录概述需求&#xff1a; 设计思路实现思路分析1.服务端2.code: 拓展实现性能参数测试&#xff1a;1.功能测试 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy&#xff0c;skip…

easyui主表子表维护页面

easyui主表子表维护页面 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>Title</title><!-- <#include "common.html"/> --><link rel"stylesheet" type&quo…

释放三年版本:Aspose.Total For NET [21.7/22.7/23.7]

请各位对号入座&#xff0c;选择自己需求范围&#xff0c;你懂的&#xff0c;你懂的&#xff0c;你懂的 Aspose.Total for .NET is the most complete package of all .NET File Format Automation APIs offered by Aspose. It empowers developers to create, edit, render, …

会议OA系统会议管理模块开发思路(layui搭建)

目录 一.为什么要进行开发 1.开发目的 2.项目流程 A.发起会议请求过程 1.首先实现我们的多选下拉框功能&#xff01; 2.时间组件功能&#xff0c;并且提交我们新增加的会议内容 3.在进行发起会议编码时遇到的问题&#xff0c;BUG 3.1.有点时候js访问不到路径 3.2在增加…

高级 IO

目录 前言 什么是IO&#xff1f; 有哪些IO的的方式呢&#xff1f; 五种IO模型 这五种模型在特性有什么差别呢&#xff1f; 其他高级IO 非阻塞IO fcntl 实现函数SetNonBlock I/O多路转接之select 初识select select函数 参数说明&#xff1a; 关于timeval结构 函数…

通过一次线上问题,讲下Ribbon重试机制

前言 前段时间&#xff0c;产品经理在线上验证产品功能的时候&#xff0c;发现某个功能不符合需求预期&#xff0c;后来测试验证发现是服务端的一个接口大概率偶现超时&#xff0c;前端做了兜底处理&#xff0c;所以对线上用户么有太大影响。 问题排查过程 由于服务端的接口…

测试平台——项目工程创建和配置

这里写目录标题 一、配置开发环境二、配置MySql数据库三、配置工程日志 一、配置开发环境 项目的环境分为开发环境和生产环境。 开发环境:用于编写和调试项目代码。 生产环境:用于项目线上部署运行。 base.py 修改BASE_DIR&#xff1a;拼接.parent 原因&#xff1a;原BASE_D…

如何评判算法好坏?复杂度深度解析

如何评判算法好坏&#xff1f;复杂度深度解析 1. 算法效率1.1 如何衡量一个算法好坏1.2 算法的复杂度 2 时间复杂度2.1 时间复杂度的概念2.1.1 实例 2.2 大O的渐进表示法2.3 常见时间复杂度计算举例 3 空间复杂度4 常见复杂度对比5 结尾 1. 算法效率 1.1 如何衡量一个算法好坏 …

shell脚本练习--安全封堵脚本,使用firewalld实现

一.什么是安全封堵 安全封堵&#xff08;security hardening&#xff09;是指采取一系列措施来增强系统的安全性&#xff0c;防止潜在的攻击和漏洞利用。以下是一些常见的安全封堵措施&#xff1a; 更新和修补系统&#xff1a;定期更新操作系统和软件包以获取最新的安全补丁和修…

Java并发系列之一:JVM线程模型

什么是线程模型&#xff1a; Java字节码运行在JVM中&#xff0c;JVM运行在各个操作系统上。所以当JVM想要进行线程创建回收这种操作时&#xff0c;势必需要调用操作系统的相关接口。也就是说&#xff0c;JVM线程与操作系统线程之间存在着某种映射关系&#xff0c;这两种不同维…

在OK3588板卡上部署模型实现OCR应用

一、主机模型转换 我们依旧采用FastDeploy来部署应用深度学习模型到OK3588板卡上 进入主机Ubuntu的虚拟环境 conda activate ok3588 安装rknn-toolkit2&#xff08;该工具不能在OK3588板卡上完成模型转换&#xff09; git clone https://github.com/rockchip-linux/rknn-to…

基于Java+spring+springMvc+mybatis+jsp学生选课管理系统

基于JavaspringspringMvcmybatisjsp学生选课管理系统 一、系统介绍二、功能展示1.课程列表(学生)2.已选课程(学生)3.已修课程(学生)4.我的课程&#xff08;老师&#xff09;5.课程打分&#xff08;老师&#xff09;6.课程管理、学生管理、教师管理&#xff08;系统管理员&#…

stm32读取DHT11温湿度传感器

stm32读取DHT11温湿度传感器 一.序言二.DHT11响应数据格式三.DHT11通讯过程3.1 产生起始信号3.2 读取数据03.3 读取数据1DHT11停止信号 四.代码实例4.1读取DHT11源文件4.2 读取DHT11头文件 五.结语5.1 总结整体思路5.2 对读者的期望 一.序言 我们知道DHT11是单总线协议&#x…

Ceph入门到精通- Linux 磁盘管理(block 与 inode)

1 硬盘 block 与 inode 详解 1.1 Sector&#xff08;扇区&#xff09;与 Block&#xff08;块&#xff09; 1&#xff09; 硬盘的最小存储单位&#xff1a;sector&#xff08;扇区&#xff09;&#xff0c;每个扇区储存 512 字节&#xff1b;操作系统会一次性连续读取多个…

大语言模型LLM

目录 一、语言模型的发展 语言模型&#xff08;Language Model&#xff0c;LM&#xff09;目标是建模自然语言的概率分布&#xff0c;具体目标是构建词序列w1,w2,...,wm的概率分布&#xff0c;即计算给定的词序列作为一个句子出现可能的大小P(w1w2...wm)。但联合概率P的参数量…

【C++入门到精通】C++入门 —— 类和对象(初始化列表、Static成员、友元、内部类、匿名对象)

目录 一、初始化列表 ⭕初始化列表概念 ⭕初始化列表的优点 ⭕使用场景 ⭕explicit关键字 二、Static成员 ⭕Static成员概念 &#x1f534;静态数据成员&#xff1a; &#x1f534;静态函数成员&#xff1a; ⭕使用静态成员的优点 ⭕使用静态成员的注意事项 三、友…

go 中的代码漏洞检查

前言 不知道大家在开发 go 项目中有没有遇到过一些第三方包或者官方包中出现漏洞的问题&#xff0c;这些漏洞可能会影响到代码的功能、性能或者安全性。 现在针对这一问题&#xff0c;go 团队提供了 govulncheck 工具&#xff0c;帮助开发者快速地发现和修复这些漏洞。 什么…

C/C++开发,opencv与qt结合播放视频

目录 一、qt_ui创建 1.1 ui设置 1.2 ui及代码输出保存 二、创建工程 2.1 工程目录及编译设置 2.2 源码设计 三、编译及测试 3.1 程序编译 3.2 程序运行 首先声明&#xff0c;这是一个OpenCV 3学习文档的案例&#xff0c;但是说明有些过于省略&#xff0c;只有一些简短的代码…

计算机毕设 深度学习人体跌倒检测 -yolo 机器视觉 opencv python

文章目录 0 前言1.前言2.实现效果3.相关技术原理3.1卷积神经网络3.1YOLOV5简介3.2 YOLOv5s 模型算法流程和原理4.数据集处理3.1 数据标注简介3.2 数据保存 5.模型训练 6 最后 0 前言 &#x1f525; 这两年开始毕业设计和毕业答辩的要求和难度不断提升&#xff0c;传统的毕设题…