python获取id标签对应数据_Python--Scrapy爬虫获取简书作者ID的全部文章列表数据

最近Python大火,为了跟上时代,试着自学了下。Scrapy是一个高级的Python爬虫框架,它不仅包含了爬虫的特性,还可以方便的将爬虫数据保存到csv、json等文件中。

今天我们就试着用Scrapy来爬取简书某位作者的全部文章。

在本篇教程中,我们假定您已经安装好Scrapy。 如若不然,请参考 安装指南 。

1.创建项目

在开始爬取之前,我们必须创建一个新的Scrapy项目,我这里命名为jianshu_article。打开Mac终端,cd到你打算存储代码的目录中,运行下列命令:

//Mac终端运行如下命令:

scrapy startproject jianshu_article

2.创建爬虫程序

//cd到上面创建的文件目录

cd jianshu_article

//创建爬虫程序

scrapy genspider jianshu jianshu.com

/*

文件说明:

scrapy.cfg 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中)

items.py 设置数据存储模型,用于结构化数据,如:Django的Model

pipelines 数据处理行为,如:一般结构化的数据持久化

settings.py 配置文件,如:USER_AGENT(模拟浏览器,应对网站反爬),递归的层数、并发数,延迟下载等

spiders 爬虫目录,如:创建文件,编写爬虫规则

*/

为了方便编写程序,我们用Pycharm打开项目,执行完上面的命令程序会自动创建目录及文件,其中生成了一个jianshu.py的文件,后面我们主要逻辑都将写在此文件中。

jianshu.py

3.设置数据模型

双击items.py文件。

找到你想爬取的简书作者首页,如我自己的首页https://www.jianshu.com/u/6b14223f1b58,用谷歌浏览器打开,空白处鼠标右击,单击“检查”进入控制台开发者模式:

打开控制台.png

通过分析网页源码,我们大概需要这些内容:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class JianshuArticalItem(scrapy.Item):

avatar = scrapy.Field() #头像

nickname = scrapy.Field() #昵称

time = scrapy.Field() #发表时间

wrap_img = scrapy.Field() #封面(缺省值)

title = scrapy.Field() #标题

abstract = scrapy.Field() #正文部分显示

read = scrapy.Field() #查看人数

comments = scrapy.Field() #评论数

like = scrapy.Field() #喜欢(点赞)

detail = scrapy.Field() #文章详情url

pass

如此数据模型就创建好了,后面运行爬虫的时候,我得到的数据将存进模型对应的位置。

4.分析网页源码,编写爬虫

因为本人比较懒很少写文章,文章数比较少,为了呈现分页的效果,我在简书选取了一位作者CC老师_MissCC的主页进行爬取。

我们通过分析URL可以找到一些特征:

作者的URL为:https://www.jianshu.com/u/ + 作者ID:

作者主页URL.png

文章URL.png

虽然我们在浏览器直接打开作者的URL,鼠标滚轮往下滚动会动态加载下一页直至最后一篇文章URL还是保持不变。但是作为Scrapy爬虫貌似只能拿到第一页,那么如何做到呢?以我个人多年的开发经验我尝试在URL后面拼接一个"page"参数加上页数,果不其然,能请求到不同的数据。

拼接参数page拿到分页数据.png

找到这些规律,我们就可以通过分析HTML源码,拿到我们想要的数据了。

首先,我们回到jianshu.py这个文件,导入模型:

//从项目名 jianshu_article的文件items.py导入JianshuArticleItem类

from jianshu_article.items import JianshuArticleItem

设置必要参数发起首次请求:

# -*- coding: utf-8 -*-

import scrapy

from jianshu_article.items import JianshuArticleItem

class JianshuSpider(scrapy.Spider):

name = 'jianshu'

allowed_domains = ['jianshu.com']

user_id = "1b4c832fb2ca"

url = "https://www.jianshu.com/u/{0}?page=1".format(user_id)

start_urls = [

url,

]

def parse(self, response):

#用户头像

c = response.xpath('//div[@class="main-top"]/a[@class="avatar"]/img/@src').extract_first()

print(c)

pass

至此终端运行命令scrapy crawl jianshu,理论上可以打印网页内容。实则不然,没有请求到任何数据,终端会打印一些日志信息:

日志.png

不难发现,报了403的问题和HTTP status code is not handled or not allowed的问题,导致"Closing spider (finished)"爬虫终止。通过万能百度,我知道大概是网站做了一些相应的反爬虫的措施导致的。对症下药,我们只需要在settings.py,做一些相应修改就可以了:

```

User_Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的

操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

通俗点讲,我们配置这个字段的目的就是为了伪装成浏览器打开网页,达到骗过目标网站的监测。

```

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'

CONCURRENT_REQUESTS = 1 #并发数

DOWNLOAD_DELAY = 5 #为了防止IP被封,我们5秒请求一次

HTTPERROR_ALLOWED_CODES = [403] #上面报的是403,就把403加入

#默认为True,就是要遵守robots.txt 的规则,这里我们改为False

ROBOTSTXT_OBEY = False

做了相应的修改,我们再次执行爬虫命令:scrapy crawl jianshu ,看日志打印获取到头像。

获取到头像.png

既然网页数据能爬取成功,我们后面要做的只是分析网页源码了,下面就不一一去分析了,体力活。当然在此之前你要对xpath有一定的了解。

下面引用Scrapy中文官网介绍:

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:

/html/head/title: 选择HTML文档中

标签内的 元素

/html/head/title/text(): 选择上面提到的

元素的文字

//td: 选择所有的

元素

//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

上边仅仅是几个简单的XPath例子,XPath实际上要比这远远强大的多。 如果您想了解的更多,我们推荐 这篇XPath教程 。

通过上面的介绍,相信你可以做接下来的爬虫工作了,下面贴上jianshu.py的全部代码,以供参考:

# -*- coding: utf-8 -*-

import scrapy

from jianshu_article.items import JianshuArticleItem

class JianshuSpider(scrapy.Spider):

name = 'jianshu'

allowed_domains = ['jianshu.com']

user_id = "1b4c832fb2ca" #替换此用户ID可获取你需要的数据,或者放开下一行的注释

#user_id = input('请输入作者id:\n')

url = "https://www.jianshu.com/u/{0}?page=1".format(user_id)

start_urls = [

url,

]

def parse(self, response):

# [关注,粉丝,文章]

a = response.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li/div/a/p/text()').extract()

print(a)

# [字数,收获喜欢]

b = response.xpath('//div[@class="main-top"]/div[@class="info"]/ul/li/div/p/text()').extract()

print(b)

# 大头像

c = response.xpath('//div[@class="main-top"]/a[@class="avatar"]/img/@src').extract_first()

print(c)

# 用户名

d = response.xpath('//div[@class="main-top"]/div[@class="title"]/a/text()').extract_first()

print(d)

# 性别

e = response.xpath('//div[@class="main-top"]/div[@class="title"]/i/@class').extract_first()

print(e)

# 获取文章总数,计算页数。(简书网站默认每页是9组数据)

temp = int(a[2])

if (temp % 9 > 0):

count = temp // 9 + 1

else:

count = temp // 9

print("总共" + str(count) + "页")

base_url = "https://www.jianshu.com/u/{0}?page={1}"

for i in range(1, count + 1):

i = count + 1 - i #理论上正序1~count就是按顺序获取的,但是获取的数据是倒置的,所以我们获取count~1的数据,得到的数组就是按照网页形式1~count页码排序的了

yield scrapy.Request(base_url.format(self.user_id, i), dont_filter=True, callback=self.parse_page)

#迭代返回每页的内容

def parse_page(self, response):

for sel in response.xpath('//div[@id="list-container"]/ul/li'):

item = JianshuArticleItem()

item['wrap_img'] = sel.xpath('a/img/@src').extract_first()

item['avatar'] = sel.xpath('div//a[@class="avatar"]/img/@src').extract_first()

item['nickname'] = sel.xpath('div//a[@class="nickname"]/text()').extract_first()

item['time'] = sel.xpath('div//span[@class="time"]/@data-shared-at').extract_first()

item['title'] = sel.xpath('div/a[@class="title"]/text()').extract_first()

item['abstract'] = sel.xpath('div/p[@class="abstract"]/text()').extract_first()

item['read'] = sel.xpath('div/div[@class="meta"]/a[1]/text()').extract()[1]

item['comments'] = sel.xpath('div/div[@class="meta"]/a[2]/text()').extract()[1]

item['like'] = sel.xpath('div/div[@class="meta"]/span/text()').extract_first()

item['detail'] = sel.xpath('div/a[@class="title"]/@href').extract_first()

yield item

至此爬虫代码编写完毕,如果要把获取的数据保存下来,你可以终端执行如下命令:

/*

此命令用于把爬取的数据保存为json文件格式,当然你也可以保存为别的文件格式。

Scrapy官方列出的文件格式有如下几种:('json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pickle')。

温馨提示:如果要再次爬取,最好换一个文件名或者清空数据再爬取,因为第二还是写入上一个文件,数据不会覆盖,

会堆积在上次获取的下面,造成json文件格式报错。

*/

scrapy crawl jianshu -o data.json

程序执行完后,我们可以在文件目录看到新生成的data.json文件,双击可以看到我们要获取的全部数据:

执行爬虫获取到的数据.png

json解析数据跟网站上的完全吻合.png

github地址:https://github.com/leesonp/jianshu_article

至此以上就是本文的全部内容,谢谢阅读。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/507613.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

怎么用计算机杀毒,电脑怎样查杀病毒

病毒往往会利用计算机操作系统的弱点进行传播,那么大家知道电脑怎样查杀病毒吗?接下来大家跟着学习啦小编一起来了解一下电脑查杀病毒的解决方法吧。电脑查杀病毒方法一一、使用杀毒软件进行杀毒1、首先进入“安全模式”2、进入方法:开机在进入Windows系…

MSN-LDL论文修改(B-Y Rong20211012)

Multi-view label distributed learning with multiple sub-networks –> Multi-view label distribution learning with multiple sub-networks Zhang HengRu1[00000 11111 22222 3333], Rong –> Bin-Yuan Rong, Heng-Ru Zhang Label distribution learning is an em…

将文件中所有数读到一个数组中_「数据结构与算法」将5个文件中的一千万年龄合并到一个新文件中...

现在有5个文件,文件里面分别存储着1千万个用户年龄,并且每个文件中的年龄都是有序的(从小到大),现在需要将这5个文件整合到一个文件中,新文件的内容依然要保持有序(从小到大)。初始化…

成都理工大学工程技术学院计算机专业收分线,2019年成都理工大学工程技术学院美术类专业录取分数线...

四川:艺术本科省控线文化分370专业分200(单科成绩均不低于60分),录取最低专业分224;艺专省控线文化分140专业分160,录取最低专业分181。内蒙古:艺术本科省控线文化分279专业分199,录取最低专业分201&#x…

如何利用python语言实现对象数组

1 Java代码示例 //定义一个类 class Triple {int user;int item;double rating; &#xff5d;//声明对象数组 Triple[] dataset new Triple[20];//利用对象数组访问成员变量 for(int i 0; i < dataset.length; i ){dataset[i].user 0; dataset[i].item 0dataset[i].…

在python中、正确的函数定义格式为_Python函数的定义与实现

1. 函数的介绍函数是 实现具有特定功能的代码块Python中预制了许多内置函数&#xff0c;也可以根据自己的需求创建自定义的函数隐藏实现功能的细节代码的复用提高可读性&#xff0c;便与调试def 函数名(形参1, 形参2...):要运行的代码块(函数体)return 返回的数据(返回值)函数名…

计算机连接交换机配置命令,[计算机]交换机配置命令.doc

[计算机]交换机配置命令交换机配置命令集锦1、 进入全局配置模式1、Switch-3548 > enablePassword : ********Switch-3548 # config tSwitch-3548 (config) #2、 启用交换机的HTTP Server2、Switch-3548 (config) # ip http server3、 配置主机名3、Switch-3548 (config) # …

二维码编码规范解读

1 QR码符号的结构 QR 码符号的结构如下&#xff1a; 1.1 定位图案 Position Detection Pattern是定位图案&#xff0c;用于标记二维码的矩形大小。这三个定位图案有白边叫Separators for Postion Detection Patterns。之所以三个而不是四个意思就是三个就可以标识一个矩形了…

最早单机的计算机操作系统,川农《计算机操作系统(本科)》19年12月在线作业【满分答案】...

可做奥鹏全部院校作业论文&#xff01;答案请添加qq&#xff1a;599792222 或 微信&#xff1a;1095258436川农《计算机操作系统(本科)》19年12月在线作业【满分答案】试卷总分:100 得分:100一、单选题 (共 20 道试题,共 100 分)1.在单一处理机上执行程序&#xff0c;多道程序…

pythonopencv提取圆内图像_python – 使用OpenCV从图像中提取多边形给定...

使用cv2.fillConvexPoly以便您可以指定2D点阵列并定义一个蒙版,该蒙版填充由这些点定义的形状在蒙版中为白色.如果多边形中定义的点是凸的(因此名称为fillConvexPoly),则应该进行一些公平的警告.然后我们可以将其转换为布尔蒙版,并使用它来索引图像以提取出您想要的像素.下面的…

二维码的纠错码原理及如何纠错(1)

本文将通过例子来说明两个方面的内容&#xff1a; &#xff08;1&#xff09;如何构建纠错码&#xff1f; &#xff08;2&#xff09;有了纠错码之后如何纠错&#xff1f; 1 如何构建纠错码&#xff1f; 直接上例子&#xff0c;“hello world” 利用二维码的编码原理&#xf…

浙江省二级计算机vfp,浙江省计算机2级vfp程序调试真题集.doc

程序填空(改错)题&#xff1a;在考生文件夹的paper 子文件夹中&#xff0c;已有文件Modify.prg&#xff0c;请自己打开文件&#xff0c;在标记&&之前填写所缺代码、调试、保存&#xff0c;并完成以下功能1、显示指定表中的全部字段名&#xff0c;并由用户输入显示表信息…

利用自己构建的网络进行鼾声识别

1 目前的工作 1.1 数据 5692条3s且采集率为8000hz的鼾声与6824条3s且采集率为8000hz的其他类音频。通过FFT频谱转换为300个(30,513,1)的矩阵。训练集与测试集的比例为9&#xff1a;1。数据集来源为google开源的数据集。 1.2 模型 图1. The proposed deep neural network arc…

计算机组成码距,计算机组成原理:2.3.2 纠错码原理.ppt

2.3.2 纠错码的基本原理;重复码;;n4时;译码失败&#xff1a;译码器根据接收到的信号无法作出明确判断;纠错码如何纠正错误&#xff1f;;2.3.3 几个基本概念;许用码组和禁用码组;错误图样;汉明距离和重量;最小码距;分组码 分组码一般可用(n,k)表示。其中&#xff0c;k是每组二进…

企业微信加密消息体_用企业微信小程序发送消息

在企业开发中&#xff0c;经常会碰到一些消息要及时推送到企业员工的手中。so 下面来说怎么向企业微信中的员工发消息。本人只是记录下开发过程&#xff0c;详细参考https://work.weixin.qq.com/api/1.准备注册企业微信公司获取企业ID新开企业微信应用获取应用的Agentid&#x…

二维码的纠错码原理及如何纠错(2)

下面进一步介绍二维码纠错相关的编码矩阵 1 范德蒙德&#xff08;Vandermonde&#xff09;矩阵 1.1 定义及特性 法国数学家 Alexandre-Thophile Vandermonde 在十八世纪提出了行列式的概念, 用来解决线性方程组问题, 其中一个关键是范德蒙德(Vandermonde) 矩阵, Vandermonde…

北师大计算机组成原理离线作业,北师大网络教育 离线作业 计算机组成原理(一、二、三)...

《计算机组成原理》作业(一)一、CPU&#xff1a;Central Processing Unit 中央处理单元 执行存放在主存储器中的程序即机器指令.CPU是由控制器和运算器.PC&#xff1a;Personal Computer 个人电脑 能独立运行、完成特定功能的个人计算机 IR&#xff1a;Immediate Rendering 直接…

3dsmax导出html,3dsmax导出gltf格式插件

【实例简介】3dsmax导出gltf格式插件&#xff0c;里面包括插件&#xff0c;插件使用说明&#xff0c;插件功能介绍&#xff1b;【实例截图】【核心代码】3dsmx_to_gltf格式插件└── 3dsMax to gltf 2├── 3ds Max│ ├── CHANGELOG.md│ ├── Max2Babylon│ │ …

NCCIP会议笔记

华南理工大学蔡毅&#xff1a;多智能体通信&#xff0c;识别边界。是否可以用于鼾声识别 天津大学张鹏教授 哈尔滨工业大学 HFUT&#xff1a;俞奎 张长青

计算机创新课,计算机教学课程模式与创新论文

计算机教学课程模式与创新论文摘要&#xff1a;作为大学生通识教育的重要组成部分&#xff0c;计算机基础课程是提高学生信息素养的关键途径。随着互联网技术的不断发展&#xff0c;大学计算机课程教学面临诸多新的挑战&#xff0c;因此需要创新、改革目前的教学模式&#xff0…