python3获取网页内容_python3获取一个网页特定内容

我们今天要爬取的网址为:https://www.zhiliti.com.cn/html/luoji/list7_1.html

一、目标:获取下图红色部分内容

1527703-20190105231536951-10246011.png

即获取所有的题目以及答案。

二、实现步骤。

分析:

1,首先查看该网站的结构。

1527703-20190105231610534-780715586.png

1527703-20190105231629116-1393023978.png

分析网页后可以得到:

我们需要的内容是在该网页

标签下,详细内容链接在 的的href中。

但是这样我们最多只能获取这一页的内容

1527703-20190105231646127-244503954.png

别着急

我们点击第二页看一下目标网址有什么变化

1527703-20190105231657689-2007504931.png

我们发现目标网址最后的数字变成了2

再看一下最后一页

1527703-20190105231712933-192971280.png

我们可以分析出最后那个数字即第几页,所以我们待会可以直接用一个for循环拼接字符串即可。

分析详细页面:

我们随便点击进入一个阅读全文

1527703-20190105231721741-1748430953.png

同样分析网页结构。

1527703-20190105231733858-180661204.png

发现我们要的内容在一个块

标签中,我们在看一下其他题是不是也是这样的

1527703-20190105231801961-1387899368.png

很明显是这样的,所以我们只需要获取class为info-zi mb15下的

标签下的内容即可。

所以我们接下来开始实现。

Let's Go

实现:

1,获取所有页

defgetall():for i in range(1,31,1):

getalldoc(i)

i表示第i页,一共30页所以i从1变化到30,每次增加1。

2,获取当前页详细页面的连接

#获取目标网址第几页

defgetalldoc(ii):#字符串拼接成目标网址

testurl = "https://www.zhiliti.com.cn/html/luoji/list7_"+str(ii)+".html"

#使用request去get目标网址

res = requests.get(testurl,headers=headers)#更改网页编码--------不改会乱码

res.encoding="GB2312"

#创建一个BeautifulSoup对象

soup = BeautifulSoup(res.text,"html.parser")#找出目标网址中所有的small标签#函数返回的是一个list

ans = soup.find_all("small")#用于标识问题

cnt = 1

#先创建目录

mkdir("E:\\Python爬取的文件\\问题\\第" + str(ii) + "页\\")for tag inans:#获取a标签下的href网址

string_ans=str(tag.a.get("href"))#请求详细页面

#返回我们需要的字符串数据

string_write =geturl(string_ans)#写文件到磁盘

writedoc(string_write,cnt,ii)

cnt= cnt+1

print("第",ii,"页写入完成")

先拼接处目标网页url,然后调用request去请求,更改网页编码,使用BeautifulSoup对html文档进行解析,找出所有标签,存入一个list,然后遍历该list,获取每一个标签里的

得到详细页面的url之后我们调用geturl(自定义函数下面讲解)返回我们所需要的题目字符串,最后调用writedoc写入文件。

3,得到详细页面的url后筛选目标字符串

#根据详细页面url获取目标字符串

defgeturl(url):#请求详细页面

r = requests.get(url, headers=headers)#改编码

r.encoding = "GB2312"soup= BeautifulSoup(r.text, "html.parser")#找出类名为 info-zi mb15 下的所有p标签

ans = soup.find_all(["p", ".info-zi mb15"])#用来储存最后需要写入文件的字符串

mlist = ""

for tag inans:#获取p标签下的string内容,并进行目标字符串拼接

mlist=mlist+str(tag.string)#返回目标字符串

return mlist

首先请求网页构建一个BeautifulSoup对象,筛选出class=info-zi mb15的对象下的

标签内容,返回类型为list,遍历list,将每个item的string拼接到目标字符串并返回。

4,将目标字符串写进文件

#写文件

defwritedoc(ss, i,ii):#打开文件

#编码为utf-8

with open("E:\\Python爬取的文件\\问题\\第" + str(ii) + "页\\"+"问题" + str(i) + ".txt", 'w', encoding='utf-8') as f:#写文件

f.write(ss)print("问题" + str(i) + "文件写入完成" + "\n")

5,创建指定目录

defmkdir(path):#去除首位空格

path =path.strip()#去除尾部 \ 符号

path = path.rstrip("\\")#判断路径是否存在

#存在 True

#不存在 False

isExists =os.path.exists(path)#判断结果

if notisExists:#如果不存在则创建目录

#创建目录操作函数

os.makedirs(path)returnTrueelse:#如果目录存在则不创建,并提示目录已存在

return False

三,最终python文件

importrequestsfrom bs4 importBeautifulSoupimportos#服务器反爬虫机制会判断客户端请求头中的User-Agent是否来源于真实浏览器,所以,我们使用Requests经常会指定UA伪装成浏览器发起请求

headers = {'user-agent': 'Mozilla/5.0'}#写文件

defwritedoc(ss, i,ii):#打开文件

#编码为utf-8

with open("E:\\Python爬取的文件\\问题\\第" + str(ii) + "页\\"+"问题" + str(i) + ".txt", 'w', encoding='utf-8') as f:#写文件

f.write(ss)print("问题" + str(i) + "文件写入完成" + "\n")#根据详细页面url获取目标字符串

defgeturl(url):#请求详细页面

r = requests.get(url, headers=headers)#改编码

r.encoding = "GB2312"soup= BeautifulSoup(r.text, "html.parser")#找出类名为 info-zi mb15 下的所有p标签

ans = soup.find_all(["p", ".info-zi mb15"])#用来储存最后需要写入文件的字符串

mlist = ""

for tag inans:#获取p标签下的string内容,并进行目标字符串拼接

mlist=mlist+str(tag.string)#返回目标字符串

returnmlist#获取目标网址第几页

defgetalldoc(ii):#字符串拼接成目标网址

testurl = "https://www.zhiliti.com.cn/html/luoji/list7_"+str(ii)+".html"

#使用request去get目标网址

res = requests.get(testurl,headers=headers)#更改网页编码--------不改会乱码

res.encoding="GB2312"

#创建一个BeautifulSoup对象

soup = BeautifulSoup(res.text,"html.parser")#找出目标网址中所有的small标签

#函数返回的是一个list

ans = soup.find_all("small")#用于标识问题

cnt = 1

#先创建目录

mkdir("E:\\Python爬取的文件\\问题\\第" + str(ii) + "页\\")for tag inans:#获取a标签下的href网址

string_ans=str(tag.a.get("href"))#请求详细页面

#返回我们需要的字符串数据

string_write =geturl(string_ans)#写文件到磁盘

writedoc(string_write,cnt,ii)

cnt= cnt+1

print("第",ii,"页写入完成")defmkdir(path):#去除首位空格

path =path.strip()#去除尾部 \ 符号

path = path.rstrip("\\")#判断路径是否存在

#存在 True

#不存在 False

isExists =os.path.exists(path)#判断结果

if notisExists:#如果不存在则创建目录

#创建目录操作函数

os.makedirs(path)returnTrueelse:#如果目录存在则不创建,并提示目录已存在

returnFalsedefgetall():for i in range(1,31,1):

getalldoc(i)if __name__ == "__main__":

getall()

四,运行结果

1527703-20190105232422758-1827666342.png

1527703-20190105232433097-1902545257.png

1527703-20190105232443064-2093013090.png

五,总结

一般网页的编码为utf-8编码,但是这个网页就不一样编码为GB2312,我第一次请求返回的是乱码,如果python向一个不存在的目录进行写文件会报错,所以写文件之前要先判断路径是否正确存在,不存在就要创建路径,请求头请使用下面这个

#服务器反爬虫机制会判断客户端请求头中的User-Agent是否来源于真实浏览器,所以,我们使用Requests经常会指定UA伪装成浏览器发起请求

headers = {'user-agent': 'Mozilla/5.0'}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/573966.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux64位steam,这下没得玩了! Steam无奈抛弃Linux用户

众所周知,Linux被公认为最安全的操作系统,近日,网络有消息传出Linux发行版Ubuntu确认将从今年下半年的19.10版本开始不再支持传统32位,而仅支持64位,而没有了32位系统的存在,许多游戏将不能支持。据了解&am…

远程主机http协议版本信息泄漏_Web基础之http协议

Http协议介绍HTTP 全称:Hyper Text Transfer Protocol 中文名:超文本传输协议什么是超文本包含有超链接(Link)和各种多媒体元素标记(Markup)的文本。这些超文本文件彼此链接,形成网状(Web),因此又被称为网页(Web Page…

c语言opengles程序,OpenGL ES _ 着色器_程序

演示图你不知道这个东西,请不要看了,请看我的其他文章先了解一下O!学习目标掌握着色器程序的执行过程简单的例子uniform float t; // 时间uniform mat4 gl_ModelViewMatrix; // 模型视图矩阵attribute vec4 vel;const vec4 g vec4(0.0,-9.8,0.0) // 重力加速度void…

spring IOC加载流程

看了网上、书上很多对于spring IOC容器加载过程的分析。大多都只是粗略的讲一下加载流程。其实这样也不错,简单粗暴。清晰记得之前和一个前辈交流时他说的一句话:什么设计模式、设计框架都是扯淡,能实现这个功能就是最好的。其实这样的说法是…

pytorch 模型可视化_【深度学习】高效使用Pytorch的6个技巧:为你的训练Pipeline提供强大动力...

作者:Eugene Khvedchenya 编译:ronghuaiyang导读只报告模型的Top-1准确率往往是不够的。将train.py脚本转换为具有一些附加特性的强大pipeline每一个深度学习项目的最终目标都是为产品带来价值。当然,我们想要最好的模型。什么是“最好的”…

tstringlist怎么查看是否存在该数据_注意!研究生招生信息只公开1个月!应该怎么用?...

请注意!全国硕士研究生招生信息公开平台(以下简称“研招信息公开平台”)已于2019年7月1日开放-2019年7月30日结束。招生信息怎么看?老师在线教你看懂研究生招生信息!本篇目录:1.全国硕士研究生招生信息公开…

delphi读取xml中的内容property name传递参数_Python 进阶知识全篇-XML 解析

什么是 XML?XML 指可扩展标记语言(eXtensible Markup Language),标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。 你可以通过本站学习 XML 教程XML 被设计用来传输和存储数据。XML 是一套定…

c语言编写网页图形界面代码,「分享」C语言如何编写图形界面

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼贴吧内经常有人问C语言是不是只能用于字符终端界面开发,不能用于图形界面。大家也都有回答,需要其他的库。MFC,GTK,QT。本人近期刚用GTK库加上纯C写成了第一个LINUX实用程序。现在与大…

python 读取word_教你怎么使用 Python 对 word文档 进行操作

使用Python对word文档进行操作一、安装Python-docxPython-docx是专门针对于word文档的一个模块,只能读取docx 不能读取doc文件。说白了,python就相当于windows操作系统,QQ就是跑在windows操作系统上的软件,QQ最大的作用是可以去聊…

stm32cubemx adc_STM32CubeMX__Exp5_ADC1_2CH_DMA_TIM3_Trig__简明指导文件__jyb

用定时器TIM3触发DMA方式的双通道ADC定时采样:拷贝STM32CubeMX工程文件LED_Flash_PC12.ioc,修改为:Exp5_ADC1_2CH_DMA_TIM3_Trig.ioc(1)配置ADC1的通道和参数配置ADC通道参数(2)配置ADC1的DMA①通过点"Add"按钮,添加ADC…

JS 实现 jQuery的$(function(){});

1、浏览器渲染引擎的HTML解析流程 何谓“渲染”,其实就是浏览器把请求到的HTML内容显示出来的过程。渲染引擎首先通过网络获得所请求文档的内容,通常以8K分块的方式完成。下面是渲染引擎在取得内容之后的基本流程: 1,解析html以构…

html 分页_MySQL——优化嵌套查询和分页查询

Java识堂,一个高原创,高收藏,有干货的微信公众号,欢迎关注优化嵌套查询嵌套查询(子查询)可以使用SELECT语句来创建一个单列的查询结果,然后把这个结果作为过滤条件用在另一个查询中。嵌套查询写起来简单,也…

从原理上搞定编码-- Base64编码

开发者对Base64编码肯定很熟悉,是否对它有很清晰的认识就不一定了。实际 上Base64已经简单到不能再简单了,如果对它的理解还是模棱两可实在不应该。大概介绍一下Base64的相关内容,花几分钟时间就可以彻底理解它。文 章下边贴了一个Base64的编…

docker mysql总是退出_Docker提升测试效率之路

现如今,Docker已经成为了很多公司部署应用、服务的首选方案。依靠容器技术,我们能在不同的体系结构之上轻松部署几乎任何种类的应用。作为测试一方,我们应与时俱进,将Docker容器技术应用到测试工作中。为了让小伙伴们可以快速上手…

32位mysql安装包_软件测试基础——Linux系统搭建MySQL数据库

一、mysql下载1. 下载:官方网址:https://dev.mysql.com/downloads/mysql/2. 选择相应的版本,由于cenos是基于红帽的,所以Select Operating System选择Red Hat...。我所用的镜像为cenos7所以Red Hat....linux7,一定要选相应的版本&…

python gevent模块 下载_Python中的多任务,并行,并发,多线程,多进程,协程区别...

多任务CPU承担了所有的计算任务。一个CPU在一个时间切片里只能运行一个程序。当我们想同时运行多于一个程序的时候,就是多任务,例如同时运行微信,QQ,浏览器等等。多任务的目的是提升程序的执行效率,更充分利用CPU的资源…

vue-router 路由嵌套显示不出来_网络协议|OSI模型第三层网络层中的路由

的IP协议OSI第二层中用以太网协议定义了信息传输单元,简称为帧,它长这个样子。同样的在OSI第三层中,会用 IP 协议去定义信息传输单元,简称为数据包,它长这个样子。实际上,最终在网络上传输的是第二层的帧&a…

asp.net怎么实现按条件查询_【33期】分别谈谈联合索引生效和失效的条件

点击上方“Java面试题精选”,关注公众号面试刷图,查缺补漏>>号外:往期面试题,10篇为一个单位归置到本公众号菜单栏->面试题,有需要的欢迎翻阅。这道题考查索引生效条件、失效条件。像这类问题才其实很有意义&…

java 二分搜索获得大于目标数的第一位_程序员数据结构算法编程,二分查找搜索算法的原理与应用介绍!...

本文来讲一种搜索算法,即二分搜索算法,通常在面试时也会被问到。我们先来看一个例子,在图书馆通常是根据查到的编号去找书,可以在书架上按顺序一本本地查找,也可以找到一本书不符合预期时,再跳过一大部分书…

2020idea插件怎么同步_VScode 插件整理

1、auto rename tag :HTML 标签自动闭合;避免了在整个页面中费劲查找。你想将一个H2标签更改为H3标签,或者你想将一个div标签更改为span标签,不管要做什么,你都要浪费时间来查找结束标签,这时候就该用这个插…