爬虫入门学习(二)——response对象

大家好!我是码银,代码的,银子的🥰

欢迎关注🥰:

CSDN:码银

公众号:码银学编程

前言 

在本篇文章,我们继续讨论request模块。从上一节(爬虫学习(1)--requests模块的使用-CSDN博客)中我们可以知道requests.get() 是 Python 的 requests 库中的一个方法,用于发送 HTTP GET 请求。那么使用requests.get()之后传回的数据类型是什么呢?

Response对象,下面就让我们从认识一下Response对象开始学习吧😆!

正文

response对象

在 requests 库中,response 对象包含了服务器对请求的响应的所有信息。以下是一些常用的 response 对象属性:

  • response.status_code:HTTP状态码,例如200、404等。
  • response.headers:响应头,是一个字典,包含了服务器返回的所有头部信息。
  • response.text:响应内容,以字符串形式返回。
  • response.json():如果响应内容是JSON格式,可以使用这个方法将其解析为Python对象。
  • response.content:响应内容,以字节形式返回。
  • response.cookies:响应的cookies,是一个字典,包含了所有的cookies。
  • response.url:响应的URL,即请求的URL。

以上是 requests 库中 response 对象的一些常用属性。更多详细的信息可以在 requests 库的文档中找到。

1、查看访问网页是否成功 

import requests	# 导入requests模块
response = requests.get('https://blog.csdn.net/weixin_53197693/article/details/131499857')
#response = requests.get('https://requests.readthedocs.io/projects/cn/zh-cn/latest/%E3%80%82')
if response.status_code == requests.codes.ok:print("取得网页内容成功")
else:print("取得网页内容失败")
print("HTTP状态码:",response.status_code)

访问成功截图: 

 访问失败截图:

2、取得网页内容

import requests	# 导入requests模块
response = requests.get('https://requests.readthedocs.io/en/latest/')
if response.status_code == requests.codes.ok:print("取得网页内容成功")
else:print("取得网页内容失败")
print("HTTP状态码:",response.status_code)
print("网页的内容大小是:",len(response.text))
print(response.text)#输出网页源代码

 这段代码的功能是发送一个HTTP GET请求到指定的URL,并获取返回的网页内容。然后,它会检查返回的HTTP状态码,如果状态码是200(表示请求成功),则打印“取得网页内容成功”,否则打印“取得网页内容失败”。接下来,它打印HTTP状态码和网页内容的长度(以字节为单位)。最后,它打印出整个网页的内容。 

搜索网页特定内容

 获取内容,然后根据用户输入的字符串进行搜索。如果搜索成功,它会输出“搜寻成功”,否则输出“搜寻失败”。接着,它会使用正则表达式对搜索结果进行进一步处理,统计用户输入的字符串在网页内容中出现的次数,并输出这个次数。

import requests	# 导入requests模块
import re
response = requests.get('https://requests.readthedocs.io/en/latest/')
if response.status_code == requests.codes.ok:a=input("请输入搜寻的字符串:")if a in response.text:print("搜寻成功")else:print("搜寻失败")
name = re.findall(a, response.text)
if name !=None:print("%s出现%d次" % (a, len(name)))
else:print("%s出现0次" % a)

 

 出错的异常处理

使用 try/except 块来处理网络请求可能出现的异常是一个很好的做法。这样,如果请求失败,程序不会崩溃,而是会捕获异常并给出相应的错误信息。 

import requests  # 导入requests模块
import retry:response = requests.get('https://requests.readthedocs.io/en/latest/')response.raise_for_status()  # 如果响应状态码不是200,主动抛出HTTPError异常a = input("请输入搜寻的字符串:")if a in response.text:print("搜寻成功")else:print("搜寻失败")name = re.findall(re.escape(a), response.text)  # 使用re.escape()来确保用户输入被当作普通字符串处理if name:print("%s出现%d次" % (a, len(name)))else:print("%s出现0次" % a)except requests.exceptions.RequestException as err:# 捕获所有requests可能抛出的异常print("网络请求出错:", err)except Exception as err:# 捕获其他所有未被上述except捕获的异常print("发生未知错误:", err)

小结

本篇文章中主要介绍了response对象的一些属性、如何搜索网页特定内容和使用try/except处理网络请求可能出现的异常。

日日行,不怕千万里;常常做,不怕千万事。——金樱

推荐一本好书 

购买链接:《Python从入门到精通(第3版)》(明日科技)【简介_书评_在线阅读】 - 当当图书 

在视频生成即将迎来技术和应用大爆发之际,为了帮助企业和广大从业者掌握技术前沿,把握时代机遇,机器之心AI论坛就将国内的视频生成技术力量齐聚一堂,共同分享国内顶尖力量的技术突破和应用实践。

论坛将于2024.01.20北京举办,现场汇聚领域内专家和一线开发者,期待能为视频生成领域呈现一场高质量、高水平的线下交流活动。

本次活动大咖云集,分享内容中的很多模型/工具都是首次对外进行技术拆解与分享。快来报名,抓住站在浪潮之巅的机会吧。

了解国内视频生成的最新技术进展和应用实践,机器之心 AI 技术论坛将会是一次不错的机会。

活动日程(直达链接:https://hdxu.cn/RmNWu)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/623428.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】异常机制

异常 一、传统的处理错误的方式二、C异常概念三、异常的使用1. 异常的抛出和捕获(1)异常的抛出和匹配原则(2)在函数调用链中异常栈展开匹配原则 2. 异常的重新抛出3. 异常安全4. 异常规范 四、自定义异常体系五、C 标准库的异常体…

leetcode第365题:水壶问题

有两个水壶,容量分别为 jug1Capacity 和 jug2Capacity 升。水的供应是无限的。确定是否有可能使用这两个壶准确得到 targetCapacity 升。 如果可以得到 targetCapacity 升水,最后请用以上水壶中的一或两个来盛放取得的 targetCapacity 升水。 你可以&a…

【VTKExamples::PolyData】第一期 凸包计算

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ:870202403 前言 本文分享VTKExamples中的凸包计算样例,希望对各位小伙伴有所帮助! 感谢各位小伙伴的点赞+关注,小易会继续努力分享,一起进步! 你的点赞就是我的动力(^U^)ノ~YO ​​​​​​​ 目录 前言 1. 凸包…

Simula语言 :被认为是第一个面向对象语言

Simula是两种模拟编程语言的名字,Simula I和Simula 67,由Ole-Johan Dahl和Kristen Nygaard于20世纪60年代在奥斯陆的挪威计算中心开发。在语法上,它是ALGOL 60[1]: 1.3.1的近似超集,也受到Simscript设计的影响[2]。 Simula 67引入…

GZ075 云计算应用赛题第7套

2023年全国职业院校技能大赛(高职组) “云计算应用”赛项赛卷7 某企业根据自身业务需求,实施数字化转型,规划和建设数字化平台,平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”,拟采用开源OpenSt…

geemap学习笔记047:边缘检测

前言 边缘检测适用于众多的图像处理任务,除了上一节[[geemap046:线性卷积–低通滤波器和拉普拉斯算子|线性卷积]]中描述的边缘检测核之外,Earth Engine 中还有几种专门的边缘检测算法。其中Canny 边缘检测算法使用四个独立的滤波器来识别对角…

嵌入式学习-网络编程-Day1

Day1 思维导图 作业 实现一下套接字通信 代码 #include<myhead.h>int main(int argc, const char *argv[]) {//1、创建套接字int sfd socket(AF_INET, SOCK_STREAM, 0);//参数1&#xff1a;通信域&#xff1a;使用的是ipv4通信//参数2&#xff1a;表示使用tcp通信//参…

算法通关村第十四关—数据流的中位数(黄金)

数据流中中位数的问题 LeetCode295,中位数是有序列表中间的数。如果列表长度是偶数&#xff0c;中位数则是中间两个数的平均值。 例如&#xff1a;[2,3,4]的中位数是3 [2,3]的中位数是(23)/22.5 实现 MedianFinder 类: MedianFinder() 初始化 MedianFinder 对象。void addNum(…

从零学Java 多线程(基础)

Java 多线程(基础) 文章目录 Java 多线程(基础)1 多线程1.1 多任务1.2 多线程1.3 普通方法调用和多线程 2 进程和线程2.1 什么是进程(Process)?2.2 什么是线程(Thread)?2.3 进程和线程的区别 3 线程的实现3.1 线程的组成3.2 线程执行特点3.3 线程的创建3.3.1 继承Thread类3.3…

[杂项]如何快速制作CSDN封面

这里写目录标题 一、封面尺寸二、封面制作工具 一、封面尺寸 CSDN的封面尺寸为尺寸 240 135 比例16&#xff1a;9。 二、封面制作工具 制作工具 进入工具后设置好宽度高度背景色&#xff0c;调节好自定义内容后点击最下方的下载按钮&#xff0c;将文件下载到本地后修改文件后…

CAN总线记录仪在车企服务站的应用

CAN总线记录仪在车企服务站的应用 CAN总线记录仪在车企服务站中有着广泛的应用。这种设备可以记录车上的CAN总线数据&#xff0c;方便工程师进行分析&#xff0c;以找出可能存在的问题。CAN记录仪一般采用TF卡来存储数据&#xff0c;实现离线脱机实时存储。数据存储完毕后&…

node各个版本的下载地址

下载地址&#xff1a; https://nodejs.org/dist/ 可以下载多个版本&#xff0c;使用nvm控制切换&#xff08;需要先安装nvm再安装node&#xff09; nvm下载地址&#xff08;访问的是github&#xff0c;请科学上网&#xff0c;下载后解压安装exe即可&#xff09;&#xff1a;h…

命令行访问远程mysql数据库

mysql -uroot -p123456 -h192.168.1.10 -P3306 -Dmysql_test mysql -u用户名 -p密码 -h远程数据库IP地址 -P端口 -D数据库名

《向量数据库指南》RAG 应用中的指代消解——解决方案初探

随着 ChatGPT 等大语言模型(LLM)的不断发展&#xff0c;越来越多的研究人员开始关注语言模型的应用。 其中&#xff0c;检索增强生成&#xff08;Retrieval-augmented generation&#xff0c;RAG&#xff09;是一种针对知识密集型 NLP 任务的生成方法&#xff0c;它通过在生成过…

使用 PyQt 实现简单数据绑定和组件化

下面是一个使用 PyQt 实现简单数据绑定和组件化的示例代码&#xff1a; python复制代码 import sys from PyQt5.QtWidgets import QApplication, QLabel, QVBoxLayout, QPushButton class Example(QWidget): def __init__(self): super().__init__() self.initUI() def initU…

python入门,数据容器:字典dict

字典作用就和它的名字一样&#xff0c;我们可以通过某个关键字找到它对应的信息&#xff0c;或者讲的高级一点&#xff0c;就是key与value的对应关系 举例&#xff1a; 一场考试小明考了80分&#xff0c;小红考了90分&#xff0c;小东考了95分&#xff0c;在字典里&#xff0…

Python提取PDF中部分页面的实战代码

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

【Spring 篇】深入解析SpringMVC的组件魅力

SpringMVC&#xff0c;这个名字在Java Web开发者的耳边仿佛是一首动听的旋律&#xff0c;携着轻盈的氛围&#xff0c;带给我们一种愉悦的编程体验。但是&#xff0c;当我们深入探寻这个框架时&#xff0c;它的魅力远不止表面的简单&#xff0c;它由许多组件构成&#xff0c;每个…

C程序训练:两个数组按规则结合形成一个集合

题目描述&#xff1a; 小花有一个数组A&#xff0c;小树有一个数组B。小花和小树的关系很好&#xff0c;他们希望合并手中的数组&#xff0c;得到新的集合C{ab|a∈A, b∈B}。 输入格式&#xff1a;第一行输入两个整数N,M&#xff0c;分别表示数组A,B的长度。第二行包含N个整数…

02-k8s学习笔记之相关组件

1、控制面板组件&#xff08;Master&#xff09; kube-apiserver API 服务器是 Kubernetes 控制平面的组件&#xff0c; 该组件负责公开了 Kubernetes API&#xff0c; 负责处理接受请求的工作。 API 服务器是 Kubernetes 控制平面的前端。kube-controller-manager kube-con…