python爬虫-----深入了解 requests 库（第二十五天）

🎈🎈作者主页： 喔的嘛呀🎈🎈
🎈🎈所属专栏：python爬虫学习🎈🎈
✨✨谢谢大家捧场，祝屏幕前的小伙伴们每天都有好运相伴左右，一定要天天开心哦！✨✨ 

 

 

目录

一、发送请求

二、处理响应

三、请求头和响应头

四、状态码和异常处理

五、cookie

六、会话管理

七、重定向和代理

在学习 Python 爬虫的第二十五天，你将进一步深入了解 requests 库，这是一个在爬虫开发中非常重要的工具。requests 库提供了简单而强大的接口，使得发送 HTTP 请求和处理响应变得十分容易。在这一阶段，我们会学习到如何更有效地使用 requests 库，处理复杂的请求和响应，以及处理各种网络情况下的异常。

我总结了十四个知识点，今天我们先来看前七个。

一、发送请求

发送请求是使用 requests 库中的 get 和 post 方法来实现的。这两种方法分别用于发送 GET 和 POST 请求。下面是它们的基本用法：

  1. 发送 GET 请求 使用 requests.get 方法可以发送一个 GET 请求到指定的 URL。示例代码如下：

    import reques
url = '<http://example.com/api>'
response = requests.get(url)print(response.text)

    在这个例子中，我们向 http://example.com/api 发送了一个 GET 请求，并将响应的内容打印出来。

  2. 发送带参数的 GET 请求 如果需要在 URL 中传递参数，可以将参数作为一个字典传递给 params 参数。示例代码如下：

    
import requestsurl = '<http://example.com/api>'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)print(response.text)

    这里我们传递了一个字典作为参数，并在 URL 中生成了类似 http://example.com/api?key1=value1&key2=value2 的 URL。

  3. 发送 POST 请求 使用 requests.post 方法可以发送一个 POST 请求到指定的 URL。示例代码如下：

    
import requestsurl = '<http://example.com/api>'
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post(url, data=data)print(response.text)

    在这个例子中，我们向 http://example.com/api 发送了一个 POST 请求，并将响应的内容打印出来。

  4. 发送带 JSON 数据的 POST 请求 如果需要发送 JSON 数据，可以使用 json 参数。示例代码如下：

    
import requestsurl = '<http://example.com/api>'
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post(url, json=data)print(response.text)

    这里我们使用 json=data 将字典数据转换为 JSON 格式，并发送到服务器。

以上是使用 requests 库发送 GET 和 POST 请求的基本用法。根据具体的需求，可以通过设置更多的参数来定制请求，如请求头、超时时间等。

二、处理响应

处理 requests 库发送请求后的响应是非常重要的，可以通过响应对象获取到许多有用的信息。以下是一些常见的处理响应的方法和属性：

  1. 获取响应内容
    • response.text：以文本形式获取响应内容。
    • response.content：以字节形式获取响应内容。
    • response.json()：将响应内容解析为 JSON 格式。
  2. 获取响应状态码
    • response.status_code：获取响应的 HTTP 状态码。
  3. 获取响应头信息
    • response.headers：获取响应头的字典形式。
  4. 处理异常
    • response.raise_for_status()：如果响应状态码不是 200，会抛出一个 HTTPError 异常。
  5. 获取请求信息
    • response.request.url：获取请求的 URL。
    • response.request.headers：获取请求的头信息。
  6. 其他
    • response.elapsed：获取请求响应时间。
    • response.history：获取重定向历史。

下面是一个示例，演示了如何发送请求并处理响应：


import requestsurl = '<http://example.com/api>'
response = requests.get(url)# 获取响应内容
print(response.text)# 获取响应状态码
print(response.status_code)# 获取响应头信息
print(response.headers)# 检查是否有异常
response.raise_for_status()# 获取请求的 URL 和头信息
print(response.request.url)
print(response.request.headers)

通过这些方法和属性，我们可以更好地处理 requests 库发送请求后的响应，从而更有效地编写爬虫程序。

三、请求头和响应头

在使用 requests 库发送请求和处理响应时，请求头和响应头都是非常重要的信息。请求头包含了发送请求的一些元数据，如用户代理、接受的内容类型等。而响应头包含了服务器返回的一些元数据，如内容类型、服务器信息等。以下是如何使用 requests 库获取请求头和响应头的示例：

  1. 获取请求头信息：

import requestsurl = '<http://example.com/api>'
headers = {'User-Agent': 'My User Agent','Accept': 'application/json'
}
response = requests.get(url, headers=headers)# 获取请求头信息
request_headers = response.request.headers
print("请求头信息：")
for key, value in request_headers.items():print(f"{key}: {value}")
  1. 获取响应头信息：

import requestsurl = '<http://example.com/api>'
response = requests.get(url)# 获取响应头信息
response_headers = response.headers
print("响应头信息：")
for key, value in response_headers.items():print(f"{key}: {value}")

通过这些方法，我们可以获取到请求头和响应头的详细信息，有助于了解请求和响应的具体情况，并在需要时进行调试和分析。

四、状态码和异常处理

在使用 requests 库发送网络请求时，了解状态码和异常处理是非常重要的。状态码表示服务器对请求的处理结果，常见的状态码有：

  • 200：请求成功。
  • 404：请求的资源未找到。
  • 500：服务器内部错误。

异常处理可以帮助我们处理在发送请求时可能出现的各种异常情况，如网络连接问题、超时等。以下是如何获取状态码和处理异常的示例：

  1. 获取状态码：

import requestsurl = '<http://example.com/api>'
response = requests.get(url)# 获取响应状态码
status_code = response.status_code
print(f"响应状态码：{status_code}")if status_code == 200:print("请求成功")
elif status_code == 404:print("请求的资源未找到")
elif status_code == 500:print("服务器内部错误")
# 其他状态码的处理...
  1. 异常处理：

import requests
from requests.exceptions import HTTPError, ConnectionError, Timeouturl = '<http://example.com/api>'
try:response = requests.get(url)response.raise_for_status()  # 检查响应状态码
except HTTPError as http_err:print(f'HTTP error occurred: {http_err}')
except ConnectionError as conn_err:print(f'Connection error occurred: {conn_err}')
except Timeout as timeout_err:print(f'Request timed out: {timeout_err}')
except Exception as err:print(f'Other error occurred: {err}')

通过这些方法，我们可以获取到状态码并根据不同的状态码或异常类型进行相应的处理，确保你的程序在遇到异常情况时能够做出正确的响应。

五、cookie

在网络通信中，Cookie 是服务器发送到浏览器并保存在本地的一小段数据，用于跟踪用户的会话信息、存储用户偏好等。在使用 requests 库发送请求时，可以使用 Cookies 来维持会话状态或者传递身份验证信息。以下是如何在 requests 中使用 Cookies 的示例：

  1. 发送带有 Cookies 的请求：

import requests# 定义要发送的 Cookies
cookies = {'cookie1': 'value1', 'cookie2': 'value2'}# 发送带有 Cookies 的请求
response = requests.get('<http://example.com/api>', cookies=cookies)# 处理响应
print(response.text)
  1. 获取响应中的 Cookies：

import requestsresponse = requests.get('<http://example.com/api>')# 获取响应中的 Cookies
response_cookies = response.cookies
for cookie in response_cookies:print(f"Cookie Name: {cookie.name}, Value: {cookie.value}")

通过这些方法，我们可以在 requests 中使用 Cookies 来发送请求和处理响应，实现对会话状态的维持和管理。

六、会话管理

在使用 requests 库发送多个相关请求时，为了保持会话状态（如保持登录状态、传递身份验证信息等），可以使用会话对象 requests.Session()。会话对象可以在多个请求之间保持会话状态，并且可以使用同一个会话对象发送多个请求，从而避免重复设置相同的参数。以下是如何使用会话对象管理会话状态的示例：

（1）创建会话对象：


import requests# 创建会话对象
session = requests.Session()

（2）发送请求：


# 使用会话对象发送请求
response1 = session.get('<http://example.com/login>', params={'username': 'user', 'password': 'pass'})
response2 = session.get('<http://example.com/profile>')

（3）处理响应：


# 处理响应
print(response1.text)
print(response2.text)

通过这种方式，我们可以使用同一个会话对象发送多个请求，会话对象会自动处理 Cookies，并且保持会话状态，从而实现对会话状态的管理。

七、重定向和代理

在使用 requests 库发送网络请求时，可能会遇到重定向和代理的情况。重定向是指服务器返回一个重定向响应，告诉客户端应该重定向到另一个 URL。代理是指通过代理服务器发送请求，使得请求看起来像是从代理服务器发出的，而不是直接从客户端发出的。以下是如何处理重定向和使用代理的示例：

  1. 重定向处理：

import requests# 发送请求，allow_redirects 参数控制是否允许重定向，默认为 True
response = requests.get('<http://example.com>', allow_redirects=True)# 获取重定向历史
for redirect in response.history:print(f"Redirected to: {redirect.url}")# 获取最终响应的 URL 和内容
print(f"Final URL: {response.url}")
print(response.text)
  1. 使用代理：

import requests# 设置代理服务器
proxies = {'http': '<http://proxy.example.com>','https': '<https://proxy.example.com>'
}# 发送请求时指定代理
response = requests.get('<http://example.com>', proxies=proxies)# 处理响应
print(response.text)

通过这些方法，我们可以处理重定向并使用代理发送请求，从而实现更灵活的请求发送和响应处理。

在第二十五天的学习中，我们深入探讨了 Python 网络爬虫的关键概念和技术。我们学习了如何发送请求并处理响应，了解了请求头和响应头的重要性，以及如何处理不同的状态码和异常情况。我们还学习了如何使用 Cookie 来管理会话状态，以及如何处理重定向和使用代理。

这些知识对于编写高效、稳定的网络爬虫至关重要。通过不断练习和探索，我们可以不断提升自己的爬虫技能，从而更好地应对各种复杂的网络数据抓取任务。

在接下来的学习中，我们将继续深入探讨网络爬虫的更多高级主题，为构建强大的爬虫系统打下坚实的基础。让我们继续努力学习，探索更多有趣的内容！

好啦，今天的学习就到这里了。小伙伴们，拜拜啦！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/826113.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

openAI tts Java文本转语音完整前后端代码 html

openAI tts Java文本转语音完整前后端代码 html

Java后端代码 maven 仓库&#xff1a; <!--openAI 请求工具--> <dependency><groupId>com.unfbx</groupId><artifactId>chatgpt-java</artifactId><version>1.1.5</version> </dependency>maven 仓库官方 tts 使用案例…
阅读更多...
浅析RED和EN 18031

浅析RED和EN 18031

文章目录 前言欧盟的法律文件什么是REDRED的发展EU 2022/30法规EU 2023/2444RED与EN 18031的关系 前言 提示&#xff1a;本文大致表述了欧盟的一些立法常识&#xff0c;RED的由来与发展&#xff0c;以及它跟EN 18031的关系 因为工作原因&#xff0c;最近稍微研究了一下欧盟即将…
阅读更多...
微波炉定时器开关

微波炉定时器开关

微波炉火力调节开关及定时器开关内部结构 参考链接&#xff1a; 微波炉火力调节开关及定时器开关判断好坏小经验-百度经验 (baidu.com)https://jingyan.baidu.com/article/5d6edee2d175c399eadeecfd.html微波炉拆解图示&#xff0c;微波炉结构原理&#xff0c;轻松玩转微波炉维…
阅读更多...
AI大模型探索之路-应用篇14：认识国产开源大模型GLM

AI大模型探索之路-应用篇14：认识国产开源大模型GLM

目录 前言 一、国产主流大模型概览 1. 国内主流大模型清单 2. 主流大模型综合指数 3. 大语言模型评测榜单 二、GLM大模型介绍 三、GLM大模型发展历程 四、GLM家族之基座模型GLM-130B 五、GLM家族之ChatGLM3 六、GLM家族之WebGLM 七、GLM家族之CogVLM 1. CogVLM 2. …
阅读更多...
春招冲刺百题计划|栈

春招冲刺百题计划|栈

Java基础复习 Java数组的声明与初始化Java ArrayListJava HashMapJava String 类Java LinkedListJava Deque继承LinkedListJava Set 第一题&#xff1a;有效的括号 很简单的题&#xff0c;从大一做到现在&#xff0c;就是复习一下语法。 class Solution {public boolean i…
阅读更多...
系统架构最佳实践 -- 新能源汽车产业架构设计

系统架构最佳实践 -- 新能源汽车产业架构设计

随着环保意识的增强和能源结构的转型&#xff0c;新能源汽车产业正迅速崛起成为汽车行业的新宠。构建一个完善的新能源汽车产业架构对于推动产业发展、提升竞争力至关重要。本文将从设计原则、关键技术、产业生态等方面&#xff0c;探讨如何设计与实现新能源汽车产业架构。 新能…
阅读更多...
LabVIEW专栏六、LabVIEW项目

LabVIEW专栏六、LabVIEW项目

一、梗概 项目&#xff1a;后缀是.lvproj&#xff0c;在实际开发的过程中&#xff0c;一般是要用LabVIEW中的项目来管理代码&#xff0c;也就是说相关的VI或者外部文件&#xff0c;都要放在项目中来管理。 在LabVIEW项目中&#xff0c;是一个互相依赖的整体&#xff0c;可以包…
阅读更多...
TongRds docker 镜像做成与迁移（by liuhui）

TongRds docker 镜像做成与迁移（by liuhui）

TongRds docker 镜像做成与迁移 一&#xff0c;使用 docker commit 命令制作 TongRds docker 镜 像 1.1 拉取基础镜像 centos 并运行该镜像 拉取镜像&#xff1a;docker pull ubuntu 镜像列表&#xff1a;docker images 运行镜像&#xff1a;docker run -itd --name myubuntu…
阅读更多...
每日一题(L2-011):玩转二叉树--建树+层序遍历

每日一题(L2-011):玩转二叉树--建树+层序遍历

与L2-006近乎相同&#xff0c;先建树&#xff0c;然后遍历 #include<bits/stdc.h> using namespace std; int in[35]; int pre[35]; typedef struct Tree{int num;Tree* left;Tree* right; }T;T * build(int in1,int in2,int pre1,int pre2){T * tnew T;t->numpre[pr…
阅读更多...
西宁市初中生地会考报名照片尺寸要求及手机自拍方法

西宁市初中生地会考报名照片尺寸要求及手机自拍方法

西宁市初中生地会考即将到来&#xff0c;对于参加考试的同学们来说&#xff0c;准备一张符合规格的报名照片是整个报名流程中不可或缺的一环。一张规范的证件照不仅展示了学生的精神面貌&#xff0c;同时也是顺利报名的重要条件之一。本文将详细介绍西宁市初中生地会考报名所需…
阅读更多...
LLM长度外推理论与实践

LLM长度外推理论与实践

定义&#xff1a; 长度外推&#xff0c;即免训练长度外推&#xff0c;就是不需要用长序列数据进行额外的训练&#xff0c;只用短序列语料对模型进行训练&#xff0c;就可以得到一个能够处理和预测长序列的模型&#xff0c;即“Train Short, Test Long”。 判断方法&#xff1…
阅读更多...
【论文源码实战】轻量化MobileSAM，分割一切大模型出现，模型缩小60倍，速度提高40倍

【论文源码实战】轻量化MobileSAM，分割一切大模型出现，模型缩小60倍，速度提高40倍

前言 MobileSAM模型是在2023年发布的&#xff0c;其对之前的SAM分割一切大模型进行了轻量化的优化处理&#xff0c;模型整体体积缩小了60倍&#xff0c;运行速度提高40倍&#xff0c;但分割效果却依旧很好。 MobileSAM在使用方法上沿用了SAM模型的接口&#xff0c;因此可以与…
阅读更多...
Java对象克隆-浅拷贝与深拷贝

Java对象克隆-浅拷贝与深拷贝

目录 1、对象的克隆 1.1 对象的浅拷贝 1.2 对象深拷贝 1、对象的克隆 1.1 对象的浅拷贝 在实际编程过程中&#xff0c;我们常常要遇到这种情况&#xff1a;有一个对象A&#xff0c;在某一时刻A中已经包含了一些有效值&#xff0c;此时可能会需要一个和A完全相同新对象B&am…
阅读更多...
论婚恋相亲交友软件的市场前景和开发方案H5小程序APP源码

论婚恋相亲交友软件的市场前景和开发方案H5小程序APP源码

随着移动互联网的快速发展和社交需求的日益增长&#xff0c;婚恋相亲交友软件小程序成为了越来越多单身人士的选择。本文将从市场前景、使用人群、盈利模式以及竞品分析等多个角度&#xff0c;综合论述这一领域的现状与发展趋势。 一、市场前景 在快节奏的现代生活中&#xf…
阅读更多...
得物sign参数逆向分析与Python算法还原

得物sign参数逆向分析与Python算法还原

文章目录 1. 写在前面2. 接口分析3. 断点分析4. Python算法还原 【&#x1f3e0;作者主页】&#xff1a;吴秋霖 【&#x1f4bc;作者介绍】&#xff1a;擅长爬虫与JS加密逆向分析&#xff01;Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚…
阅读更多...
Postman调用OpenApi接口

Postman调用OpenApi接口

首先你需要科学上网。。。。。 请求方式&#xff1a;post 请求地址&#xff1a;https://api.openai.com/v1/chat/completions 请求头&#xff1a; Authorization : Bearer key Content-Type : application/json Body : { "messages": [{ "role": &quo…
阅读更多...
【论文精读】Bag of Tricks for Image Classification with Convolutional Neural Networks

【论文精读】Bag of Tricks for Image Classification with Convolutional Neural Networks

这篇文章比较早了&#xff0c;2018年的 摘要 最近在图像分类研究方面取得的大部分进展可以归功于训练程序的改进&#xff0c;如数据增强和优化方法的改变。然而&#xff0c;在文献中&#xff0c;大多数改进要么作为实现细节简要提到&#xff0c;要么只在源代码中可见。在本文中…
阅读更多...
CV method：最新Backbone---TransNeXt

CV method：最新Backbone---TransNeXt

文章目录 前言一、提出问题二、模型结构1. Pixel-focused Attention&#xff08;像素聚焦注意力机制&#xff09;2. Aggregating Diverse Attentions in a Single Mixer Query embedding3. ConvGLU4. 整体模型架构 三、方法论1. PFA设计原理2. Aggregating Diverse Attention原…
阅读更多...
前端从零到一搭建脚手架并发布到npm

前端从零到一搭建脚手架并发布到npm

这里写自定义目录标题 一、为什么需要脚手架&#xff1f;二、前置-第三方工具的使用1. 创建demo并运行-4步新建文件夹 zyfcli&#xff0c;并初始化npm init -y配置入口文件 2.commander-命令行指令3. chalk-命令行美化工具4. inquirer-命令行交互工具5. figlet-艺术字6. ora-lo…
阅读更多...
【算法】合并两个有序链表

【算法】合并两个有序链表

本题来源---《合并两个有序链表》 题目描述 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1&#xff1a; 输入&#xff1a;l1 [1,2,4], l2 [1,3,4] 输出&#xff1a;[1,1,2,3,4,4] /*** Definition for singl…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023