[和ChatGPT学编程]Python Requests 简介

requests 是一个流行的 Python 库，用于发送 HTTP 请求。它提供了简洁而友好的 API，使得发送 HTTP 请求变得简单而直观。requests 具有许多强大的功能，适用于各种 HTTP 请求场景，包括 GET、POST、PUT、DELETE 等。

目录

    • requests 库的主要特点和使用示例
    • requests 相关配置项
    • 什么时候设置 stream=True
    • 如何设置连接池
    • HTTPAdapter详解
    • max_retries=3时多久会报超时

requests 库的主要特点和使用示例

  1. 安装：
    你可以使用 pip 安装 requests：
pip install requests
  1. 发送 GET 请求：
import requestsresponse = requests.get('https://www.example.com')
print(response.text)
  1. 发送 POST 请求：
import requestsdata = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.example.com/post-endpoint', data=data)
print(response.text)
  1. 处理 JSON 响应：
import requestsresponse = requests.get('https://api.example.com/data')
json_data = response.json()
  1. 设置请求头：
import requestsheaders = {'User-Agent': 'MyApp/1.0'}
response = requests.get('https://www.example.com', headers=headers)
  1. 处理响应状态码和异常：
import requests
try:response = requests.get('https://www.example.com')response.raise_for_status()  # 抛出 HTTPError 异常，如果响应状态码不是 2xx
except requests.exceptions.HTTPError as err:print(f"HTTP Error: {err}")
  1. 传递 URL 查询参数：
import requestsparams = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://www.example.com', params=params)
  1. 处理响应流（Streaming）：
import requestswith requests.get('https://www.example.com/large_file.zip', stream=True) as response:with open('large_file.zip', 'wb') as file:for chunk in response.iter_content(chunk_size=128):file.write(chunk)
  1. 使用 Session：
import requestswith requests.Session() as session:session.get('https://www.example.com/login', params={'user': 'username', 'password': 'password'})response = session.get('https://www.example.com/dashboard')
  1. 文件上传：
import requestsfiles = {'file': ('filename.txt', open('filename.txt', 'rb'))}
response = requests.post('https://www.example.com/upload', files=files)

requests 是一个功能强大且易于使用的库，适用于各种网络请求场景。通过上述示例，你可以看到它提供了简单而灵活的 API，用于处理 HTTP 请求和响应。

requests 相关配置项

  1. params：

用于向 URL 中传递查询参数的字典或字节序列。例如：params={‘key1’: ‘value1’, ‘key2’: ‘value2’}。

  1. headers：

用于设置请求头的字典，包含了一些额外的信息，如用户代理、认证信息等。例如：headers={‘User-Agent’: ‘Mozilla/5.0’}。

  1. data：

发送 POST 请求时，用于发送表单数据或 JSON 数据的字典、字节序列或文件。例如：data={‘key1’: ‘value1’, ‘key2’: ‘value2’}。
json：

发送 POST 请求时，用于发送 JSON 数据的字典。requests 会自动将其转为 JSON 格式。例如：json={‘key1’: ‘value1’, ‘key2’: ‘value2’}。

  1. auth：

用于设置 HTTP 基本认证的元组，包含用户名和密码。例如：auth=(‘username’, ‘password’)。

  1. cookies：

用于发送请求时携带的 cookies 的字典。例如：cookies={‘cookie1’: ‘value1’, ‘cookie2’: ‘value2’}。

  1. timeout：

用于设置请求超时时间，以秒为单位。如果在指定时间内没有得到响应，将引发 requests.Timeout 异常。例如：timeout=5。

  1. allow_redirects：

用于设置是否允许重定向，默认为 True。如果设置为 False，则禁止重定向。例如：allow_redirects=False。

  1. proxies：

用于设置代理服务器的字典。例如：proxies={‘http’: ‘http://proxy.example.com’, ‘https’: ‘https://proxy.example.com’}。

  1. verify：

用于设置是否验证 SSL 证书，默认为 True。如果设置为 False，将忽略 SSL 证书验证。例如：verify=True。

  1. stream：

用于控制是否立即下载响应体，默认为 False。如果设置为 True，则可以逐块地处理响应体。例如：stream=True。

  1. files：

用于上传文件的字典，包含文件名和文件内容。例如：files={‘file’: (‘filename.txt’, open(‘filename.txt’, ‘rb’))}。

  1. hooks：

用于设置回调钩子函数的字典，用于处理请求和响应。例如：hooks={‘response’: callback_function}。

什么时候设置 stream=True

在使用 Python 中的 requests 库时，设置 stream=True 通常适用于以下情况：

下载大文件或数据流:

  • 当你需要下载大型文件或处理数据流时，使用 stream=True 可以避免将整个响应体一次性加载到内存中，而是逐块地处理响应体。
    长时间运行的请求:

  • 对于可能需要很长时间才能完成的请求，使用 stream=True 可以逐步获取响应，而不需要等待整个响应完全下载才能开始处理数据。
    逐块处理响应体:

  • 如果你希望逐块处理响应体，而不是等整个响应体下载完成，可以使用 stream=True 并通过 iter_content() 或 iter_lines() 方法逐块地获取响应体。

  • 避免大内存占用:

  • 当响应体非常大时，将其一次性加载到内存中可能导致内存占用过大，甚至引发 MemoryError。使用 stream=True 可以有效地减小内存占用，提高程序的稳定性。

如何设置连接池

在 Python 的 requests 库中，可以通过定制 HTTPAdapter 来设置连接池的相关参数，以控制 HTTP 连接的行为。

创建连接池：

import requests
from requests.adapters import HTTPAdapter# 创建一个自定义的 HTTPAdapter
custom_adapter = HTTPAdapter(pool_connections=5,   # 设置连接池的大小，即最大同时保持的连接数pool_maxsize=10,       # 设置每个主机的最大连接数，即每个目标主机允许保持的最大连接数pool_block=True,       # 如果连接池达到最大容量，并且没有可用连接，设置为 True 时，请求将会阻塞直到有可用的连接pool_timeout=30        # 设置获取连接的超时时间，单位为秒
)# 创建一个 Session，并将自定义的 HTTPAdapter 添加到 Session
session = requests.Session()
session.mount('http://', custom_adapter)
session.mount('https://', custom_adapter)# 使用带有自定义适配器的 Session 发送请求
response = session.get('https://www.example.com')
print(response.text)

HTTPAdapter详解

在 Python 的 requests 库中，HTTPAdapter 是一个适配器类，用于为 requests.Session 提供更灵活的 HTTP 连接池和持久性连接的配置。HTTPAdapter 允许你自定义 HTTP 连接的行为，例如设置连接池的大小、设置连接的生存时间等。

以下是对 HTTPAdapter 的详细介绍：

创建和使用 HTTPAdapter：

import requests
from requests.adapters import HTTPAdapterurl = 'https://www.example.com'# 创建一个 Session
session = requests.Session()# 创建一个自定义的 HTTPAdapter
adapter = HTTPAdapter(max_retries=3, pool_connections=10, pool_maxsize=10, pool_block=True)# 将自定义的 HTTPAdapter 添加到 Session
session.mount('http://', adapter)
session.mount('https://', adapter)# 使用带有自定义适配器的 Session 发送请求
response = session.get(url)
print(response.text)

HTTPAdapter 的主要参数和方法：

  • max_retries：
    设置重试次数，当请求失败时自动重试。默认为 0，即不进行重试。
  • pool_connections：
    设置连接池的大小，即最大同时保持的连接数。
  • pool_maxsize：
    设置每个主机的最大连接数，即每个目标主机允许保持的最大连接数。
  • pool_block：
    如果连接池达到最大容量，并且没有可用连接，设置为 True 时，请求将会阻塞直到有可用的连接。设置为 False 时，会引发 ConnectionError。默认为 True。
  • pool_block：
    如果连接池达到最大容量，并且没有可用连接，设置为 True 时，请求将会阻塞直到有可用的连接。设置为 False 时，会引发 ConnectionError。默认为 True。
  • pool_timeout：
    设置获取连接的超时时间，单位为秒。
  • close()：
    关闭适配器，并关闭其所有的连接。

使用 HTTPAdapter 的好处：

  • 连接池控制：
    通过 HTTPAdapter 可以自定义连接池的大小和连接数，以便更好地控制和优化 HTTP 连接的使用。
  • 重试机制：
    可以通过设置 max_retries 参数启用重试机制，确保在发生连接错误时进行自动重试。
  • 持久性连接：
    可以通过适配器来实现持久性连接，提高多次请求同一主机时的性能。
  • 定制化配置：
    可以通过适配器提供的参数来定制化配置，以满足特定的请求需求。
    使用 HTTPAdapter 可以使得请求更加灵活和可定制，特别是在处理大量请求、需要精细控制连接的情况下，可以通过适配器来优化连接的管理。

max_retries=3时多久会报超时

在 requests 中，max_retries 参数用于设置在请求失败时的最大重试次数。重试时会等待一段时间再次尝试请求，这个等待时间由 Retry 实例的 backoff_factor 和 total 参数控制。

默认情况下，backoff_factor 是 0，即每次重试之间的等待时间是固定的。如果设置了 backoff_factor，则等待时间会指数增加，以实现一种指数退避的效果。

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry# 创建一个自定义的 Retry 实例，设置最大重试次数为 3，backoff_factor 为 1
retry = Retry(total=3, backoff_factor=1)# 创建一个自定义的 HTTPAdapter，使用自定义的 Retry 实例
custom_adapter = HTTPAdapter(max_retries=retry)# 创建一个 Session，并将自定义的 HTTPAdapter 添加到 Session
session = requests.Session()
session.mount('http://', custom_adapter)
session.mount('https://', custom_adapter)url = 'https://www.example.com'# 使用带有自定义适配器的 Session 发送请求
try:response = session.get(url, timeout=5)  # 设置超时时间为 5 秒response.raise_for_status()print(response.text)
except requests.exceptions.RequestException as e:print(f"请求失败: {e}")

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/149006.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Django-DRF用法】多年积累md笔记，第3篇：Django-DRF的序列化和反序列化详解

【Django-DRF用法】多年积累md笔记，第3篇：Django-DRF的序列化和反序列化详解

本文从分析现在流行的前后端分离Web应用模式说起，然后介绍如何设计REST API，通过使用Django来实现一个REST API为例，明确后端开发REST API要做的最核心工作，然后介绍Django REST framework能帮助我们简化开发REST API的工作。 全…
阅读更多...
Docker Swarm: 容器编排的力量和优势深度解析

Docker Swarm: 容器编排的力量和优势深度解析

文章目录 Docker Swarm的核心概念1. 节点（Node）2. 服务（Service）3. 栈（Stack） 使用Docker Swarm1. 初始化Swarm2. 加入节点3. 创建服务4. 扩展和缩减服务5. 管理栈6. 管理服务更新 Docker Swarm的优势深度解…
阅读更多...
shadow复习之planar shadow

shadow复习之planar shadow

planar shadow 通常来说 shadow都是画一个map 这个map有个很大的问题，那就是size有问题 你希望有很高的精度，就必定要用大size的图片，这显然是不太妙的 那么这里就出现一个取巧的法子，如果你只考虑投影到平面上，光源是…
阅读更多...
分类预测 | Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测

分类预测 | Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测

分类预测 | Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测 目录 分类预测 | Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现基于SDAE堆叠去噪自编码器的数据分类预测（完整源码和数据) 2.多…
阅读更多...
C#中的DateTime类

C#中的DateTime类

C# 中的 DateTime 类是用于表示日期和时间的结构。它提供了一系列属性和方法，用于处理日期和时间的各种操作和计算。下面是一些常用的 DateTime 类的用法和方法解释，以及相应的示例说明： 创建 DateTime 对象： 使用当前日期和时间创…
阅读更多...
Kubernetes学习-概念2

Kubernetes学习-概念2

参考：关于 cgroup v2 | Kubernetes 关于 cgroup v2 在 Linux 上，控制组约束分配给进程的资源。 kubelet 和底层容器运行时都需要对接 cgroup 来强制执行为 Pod 和容器管理资源， 这包括为容器化工作负载配置 CPU/内存请求和限制。 Linux 中…
阅读更多...
概念理论类: TCP/IP、Http、Socket之间的区别

概念理论类: TCP/IP、Http、Socket之间的区别

转载：百度安全验证 一、TCP/IP 1. 定义 TCP/IP（Transmission Control Protocol/Internet Protocol）是一组用于互联网的通信协议，由美国国防部高级研究计划署（ARPA）在20世纪70年代开发，被广泛…
阅读更多...
BatchNormalization:解决神经网络中的内部协变量偏移问题

BatchNormalization:解决神经网络中的内部协变量偏移问题

ICML2015 截至目前51172引 论文链接 代码连接(planing) 文章提出的问题 减少神经网络隐藏层中的”内部协变量偏移”问题。 在机器学习领域存在“协变量偏移”问题，问题的前提是我们划分数据集的时候，训练集和测试集往往假设是独立同分布（i.i.d）的，这种独立同分布更有利于…
阅读更多...
结合scss实现黑白主题切换

结合scss实现黑白主题切换

是看了袁老师的视频后，自己做了一下练习。原视频地址： b站地址https://www.bilibili.com/video/BV15z4y1N7jB/?spm_id_from333.1007.top_right_bar_window_history.content.click&vd_sourcec6cf63302f28d94ebc02cbedcecc57ea首先创建一个全局的scs…
阅读更多...
“ /^A-Z:\\{1,2}^/:\*\?＜＞\|+\.(jpg|gif|png|bmp)$/i ”这个正则表达式的理解

“ /^A-Z:\\{1,2}^/:\*\?＜＞\|+\.(jpg|gif|png|bmp)$/i ”这个正则表达式的理解

这个正则表达式可以分解为以下几个部分： ^：这是一个开始符号，表示匹配必须从字符串的开始部分开始。/：这是一个斜杠符号，通常在正则表达式中用来表示特殊字符的转义。A-Z:：这部分表示匹配一个大写字母后跟…
阅读更多...
055-第三代软件开发-控制台输出彩虹日志

055-第三代软件开发-控制台输出彩虹日志

第三代软件开发-控制台输出彩虹日志 文章目录 第三代软件开发-控制台输出彩虹日志项目介绍控制台输出彩虹日志实现原理真实代码 总结 关键字： Qt、 Qml、 关键字3、 关键字4、 关键字5 项目介绍 欢迎来到我们的 QML & C 项目！这个项目结合了 QM…
阅读更多...
GSVA，GSEA,KEGG,GO学习

GSVA，GSEA,KEGG,GO学习

目录 GSVA 1：获取注释基因集 2：运行 GSEA 1,示例数据集 2,运行 GSEA_KEGG富集分析 GSEA_GO富集分析 DO数据库GSEA MSigDB数据库选取GSEA KEGG 1：运行 2：绘图 bar图 气泡图 绘图美化 GO GSVA 1：获取注…
阅读更多...
使用 JMeter 分布式性能测试

使用 JMeter 分布式性能测试

作为一个纯 JAVA 的GUI应用，JMeter 对于CPU和内存的消耗还是很惊人的，所以当需要模拟数以千计的并发用户时，使用单台机器模拟所有的并发用户就有些力不从心，甚至还会引起JAVA内存溢出的错误。不过，JMeter 也可以像 Loa…
阅读更多...
LeetCode 面试题 16.26. 计算器

LeetCode 面试题 16.26. 计算器

文章目录 一、题目二、C# 题解 一、题目 给定一个包含正整数、加()、减(-)、乘(*)、除(/)的算数表达式(括号除外)，计算其结果。 表达式仅包含非负整数，， - ，*，/ 四种运算符和空格 。 整数除法仅保留整数部分。 示例 …
阅读更多...
TikTok与媒体素养：如何辨别虚假信息？

TikTok与媒体素养：如何辨别虚假信息？

在当今数字时代，社交媒体平台如TikTok已经成为信息传播和社交互动的主要渠道之一。然而，随之而来的是虚假信息的泛滥，这对用户的媒体素养提出了严峻的挑战。本文将探讨TikTok平台上虚假信息的现象，以及如何提高媒体素养&#xff0…
阅读更多...
EfficientPhys

EfficientPhys

研究背景 基于相机的生理测量是一种非接触式方法，用于通过从身体反射的光捕获心脏信号。最常见的此类信号是通过光电体积描记图 (PPG) 测量的血容量脉搏 (BVP)。由此，可以推导出心率、呼吸率和脉搏传导时间。神经网络模型是当前最先进的 rPPG 测量方式。…
阅读更多...
Zeet构建多云战略充分发挥云的优势

Zeet构建多云战略充分发挥云的优势

大型企业通常拥有基础设施和应用团队，有能力围绕自己的业务需求构建所需平台。但对于技术团队精简、预算紧张的小企业来说，定制平台往往不现实而且难以扩展，是负担不起的“奢侈品”。 这一情况催生了平台即服务（PaaS）…
阅读更多...
高效案例检索工具，Alpha案例库智慧检索成为律师检索工具首选

高效案例检索工具，Alpha案例库智慧检索成为律师检索工具首选

“工欲善其事，必先利其器。”当今，律界同仁需要权衡的问题早已不是“要不要”使用法律科技，而是如何高质量、高效率地使用法律科技工具。在业内人士看来，随着人工智能技术的不断发展，法律行业科技化将成为不可逆转的趋…
阅读更多...
PyCharm中常用插件推荐

PyCharm中常用插件推荐

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
阅读更多...
大厂秋招真题【单调栈】Bilibili2021秋招-大鱼吃小鱼

大厂秋招真题【单调栈】Bilibili2021秋招-大鱼吃小鱼

文章目录 题目描述与示例题目描述输入描述输出描述示例一输入输出说明 示例二输入输出说明 解题思路代码PythonJavaC时空复杂度 华为OD算法/大厂面试高频题算法练习冲刺训练 题目描述与示例 题目描述 小明最近喜欢上了俄罗斯套娃、大鱼吃小鱼这些大的包住小的类型的游戏。 于…
阅读更多...
最新文章

Copyright @ 2022~2023