python爬虫-----深入了解 requests 库下篇（第二十五天）

🎈🎈作者主页： 喔的嘛呀🎈🎈
🎈🎈所属专栏：python爬虫学习🎈🎈
✨✨谢谢大家捧场，祝屏幕前的小伙伴们每天都有好运相伴左右，一定要天天开心哦！✨✨ 

hello，兄弟姐妹们！我是喔的嘛呀。今天我们来学习 requests 后七个知识点。

目录

八、超时设置

九、SSL 验证

十、文件上传和下载

十一、连接池和线程安全

十三、HTTP 方法

十四、其他方法

 

八、超时设置

在网络通信中，超时设置非常重要，它可以确保在一定时间内收到服务器的响应，避免因等待过久而导致程序长时间阻塞。在使用 requests 库发送请求时，可以通过 timeout 参数来设置超时时间，该参数接受一个元组，分别指定连接超时时间和读取超时时间，单位为秒。以下是如何设置超时的示例：

import requestsurl = '<http://example.com/api>'
# 设置超时时间为连接超时10秒，读取超时20秒
response = requests.get(url, timeout=(10, 20))# 处理响应
print(response.text)

在这个示例中，我们将连接超时时间设置为 10 秒，读取超时时间设置为 20 秒。如果在规定时间内未收到响应，requests 库会抛出一个 Timeout 异常。这样可以确保及时处理网络请求中的超时情况，提高程序的稳定性和可靠性。

九、SSL 验证

在使用 requests 库发送 HTTPS 请求时，默认会验证服务器的 SSL 证书。SSL 证书用于验证服务器身份，并确保通信过程中的数据安全性。如果需要禁用 SSL 验证，可以将 verify 参数设置为 False。但是在实际应用中，为了保证通信的安全性，建议保持默认设置，即默认开启 SSL 验证。以下是如何设置 SSL 验证的示例：

import requestsurl = '<https://example.com/api>'
# 禁用 SSL 验证
response = requests.get(url, verify=False)# 处理响应
print(response.text)

在这个示例中，我们通过将 verify 参数设置为 False，来禁用 SSL 验证。这样虽然可以忽略证书验证过程，但也会降低通信的安全性。在实际生产环境中，建议仔细考虑是否禁用 SSL 验证，确保通信的安全性。

十、文件上传和下载

在网络爬虫中，有时需要上传文件到服务器或从服务器下载文件。requests 库提供了方便的方法来处理文件上传和下载。

  1. 文件上传：使用 files 参数可以上传文件。files 参数是一个字典，键是字段名，值是文件对象。以下是一个示例：
import requestsurl = '<http://example.com/upload>'
files = {'file': open('example.txt', 'rb')}
response = requests.post(url, files=files)print(response.text)
  1. 文件下载：使用 response.iter_content(chunk_size=1024) 可以以流的方式下载文件。chunk_size 参数指定每次读取的字节数，可以根据需要调整。以下是一个示例：
import requestsurl = '<http://example.com/file.txt>'
response = requests.get(url, stream=True)with open('file.txt', 'wb') as file:for chunk in response.iter_content(chunk_size=1024):file.write(chunk)print('File downloaded successfully')

在这个示例中，我们通过 response.iter_content(chunk_size=1024) 以流的方式下载文件，并将文件写入本地。这样可以有效地处理大文件的下载。

十一、连接池和线程安全

在网络爬虫中，使用连接池可以提高性能，因为它可以减少重复创建和销毁连接的开销。另外，线程安全性也很重要，特别是在多线程环境下使用网络请求时，需要确保请求的线程安全性。requests 库提供了一些方式来管理连接池和确保线程安全性。

  1. 连接池管理：可以使用 requests.Session() 创建会话对象，并通过 requests.adapters.HTTPAdapter 设置连接池的大小、最大连接数等参数。
import requests# 创建会话对象
session = requests.Session()# 创建适配器，设置连接池的大小和最大连接数
adapter = requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=10)
session.mount('http://', adapter)
session.mount('https://', adapter)# 使用会话对象发送请求
response = session.get('<http://example.com>')
  1. 线程安全性：requests 库本身是线程安全的，但在多线程环境中使用时，应该确保每个线程都使用独立的会话对象。这样可以避免多个线程共享同一个会话对象的连接池，从而保证线程安全性。
import requests
from concurrent.futures import ThreadPoolExecutor# 创建线程池
executor = ThreadPoolExecutor(max_workers=10)def fetch_url(url):# 每个线程使用独立的会话对象session = requests.Session()response = session.get(url)print(response.text)urls = ['<http://example.com>'] * 10
executor.map(fetch_url, urls)

在这个示例中，我们使用了 concurrent.futures.ThreadPoolExecutor 创建了一个包含10个线程的线程池，并通过 map 方法并发地发送请求。每个线程内部都创建了独立的会话对象，确保了线程安全性。

十二、定制请求

定制请求是指根据需求对请求进行个性化设置，如设置请求头、请求参数、请求体等。requests 库提供了丰富的参数和方法来定制请求。

  1. 设置请求头（headers 参数）：

import requestsurl = '<http://example.com>'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
  1. 设置查询参数（params 参数）：
import requestsurl = '<http://example.com>'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)
  1. 设置请求体（data 参数）：
import requestsurl = '<http://example.com>'
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post(url, data=data)
  1. 设置超时时间（timeout 参数）：
import requestsurl = '<http://example.com>'
response = requests.get(url, timeout=5)  # 设置超时时间为5秒
  1. 设置代理服务器（proxies 参数）：
import requestsurl = '<http://example.com>'
proxies = {'http': '<http://127.0.0.1:8888>', 'https': '<https://127.0.0.1:8888>'}
response = requests.get(url, proxies=proxies)

通过这些方法，你可以根据需要定制请求，以满足不同的需求。

十三、HTTP 方法

HTTP 定义了多种请求方法，用于指定对资源的不同操作。在 requests 库中，可以使用 requests.request() 方法来发送任意类型的 HTTP 请求，其中 method 参数用于指定请求方法。以下是一些常用的 HTTP 方法及其用法：

1.GET：用于请求指定的资源。GET 请求的参数会附加在 URL 的后面。


import requestsresponse = requests.request('GET', '<http://example.com/api>')
  1. POST：用于向指定的资源提交数据，常用于表单提交或上传文件。
import requestsdata = {'key1': 'value1', 'key2': 'value2'}
response = requests.request('POST', '<http://example.com/api>', data=data)
  1. PUT：用于更新指定的资源，通常用于更新整个资源。
import requestsdata = {'key1': 'value1', 'key2': 'value2'}
response = requests.request('PUT', '<http://example.com/api>', data=data)
  1. DELETE：用于删除指定的资源。

import requestsresponse = requests.request('DELETE', '<http://example.com/api>')

5. HEAD：类似于 GET 请求，但只返回头部信息，不返回实际内容。

import requestsresponse = requests.request('HEAD', '<http://example.com/api>')

6. OPTIONS：用于获取目标资源所支持的通信选项。

import requestsresponse = requests.request('OPTIONS', '<http://example.com/api>')

通过使用这些方法，你可以灵活地发送各种类型的 HTTP 请求，以满足不同的需求。

十四、其他方法

除了上述提到的方法和属性外，requests 库还提供了一些其他有用的功能和属性：

  1. 响应时间（response.elapsed）：可以获取请求的响应时间，以 datetime.timedelta 对象的形式返回。

import requestsresponse = requests.get('<http://example.com>')
print(response.elapsed.total_seconds())  # 获取响应时间，单位为秒
  1. 重定向历史（response.history）：如果请求发生了重定向，可以通过该属性获取重定向的历史。

import requestsresponse = requests.get('<http://example.com>')
for redirect in response.history:print(redirect.url)
  1. 请求信息（response.request）：可以获取请求的相关信息，如请求方法、URL、请求头等。
import requestsresponse = requests.get('<http://example.com>')
request = response.request
print(request.method)
print(request.url)
print(request.headers)

通过这些功能和属性，你可以更全面地了解请求和响应的相关信息，方便进行进一步的处理和分析。

好了，兄弟姐妹们，今天的学习就到这里了。老规矩第二十七天的学习，还是几个案列把知识点实操一下。拜拜喽！

祝屏幕前的兄弟姐妹们，天天开心，好运连连！

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/1266.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

一文学会 ts 构建工具 —— tsup

一文学会 ts 构建工具 —— tsup

文章目录 能打包什么&#xff1f;安装用法自定义配置文件条件配置在 package.json 中配置多入口打包生成类型声明文件sourcemap生成格式自定义输出文件代码分割产物目标环境支持 es5编译的环境变量对开发命令行工具友好监听模式 watch提供成功构建的钩子 onSuccess压缩产物 min…
阅读更多...
RocketMQ学习笔记

RocketMQ学习笔记

kafka适合于日志收集的场景&#xff08;不需要太多topic&#xff1b;topic下面的partition多了会造成写文件的速度变慢&#xff0c;因为要造很多索引&#xff09; RocketMQ更适合于电商场景&#xff08;适用于topic特别多的情况&#xff09; 快速安装RocketMQ RocketMQ的官网…
阅读更多...
C++进阶：搜索树

C++进阶：搜索树

目录 1. 二叉搜索树1.1 二叉搜索树的结构1.2 二叉搜索树的接口及其优点与不足1.3 二叉搜索树自实现1.3.1 二叉树结点结构1.3.2 查找1.3.3 插入1.3.4 删除1.3.5 中序遍历 2. 二叉树进阶相关练习2.1 根据二叉树创建字符串2.2 二叉树的层序遍历I2.3 二叉树层序遍历II2.4 二叉树最近…
阅读更多...
一、MinIO基本知识

一、MinIO基本知识

MinIO基本知识 一、简介1.许可 二、部署1.Docker部署1.1 部署容器 1.2 MinIO页面访问1.3 创建Bucket![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6c8aa92975f146b691f1f36ce1033e7c.png) 三、Python-API1.安装包2.Bucket、Object概念3.Bucket-API4.MinIOClient-…
阅读更多...
C++修炼之路之多态--多态的条件与例外，重载+重写+重定义

C++修炼之路之多态--多态的条件与例外，重载+重写+重定义

目录 前言 一&#xff1a;构成多态的条件及一些特殊情况&#xff08;前提是构成父子类&#xff09; 1.多态是在不同的继承关系的类对象&#xff0c;去调用同一函数&#xff0c;产生了不同的结果 2.两个条件 3.三同的两个例外 1.协变---返回值类型可以不同&#xff0c;但必…
阅读更多...
c++ qt6.5 打包sqlite组件无法使用，尽然 也需要dll支持！这和开发php 有什么区别！

c++ qt6.5 打包sqlite组件无法使用，尽然 也需要dll支持！这和开发php 有什么区别！

运行 程序会默认使用当前所在文件夹中的 dll 文件&#xff0c;若文件不存在&#xff0c;会使用系统环境变量路径中的文件&#xff1b;又或者是需要在程序源代码中明确指定使用的 dll 的路径。由于我安装 Qt 时将相关 dll 文件路径都添加到了系统环境变量中&#xff0c;所以即使…
阅读更多...
【R语言】混合图：小提琴图+箱线图

【R语言】混合图：小提琴图+箱线图

{ggstatsplot} 是 {ggplot2} 包的扩展&#xff0c;用于创建图形&#xff0c;其中包含信息丰富的绘图本身中包含的统计测试的详细信息。在典型的探索性数据分析工作流程中&#xff0c;数据可视化和统计建模是两个不同的阶段&#xff1a;可视化通知建模&#xff0c;而建模又可以建…
阅读更多...
MapReduce工作流程（Hadoop3.x）

MapReduce工作流程（Hadoop3.x）

MapReduce 是一种用于并行处理大规模数据集的——编程模型和处理框架。它通常用于分布式计算环境中&#xff0c;如Apache Hadoop。 工作流程 1. 切分阶段&#xff08;Splitting&#xff09;&#xff1a; 数据集被分成多个数据块&#xff0c;每个数据块的大小通常在64MB到12…
阅读更多...
kaggle 泰坦尼克使用xgboost 得分0.73684

kaggle 泰坦尼克使用xgboost 得分0.73684

流程 导入所要使用的包引入kaggle的数据集csv文件查看数据集有无空值填充这些空值提取特征分离训练集和测试集调用模型 导入需要的包 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarni…
阅读更多...
zabbix自定义监控、自动发现和注册以及代理设置

zabbix自定义监控、自动发现和注册以及代理设置

前言 监控项的定制和新设备的注册往往需要大量手动操作&#xff0c;这会导致维护成本的增加和监控效率的降低。本文将介绍如何利用 Zabbix 的自定义功能&#xff0c;实现监控项的动态发布和新设备的自动注册以及代理设置、从而简化运维工作并实现更高效的监控管理。 Zabbix 监…
阅读更多...
【大模型开源篇1】彦宏您怎么看LLaMA3的开源

【大模型开源篇1】彦宏您怎么看LLaMA3的开源

Meta LLaMA是Meta公司开源的大模型&#xff0c;作为大模型开源界得鼻祖&#xff0c; 刚刚发布LLaMA3。从ChatGPT 拉开了大模型竞赛的序幕&#xff0c;Meta 选择了开源&#xff0c;至此大模型也开始百花齐放的时期&#xff0c;但是开源模型一直无法超过必源模型&#xff0c;如今…
阅读更多...
EA包图上嵌套的包位置不对

EA包图上嵌套的包位置不对

Extreme 2024-4-11 11:36 我从工具栏把一个包拖在另一个包里面&#xff0c;可是项目树上两个包的位置并列&#xff0c;拖了几次结果都一样。我的目的是做一个多层级的包图&#xff0c;是不是&#xff08;EA&#xff09;不能在图上做&#xff1f; UMLChina潘加宇 确实是这样&a…
阅读更多...
Python可视化数据分析-饼状图

Python可视化数据分析-饼状图

一、前言 饼状图&#xff08;Pie Chart&#xff09;是一种常用的数据可视化图表&#xff0c;用于展示数据中各部分的占比关系。Python 中有多种库可以用于绘制饼状图&#xff0c;比较常用的包括 matplotlib、pyecharts和 plotly 等。 二、使用 matplotlib 绘制饼状图 import…
阅读更多...
必应bing搜索国内广告投放开户价格？

必应bing搜索国内广告投放开户价格？

搜索引擎广告作为精准引流的重要手段之一&#xff0c;受到了众多企业的青睐&#xff0c;其中微软旗下的必应搜索&#xff08;Bing&#xff09;&#xff0c;以其独特的市场定位和用户群体&#xff0c;成为了不可忽视的广告投放平台。对于想要在中国市场利用必应搜索进行广告投放…
阅读更多...
局域网无法连接怎么办？

局域网无法连接怎么办？

局域网连接是我们日常生活和工作中常用的方式之一&#xff0c;但有时我们可能会遇到局域网无法连接的问题。这给我们的工作和生活带来了很大的困扰。本文将介绍局域网无法连接的常见原因&#xff0c;并推荐一款名为【天联】的组网产品&#xff0c;它能够解决不同地区间的局域网…
阅读更多...
Google Earth Engine 洪水制图 - 使用 Sentinel-1 SAR GRD

Google Earth Engine 洪水制图 - 使用 Sentinel-1 SAR GRD

Sentinel-1 提供从具有双极化功能的 C 波段合成孔径雷达 (SAR) 设备获得的信息。该数据包括地面范围检测 (GRD) 场景，这些场景已通过 Sentinel-1 工具箱进行处理，以创建经过校准和正射校正的产品。该集合每天都会更新，新获得的资产会在可用后两天内添加。 该集合包含所有 G…
阅读更多...
Delphi Firemonkey使用TVertScrollbox自定义列表数据

Delphi Firemonkey使用TVertScrollbox自定义列表数据

界面布局设置如下 创建一个过程添加新项目 procedure TForm1.AddItem(name: string; age: Integer); varlayout: TLayout; begin// 设置姓名标签的文本Label3.Text : name;// 设置年龄标签的文本Label4.Text : IntToStr(age);// 克隆 Layout1&#xff0c;并将克隆得到的对象赋值…
阅读更多...
FastJson2中FastJsonHttpMessageConverter找不到类问题

FastJson2中FastJsonHttpMessageConverter找不到类问题

问题描述 如果你最近也在升级FastJson到FastJson2版本&#xff0c;而跟我一样也遇到了FastJsonHttpMessageConverter找不到类问题以及FastJsonConfig找不到问题&#xff0c;那么恭喜你&#xff0c;看完本文&#xff0c;安装完fastjson2、fastjson2-extension、fastjson2-exte…
阅读更多...
STM32H743驱动SD卡（1）

STM32H743驱动SD卡（1）

本文内容参考&#xff1a; STM32——SDIO的学习&#xff08;驱动SD卡&#xff09;&#xff08;理论篇&#xff09;-CSDN博客 STM32个人笔记-SDIO接口-CSDN博客 STM32-(40)&#xff1a;SD卡与SDIO-CSDN博客 【STM32】使用SDIO进行SD卡读写&#xff08;一&#xff09;-初步认…
阅读更多...
使用python-can和cantools实现arxml报文解析、发送和接收的完整指南

使用python-can和cantools实现arxml报文解析、发送和接收的完整指南

文章目录 背景一、硬件支持二、环境准备1、python解释器安装2、python库安装 三、 收发案例四、 方法拓展1、canoe硬件调用2、回调函数介绍 结论 背景 在汽车行业中&#xff0c;CAN (Controller Area Network) 总线是用于车辆内部通信的关键技术。arxml文件是一种用于描述CAN消…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023