Python 网络请求:深入理解Requests库

目录

引言

一、Requests库简介

二、安装与基本使用

三、requests库的特性与优势

四、requests库在实际应用中的案例

1.get请求

2.post请求

3.超时重试

4.headers设置

5.session会话

6.携带cookie​​​​​​​

7.携带代理​​​​​​​

8.携带身份认证​​​​​​​

9.文件上传​​​​​​​

10.文件下载​​​​​​​

11.解决重定向​​​​​​​

12.证书验证​​​​​​​

总结


引言

在Python编程世界中,进行网络数据交互是一项至关重要的技能,而Requests库则是这一领域中最受开发者喜爱的工具之一。Requests库以其简洁易用、功能强大而著称,让HTTP客户端操作变得无比轻松,无论是获取网页内容、发送POST请求还是处理API响应,它都能提供强大的支持。本文将带领您深入了解Python Requests库,探讨其核心功能和应用场景。

一、Requests库简介

Requests库由Kenneth Reitz于2012年创建,旨在简化HTTP客户端的使用。它建立在urllib3之上,但提供了更加人性化的接口和丰富的功能特性。只需一行代码,就能发起HTTP GET、POST等各类请求,并能自动处理各种HTTP认证机制、重定向、cookies以及超时等问题。

二、安装与基本使用

在Python环境中,通过pip命令即可快速安装Requests库:

pip install requests

导入库后,发起一个HTTP GET请求只需要短短几行代码:

import requestsresponse = requests.get('https://www.example.com')
print(response.status_code)
print(response.text)

上述代码首先导入requests模块,然后使用get方法向指定URL发送GET请求,并将服务器返回的响应存储在response对象中。response对象包含了诸如状态码、响应体文本、headers等多种信息。

三、requests库的特性与优势

  1. 简洁易用:requests库的API设计非常简洁,易于上手。开发者只需关注业务逻辑,无需处理底层的HTTP细节。
  2. 功能强大:requests库支持多种HTTP方法、自动处理URL编码、会话、cookies等复杂操作,能够满足各种HTTP请求的需求。
  3. 高度可定制:requests库提供了丰富的参数和选项,允许开发者根据实际需求定制请求和响应的处理方式。
  4. 社区支持:requests库拥有庞大的用户群体和活跃的社区,遇到问题时可以轻松找到解决方案和支持。

四、requests库在实际应用中的案例

  1. 网页爬虫:使用requests库发送GET请求,抓取网页内容,并结合BeautifulSoup等库解析HTML,提取所需信息。
  2. API交互:与第三方API进行交互,发送POST、PUT等请求,获取或修改数据。
  3. 数据上报:将本地数据通过requests库发送到远程服务器进行存储或分析。

案例代码:

1.get请求

import requests
response = requests.get('https://www.example.com')
print(response.text)​​​​​​​print(response.status_code)  # 输出状态码  
print(response.headers)  # 输出响应头  
print(response.text)  # 输出响应内容(文本格式)  
print(response.json())  # 输出响应内容(JSON格式,如果响应内容是JSON的话)

2.post请求

import requestsimport jsondata = {'key': 'value'}json_data = json.dumps(data)response = requests.post('https://www.example.com', json=json_data)print(response.text)

3.超时重试

response = requests.get('https://api.example.com/data', timeout=5)try:response = requests.get('https://api.example.com/data', timeout=5)
except requests.exceptions.Timeout:print('Timeout! Let\'s try it again...')response = requests.get('https://api.example.com/data', timeout=5)

4.headers设置

import requestsheaders = {'User-Agent': 'Mozilla/5.0'}response = requests.get('https://www.example.com', headers=headers)print(response.text)

5.session会话​​​​​​​

import requestssession = requests.Session()# 第一个请求response1 = session.get('https://www.example.com/login')print(response1.text)# 第二个请求,会话保持response2 = session.get('https://www.example.com/dashboard')print(response2.text)

6.携带cookie​​​​​​​

import requestscookies = {'key': 'value'}response = requests.get('https://www.example.com', cookies=cookies)print(response.text)

7.携带代理​​​​​​​

import requestsproxies = {  'http': 'http://10.10.1.10:3128',   'https': 'http://10.10.1.10:1080'  }response = requests.get('https://www.example.com', proxies=proxies)print(response.text)

8.携带身份认证​​​​​​​

import requestsfrom requests.auth import HTTPBasicAuthresponse = requests.get('https://www.example.com', auth=HTTPBasicAuth('username', 'password'))
print(response.text)

9.文件上传​​​​​​​

import requestsfiles = {'file': open('example.txt', 'rb')}response = requests.post('https://www.example.com/upload', files=files)print(response.text)

10.文件下载​​​​​​​

import requestsurl = 'https://www.example.com/file.jpg'response = requests.get(url)with open('file.jpg', 'wb') as f:    f.write(response.content)

11.解决重定向​​​​​​​

import requestsresponse = requests.get('https://www.example.com', allow_redirects=False)if response.status_code == 302:    redirect_url = response.headers['Location']    print(f'Redirected to: {redirect_url}')

12.证书验证​​​​​​​

import requestsresponse = requests.get('https://www.example.com', verify=False)print(response.text)

总结

requests库作为Python中处理HTTP请求的神器,以其简洁易用、功能强大、高度可定制和社区支持等特性,在实际应用中发挥着重要作用。无论是网页爬虫、API交互还是数据上报等场景,requests库都能帮助开发者更加高效地处理HTTP请求,提升开发效率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/794115.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬虫 新闻网站 并存储到CSV文件 以红网为例 V1.0

爬虫:红网网站, 获取当月指定关键词新闻,并存储到CSV文件 V1.0 目标网站:红网 爬取目的:为了获取某一地区更全面的在红网已发布的宣传新闻稿,同时也让自己的工作更便捷 环境:Pycharm2021&#…

【CSS】浮动笔记及案例

CSS浮动 1. 认识浮动 float属性可以指定一个元素沿着左侧或者是右侧放置,允许文本和内联元素环绕它 float属性最初只使用文字环绕图片但却是早起CSS最好用的左右布局方案 绝对定位、浮动都会让元素脱标,以达到灵活布局的目的可以通过float属性让元素脱…

UE4_材质节点

UE4_材质节点 2017-12-07 13:56 跑九宫格 跑UV 评论(0)

arm裸机-1、定时器pwm

时钟配置 我们使用s3c2440,主频12M,查看用户手册 通过锁相环抬升到400MHZ,分成三条通路,通过HHDIVN和PDIVN配置频率比,这个频率比配置手册已经给出。 配置MPLL主频400Mhz, 通过这个公式算出MPLL s、p、m都…

hive 慢sql 查询

hive 慢sql 查询 查找 hive 执行日志存储路径(一般是 hive-audit.log ) 比如:/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log 解析日志 获取 执行时间 执行 OperationId 执行人 UserNameroot 执行sql 数据分隔符为 \001 并写入 hiv…

C语言——调试技巧

1.Debug和Release的介绍 Debug 通常称为调试版本,它包含调试信息,并且不作任何优化,便于程序员调试程序。Release 称为发布版本,它往往是进行了各种优化,使得程序在代码大小和运行速度上都是最优 的,以便用…

基于单片机的全自动洗衣机系统仿真设计

**单片机设计介绍,基于单片机的全自动洗衣机系统仿真设计 文章目录 一 概要二、功能设计设计思路 三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机的全自动洗衣机系统仿真设计概要是关于利用单片机技术实现全自动洗衣机控制功能的系统设计概述。以…

科东软件参加广州机器人产业联盟举办先进工业母机专家研讨会

工业母机是“制造机器的机器”,具有基础性、通用性、战略性特征,包括了减材切削机床、等材成形装备、增材制造装备及其控制系统等,是衡量国家工业水平和竞争力的重要标志。广东省作为全球知名的制造业基地,非常重视高端装备领域工…

有关字符串算法

例题一 解法: 算法思路(两两⽐较): 我们可以先找出前两个的最⻓公共前缀,然后拿这个最⻓公共前缀依次与后⾯的字符串⽐较,这样就可以找出所有字符串的最⻓公共前缀。 例题二 解法(中⼼扩散&am…

HuggingFace踩坑记录-连不上,根本连不上

学习 transformers 的第一步,往往是几句简单的代码 from transformers import pipelineclassifier pipeline("sentiment-analysis") classifier("We are very happy to show you the 🤗 Transformers library.") ""&quo…

Flask-RESTful 分析

Flask-RESTful 是一个 Flask 扩展,它为构建 RESTful API 提供了方便的工具和资源。它简化了创建 RESTful 服务的过程,允许开发者专注于业务逻辑而不是 HTTP 协议的细节。 资源(Resources): Resource 类:是…

Java集合详解(一)-- List集合

1.集合简介 java集合可分为Set、List、Queue和Map四种体系。 Java集合就像一种容器,可以把多个对象(实际上是对象的引用,但习惯上都称对象)“丢进”该容器中。从Java 5 增加了泛型以后,Java集合可以记住容器中对象的数…

PW1503限流芯片:可达3A限流,保障USB电源管理安全高效

在电源管理领域,开关的性能直接关系到设备的稳定性和安全性。今天,我们将详细解析一款备受关注的超低RDS(ON)开关——PW1503。它不仅具有可编程的电流限制功能,还集成了多项保护机制,为各类电子设备提供了高…

解决在统信UOS Linux下缺乏zlib和jpeg库导致的安装Pillow报错问题

☞ ░ 前往老猿Python博客 ░ https://blog.csdn.net/LaoYuanPython 一、引言 今天在统信UOS Linux的Python3环境下安装Pillow遇到了问题,导致安装不成功,通过报错信息。 二、第一执行pip3 install pillow安装报错 为了提高效率,指向了清华…

Spring重点知识(个人整理笔记)

目录 1. 为什么要使用 spring? 2. 解释一下什么是 Aop? 3. AOP有哪些实现方式? 4. Spring AOP的实现原理 5. JDK动态代理和CGLIB动态代理的区别? 6. 解释一下什么是 ioc? 7. spring 有哪些主要模块?…

Spring-IoC 基于注解

基于xml方法见:http://t.csdnimg.cn/dir8j 注解是代码中的一种特殊标记,可以在编译、类加载和运行时被读取,执行相应的处理,简化 Spring的 XML配置。 格式:注解(属性1"属性值1",...) 可以加在类上…

计算机网络-HTTP相关知识-基础

HTTP基础 基本概念:HTTP是一种计算机之间交流通信的规范,它允许数据在两点之间传输,这个过程可以包括中转或接力。HTTP不仅仅包括文本,还可以包括图片、音频等超文本。状态码:HTTP状态码分为五类: 2xx&…

一文搞懂 ThreadLocal

简介 ThreadLocal存取的数据,总是与当前线程相关,也就是说,JVM 为每个运行的线程,绑定了私有的本地实例存取空间,从而为多线程环境常出现的并发访问问题提供了一种隔离机制。 ThreadLocal的作用是提供线程内的局部变…

RK3588 NPU 研究(二)

RK提供了两个模型,mobilenet和YOLO5。 mobilenet模型相对小,使用起来不是很明显yolo5模型大一些,可以对88种目标进行检测,提供检测的结果包括类别、包围框坐标、可信度等信息。基于rknn_yolov5_demo进行分析。 rknn_yolov5_demo基…

TIMO后台管理系统-入门,简单易懂教程-技巧总结

Timo 要说的话: 这个项目的技术栈是JPA,会有很多文件去追踪,这些文件大多是使用内部的代码生成器做的,API文档做得不错,之前没做过项目的同学花一天了解API文件还是不错的 资料: 文档:http:…