2023全网最全requests库和requests模块使用详解（建议收藏）

一、requests简介

#简介：使用requests可以模拟浏览器的请求，比起之前用的urllib，requests模块的api更加便捷（本质就是封装了urllib3）#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求#安装：pip3 install requests#各种请求方式：常用的就是requests.get()和requests.post()>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

二 、基于requests之GET请求

1、基本请求

import requests
response=requests.get('http://dig.chouti.com/')
print(response.text) # 字符串格式   content 二进制格式

2、带参数的GET请求->params

# 在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
# 软件测试技术群：603401995
url = 'https://www.baidu.com/s?wd=软件测试&pn=1'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'}import requests
response=requests.get(url=url, headers=headers)
print(response.text)# 如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码
# 软件测试技术群：603401995
from urllib.parse import urlencode
wd='软件测试'
encode_res=urlencode({'k':wd},encoding='utf-8')
keyword=encode_res.split('=')[1]
print(keyword)
# 然后拼接成url
url='https://www.baidu.com/s?wd=%s&pn=1'%keyword
response=requests.get(url,headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'})
res1=response.text
# 上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode
# 软件测试技术群：603401995
from urllib.parse import urlencode
wd='软件测试'
pn=1response=requests.get('https://www.baidu.com/s',params={'wd':wd,'pn':pn},headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',})
res2=response.text# 验证结果，打开a.html与b.html页面内容一样
# 软件测试技术群：603401995
with open('a.html','w',encoding='utf-8') as f:
f.write(res1) 
with open('b.html', 'w', encoding='utf-8') as f:
f.write(res2)

3、带参数的GET请求->headers

#通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下
Host
Referer #大型网站通常都会根据该参数判断请求的来源
User-Agent #客户端
Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了
#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
import requests
response=requests.get('https://www.zhihu.com/explore')
response.status_code #500#自己定制headers
headers={
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',
}
respone=requests.get('https://www.zhihu.com/explore',headers=headers)
print(respone.status_code) #200

4、带参数的GET请求->cookies

#登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码
#用户名:admin 邮箱123456@qq.com 密码123456
import requests
Cookies={'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',
}
response=requests.get('https://github.com/settings/emails',cookies=Cookies) 
print('123456@qq.com' in response.text) #True
现在我也找了很多测试的朋友，做了一个分享技术的交流群，共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源，没人解答问题，坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化，性能，安全，测试开发等等方面有一定建树的技术大牛
分享他们的经验，还会分享很多直播讲座和技术沙龙
可以免费学习！划重点！开源的！！！
qq群号：110685036

三 、基于POST请求

1、介绍

# GET请求
HTTP默认的请求方法就是GET
1.没有请求体
2.数据必须在1K之内
3.GET请求数据会暴露在浏览器的地址栏中

GET请求常用的操作：
1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
2. 点击页面上的超链接也一定是GET请求
3. 提交表单时，表单默认使用GET请求，但可以设置为POST

# POST请求
1.数据不会出现在地址栏中
2.数据的大小没有上限
3.有请求体
4.请求体中如果存在中文，会使用URL编码！

#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

2、发送POST请求，模拟浏览器的登录行为

#对于登录来说，应该输错用户名或密码然后分析抓包流程，用脑子想一想，输对了浏览器就跳转了，还分析个毛线，累死你也找不到包

 2 一 目标站点分析3     浏览器输入https://github.com/login4     然后输入错误的账号密码，抓包5     发现登录行为是post提交到：https://github.com/session6     而且请求头包含cookie7     而且请求体包含：8         commit:Sign in9         utf8:✓
10        authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
11         login:admin
12         password:123456
13 
14 
15 二 流程分析
16     先GET：https://github.com/login拿到初始cookie与authenticity_token
17     返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
18     最后拿到登录cookie
19 
20     ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文
21 '''
22 
23 import requests
24 import re
25 
26 #第一次请求
27 r1=requests.get('https://github.com/login')
28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
30 
31 #第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
32 data={
33     'commit':'Sign in',
34     'utf8':'✓',
35     'authenticity_token':authenticity_token,
36     'login':'123456@qq.com',
37     'password':'alex3714'
38 }
39 r2=requests.post('https://github.com/session',
40              data=data,
41              cookies=r1_cookie
42              )
43 
44 
45 login_cookie=r2.cookies.get_dict()
46 
47 
48 #第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置
49 r3=requests.get('https://github.com/settings/emails',
50                 cookies=login_cookie)
51 
52 print('123456@qq.com' in r3.text) #True
import requests
import resession=requests.session()
#第一次请求
r1=session.get('https://github.com/login')
authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
#第二次请求
data={'commit':'Sign in','utf8':'✓','authenticity_token':authenticity_token,'login':'123456@qq.com','password':'alex3714'
}
r2=session.post('https://github.com/session',data=data,)
#第三次请求
r3=session.get('https://github.com/settings/emails')
print('123456@qq.com' in r3.text) #True
requests.session()自动帮我们保存cookie信息

3、补充

requests.post(url='xxxxxxxx',data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed
#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值
requests.post(url='',data={'':1,},headers={'content-type':'application/json'})
requests.post(url='',json={'':1,},) #默认的请求头:application/json

四、 响应Response

1、response属性

import requests
respone=requests.get('http://www.jianshu.com')
# respone属性
print(respone.text)
print(respone.content)
print(respone.status_code)
print(respone.headers)
print(respone.cookies)
print(respone.cookies.get_dict())
print(respone.cookies.items())
print(respone.url)
print(respone.history)
print(respone.encoding)
#关闭：response.close()
from contextlib import closing
with closing(requests.get('xxx',stream=True)) as response:for line in response.iter_content():pass

2、编码的问题

#编码问题
import requests
response=requests.get('http://www.autohome.com/news')
# response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码
print(response.text)

3、获取二进制数据

import requestsresponse=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=123456&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')
with open('a.jpg','wb') as f:f.write(response.content)
#stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
import requestsresponse=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',stream=True)with open('b.mp4','wb') as f:for line in response.iter_content():f.write(line)

4、解析json

#解析json
import requests
response=requests.get('http://httpbin.org/get')import json
res1=json.loads(response.text) #太麻烦
res2=response.json() #直接获取json数据
print(res1 == res2) #True

5、Redirection and History

import requests
import re#第一次请求
r1=requests.get('https://github.com/login')
r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
data={'commit':'Sign in','utf8':'✓','authenticity_token':authenticity_token,'login':'123456@qq.com','password':'alex3714'
}#测试一：没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面，r2代表新页面的response
r2=requests.post('https://github.com/session',data=data,cookies=r1_cookie)
print(r2.status_code) #200
print(r2.url) #看到的是跳转后的页面
print(r2.history) #看到的是跳转前的response
print(r2.history[0].text) #看到的是跳转前的response.text#测试二：指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面，r2代表的仍然是老页面的response
r2=requests.post('https://github.com/session',data=data,cookies=r1_cookie,allow_redirects=False)print(r2.status_code) #302
print(r2.url) #看到的是跳转前的页面https://github.com/session
print(r2.history) #[]

五、高级用法

1、SSL Cert Verification

#证书验证(大部分网站都是https)
import requests
respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端#改进1:去掉报错,但是会报警告
import requests
respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
print(respone.status_code)#改进2:去掉报错,并且去掉警报信息
import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get('https://www.12306.cn',verify=False)
print(respone.status_code)#改进3:加上证书
#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
#知乎\百度等都是可带可不带
#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
import requests
respone=requests.get('https://www.12306.cn',cert=('/path/server.crt','/path/key'))
print(respone.status_code)

2、使用代理

#官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
import requests
proxies={'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码'http':'http://localhost:9743','https':'https://localhost:9743',
}
respone=requests.get('https://www.12306.cn',proxies=proxies)print(respone.status_code)#支持socks代理,安装:pip install requests[socks]
import requests
proxies = {'http': 'socks5://user:pass@host:port','https': 'socks5://user:pass@host:port'
}
respone=requests.get('https://www.12306.cn',proxies=proxies)
print(respone.status_code)

3、超时设置

#超时设置
#两种超时:float or tuple
#timeout=0.1 #代表接收数据的超时时间
#timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间import requests
respone=requests.get('https://www.baidu.com',timeout=0.0001)

4、认证设置

#官网链接：http://docs.python-requests.org/en/master/user/authentication/# 认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的
# 但本质原理是拼接成请求头发送r.headers['Authorization'] = _basic_auth_str(self.username, self.password)
# 一般的网站都不用默认的加密方式，都是自己写
# 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法
# 得到加密字符串后添加到请求头
# r.headers['Authorization'] =func('.....')#看一看默认的加密方式吧，通常网站都不会用默认的加密设置
import requests
from requests.auth import HTTPBasicAuth
r=requests.get('xxx',auth=HTTPBasicAuth('user','password'))
print(r.status_code)#HTTPBasicAuth可以简写为如下格式
import requests
r=requests.get('xxx',auth=('user','password'))
print(r.status_code)

5、异常处理

#异常处理
import requests
from requests.exceptions import * #可以查看requests.exceptions获取异常类型
try:r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:print('===:')
# except ConnectionError: #网络不通
#     print('-----')
# except Timeout:
#     print('aaaaa')
except RequestException:print('Error')

6、上传文件

import requests
files={'file':open('a.jpg','rb')}
respone=requests.post('http://httpbin.org/post',files=files)
print(respone.status_code)
今天的分享就到此结束了，大家还有什么不懂的可以评论区下提问哈，如果我的文章对你有所帮助的话，可以点赞三联支持一下哈

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/100011.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

点餐小程序实战教程08-购物车功能开发

点餐小程序实战教程08-购物车功能开发

目录 1 创建购物车2 增加数量3 减少数量4 切换分类时回填数据5 显示购物车信息总结 我们上一篇搭建了点餐业务的数据初始化加载，本篇实现一下加入购物车的功能。在购物车设计的时候有两种方案，一种是使用数据表的方案，一种是使用变量的方案。…
阅读更多...
大型语言模型：RoBERTa — 一种鲁棒优化的 BERT 方法

大型语言模型：RoBERTa — 一种鲁棒优化的 BERT 方法

一、介绍 BERT模型的出现导致了NLP的重大进展。BERT的架构源自Transformer，在各种下游任务上实现了最先进的结果：语言建模，下一句预测，问答，NER标记等。 大型语言模型：BERT — 来自变压器的双向编码器表示 …
阅读更多...
如何在 Spring Boot 中提高应用程序的安全性

如何在 Spring Boot 中提高应用程序的安全性

如何在 Spring Boot 中提高应用程序的安全性 Spring Boot是一种流行的Java开发框架，用于构建Web应用程序和微服务。在构建应用程序时，安全性是至关重要的因素。不论您的应用程序是面向公众用户还是企业内部使用，都需要采取适当的措施来确保数…
阅读更多...
promtail multiline 堆栈日志处理

promtail multiline 堆栈日志处理

找到自己的promtail.yaml中job_name段落，增加multiline段落，下面文件只是部分内容，只需要修改firstline后面的正则表达式匹配日志行首，如果堆栈换行后不是此格式行首，将自动把堆栈的行合并到上一行中。 - job_name: k…
阅读更多...
微信小程序 在bindscroll事件中监听scroll-view滚动到底

微信小程序 在bindscroll事件中监听scroll-view滚动到底

scroll-view其实提供了一个 bindscrolltolower 事件 这个事件的作用是直接监听scroll-view滚动到底部 但是 总有不太一样的情况 公司的项目 scroll-view 内部 最下面有一个 类名叫 bottombj 的元素 我希望 滚动到这个 bottombj 上面的时候就开始加载滚动分页 简单说 bottombj这…
阅读更多...
c#设计模式-行为型模式 之 中介者模式

c#设计模式-行为型模式 之 中介者模式

🚀简介 又叫调停模式，定义一个中介角色来封装一系列对象之间的交互，使原有对象之间的耦合松散，且可以独立地改变它们之间的交互。 从下右图中可以看到，任何一个类的变 动，只会影响的类本身，以及…
阅读更多...
【Linux】基本指令-入门级文件操作（一）

【Linux】基本指令-入门级文件操作（一）

目录 前言 ⭕linux的树状文件结构 ⭕绝对路径和相对路径 ⭕当前路径和上级路径 ⭕隐藏文件 基本指令（重点） 1 pwd 指令 2 mkdir 指令 3 touch 指令 4 ls 指令 4.1 ls只加选项不加文件/目录名，默认查看当前目录下的文件 4.1.1 ls -a…
阅读更多...
【香橙派-OpenCV-Torch-dlib】TF损坏变成RAW格式解决方案及python环境配置

【香橙派-OpenCV-Torch-dlib】TF损坏变成RAW格式解决方案及python环境配置

前言 本文将介绍在香橙派（Orange Pi）开发板上进行软件配置和环境搭建的详细步骤，以便运行Python应用程序。这涵盖了以下主要内容： 获取所需软件：提供了香橙派操作系统和balenaEtcher工具的下载链接，以确保…
阅读更多...
图片大小转换（对于图片进行压缩）

图片大小转换（对于图片进行压缩）

传入的是图片途径 import java.io.*; import java.awt.image.BufferedImage; import javax.imageio.ImageIO; import java.util.Base64;// 限制图像大小为4MB public byte[] limitImageSize(File imageFile, int maxSizeInBytes) throws IOException {if (imageFile.length() …
阅读更多...
生成多元正态数据

生成多元正态数据

目录 一、mvrnorm()函数使用介绍 例1：生成服从多元正态分布的数据 例2:生成一组服从多元正态分布的观测 一、mvrnorm()函数使用介绍 获取来自给定均值向量和协方差阵的多元正态分布的数据。 MASS包中的mvrnorm()函数可以让这个问题变得很容易，其调用…
阅读更多...
win10搭建Selenium环境+java+IDEA（3）

win10搭建Selenium环境+java+IDEA（3）

这里主要对前面的maven和selenium做补充说明，以及更新一些pom文件下载依赖的问题。 IDEA里面，如果你创建的工程是maven工程文件，那么就会有一个pom.xml文件，可以在这个网站：https://mvnrepository.com/搜索依赖&#…
阅读更多...
[PwnThyBytes 2019]Baby_SQL - 代码审计+布尔盲注+SESSION_UPLOAD_PROGRESS利用

[PwnThyBytes 2019]Baby_SQL - 代码审计+布尔盲注+SESSION_UPLOAD_PROGRESS利用

[PwnThyBytes 2019]Baby_SQL 1 解题流程1.1 分析1.2 解题 2 思考总结 1 解题流程 1.1 分析 此题参考文章：浅谈 SESSION_UPLOAD_PROGRESS 的利用 访问正常来讲用ctf-wscan是能扫出source.zip文件的，且F12后提示了有source.zip，那我们就下载…
阅读更多...
多项目并行管理：优化协调策略提高效率

多项目并行管理：优化协调策略提高效率

多项目同时进行已然是大部分项目管理者面临的现状了。相比于单项目管理，多项目管理可能会出现项目资源分配不均，项目进度监控难以及沟通协作复杂等问题。 可以通过一款灵活高效得项目管理工具，来帮助您进行多项目管理，比如 Zoho …
阅读更多...
文件解析的方法与原理

文件解析的方法与原理

文件的解析使用python的struct模块,接下来会用到的2个方法: 解包unpack()方法 : 使用该方法可以从写好的二进制文件中读出文件。它的函数原型为:struct.unpack(fmt,string),fmt参数是格式字符串。string表示要转换的python值。最终函数返回一个元组。 calcsize()方法 : 该方法用…
阅读更多...
美容类产品找什么渠道做推广比较好，媒介盒子告诉你

美容类产品找什么渠道做推广比较好，媒介盒子告诉你

哈喽,大家好,今天媒介盒子小编又来跟大家分享软文推广的干货知识了,本篇分享的主要内容是:美容类产品找什么渠道做推广比较好~ 随着如今生活条件的进步，越来越多人的女性开始注重对自身的保养。她们会在市场上搜罗大量的美容护肤类服务和产品，这也给了无…
阅读更多...
MFC文本输出学习

MFC文本输出学习

void CTxttstView::OnDraw(CDC* pDC) {CTxttstDoc* pDoc GetDocument();ASSERT_VALID(pDoc);// TODO: add draw code for native data hereCString str1;pDC->SetBkColor(RGB(0,0,0));pDC->TextOut(50, 50, "一段文字");pDC->SetBkColor(RGB(255,255,255))…
阅读更多...
【MySQL】基本查询（三）聚合函数+group by

【MySQL】基本查询（三）聚合函数+group by

文章目录 一. 聚合函数二. group by子句结束语 建立如下表 //创建表结构 mysql> create table exam_result(-> id int unsigned primary key auto_increment,-> name varchar(20) not null comment 同学姓名,-> chinese float default 0.0 comment 语文成绩,->…
阅读更多...
基于地理位置的IP地址定位技术

基于地理位置的IP地址定位技术

IP地址定位是指通过互联网上的IP地址，准确地定位出该IP地址对应的物理位置。IP地址是互联网上设备之间通信时使用的一个地址标识符，每个设备都有一个唯一的IP地址。 IP地址定位的原理是通过收集和分析网络设备的IP地址和相应的网络数据，以确定…
阅读更多...
华为云云耀云服务器L实例评测｜测试CentOS的网络配置和访问控制

华为云云耀云服务器L实例评测｜测试CentOS的网络配置和访问控制

目录 引言 1 理解几个基础概念 2 配置VPC、子网以及路由表 3 配置安全组策略和访问控制规则 3.1 安全组策略和访问控制简介 3.2 配置安全组策略 3.3 安全组的最佳实践 结论 引言 在云计算时代，网络配置和访问控制是确保您的CentOS虚拟机在云环境中安全运行的…
阅读更多...
淘宝商品链接获取淘宝商品详情数据（用 Python实现淘宝商品信息抓取）

淘宝商品链接获取淘宝商品详情数据（用 Python实现淘宝商品信息抓取）

在网页抓取方面，可以使用 Python、Java 等编程语言编写程序，通过模拟 HTTP 请求，获取淘宝多网站上的商品页面。在数据提取方面，可以使用正则表达式、XPath 等方式从 HTML 代码中提取出有用的信息。值得注意的是，淘宝网…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023