【Python爬虫】requests库get和post方法使用

requests库是一个常用于http请求的模块，性质是和urllib，urllib2是一样的，作用就是向指定目标网站的后台服务器发起请求，并接收服务器返回的响应内容。

1. 安装requests库

  • 使用pip install requests安装
    如果再使用pip安装python模块出现timeout超时异常，可使用国内豆瓣源进行安装。
pip install  requests -i https://pypi.douban.com/simple
  • 手动下载安装包安装
    同样的，某些库安装出现异常便可采取这种逛淘宝的操作方式。不过，当你在选择的时候一定要注意实际项目所需求的python库的版本，以免后期出现问题。
    网站：https://pypi.org

2.requests.get()方法使用

所谓的get方法，便是利用程序使用HTTP协议中的GET请求方式对目标网站发起请求，同样的还有POST，PUT等请求方式，其中GET是我们最常用的，通过这个方法我们可以了解到一个请求发起到接收响应的过程。（HTTP常见请求方式：http://www.runoob.com/http/http-methods.html）
实现方式：

import requestsstart_url = 'https://www.baidu.com'
response = requests.get(url=start_url)
print(response)    # 返回值：<Response [200]>

这是一个最简单实现请求的方式，最后返回一个响应对象，响应对象中携带的数值便是HTTP状态码，你可以根据这些状态码的值来判定请求的成功以及推测失败的原因。（HTTP状态码：http://www.runoob.com/http/http-status-codes.html）
这并不是一个完整的请求，因为服务器在接收到你的程序的请求信息时，它可以明确的从Request headers中看到你是在用程序发起请求接收响应，为了完善我们的请求，可以自定义请求头信息，利用get()方法的headers参数。
我们可以从浏览器的F12开发者工具中Network下找到请求网址的headers信息，保存下来作为我们自定义参数。如：

import requests
# 目标url
start_url = 'https://www.baidu.com'
# 自定义headers
headers = {"Host": "www.baidu.com","Referer": "https://www.baidu.com","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36","X-Requested-With": "XMLHttpRequest"}response = requests.get(url=start_url, headers=headers)
print(response)    # 返回值：<Response [200]>

不同的网站对于请求头中的字段信息有着不同的要求，某些关键字段需要在html源码中去寻找，然后自己组织定义到headers中完成请求。
对于一些特定的网站会对某一时间段内你所在ip的请求次数坐监测，从而判断此请求是否为非人类发出的，get()方法同样为我们提供了在请求时更换ip的操作方式，只需要像自定义headers一样定义我们的可用ip即可，如下：

import requestsstart_url = 'https://www.baidu.com'headers = {"Host": "www.baidu.com","Referer": "https://www.baidu.com","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36","X-Requested-With": "XMLHttpRequest"}
# 自定义代理ip,此处的ip需要自行更换，只需要将ip和port按格式拼接即可，可以去网上免费代理中寻找：http://www.xicidaili.com/nn
proxies = {"https": "https://127.0.0.1:1080", "http": "http://127.0.0.1:1080"}response = requests.get(url=start_url, headers=headers, proxies=proxies)print(response)   # 返回值：<Response [200]>

除此之外get还有很多请求参数,如timeout你可以设置请求时间，如果超过这个时间变自行结束请求，可以利用此判断请求代理的相应效率，避免在某些错误请求上浪费过多的时间。

3.requests.post()方法使用—构造formdata表单

post请求方式的使用和get方式并没有很大的区别，本质的区别在于它传递参数的方式并不像get方式一样，通过在url中拼接字段来发送给服务器，他采取了一种相较之下更为安全的操作方式，通过form表单的方式来向服务器传递查询条件。我们同样可以通过浏览器的F12开发者工具或者fiddler抓包工具来看到formdata这个字段，从中获取form表单中的字段信息，很多登录操作就是基于此。操作方式如下：

import requestsurl = 'https://en.artprecium.com/catalogue/vente_309_more-than-unique-multiples-estampes/resultat'headers = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Language": "zh","Cache-Control": "max-age=0","Connection": "keep-alive","Cookie": "PHPSESSID=m2hbrvp548cg6v4ssp0l35kcj7; _ga=GA1.2.2052701472.1532920469; _gid=GA1.2.1351314954.1532920469; __atuvc=3%7C31; __atuvs=5b5e9a0418f6420c001","Host": "en.artprecium.com","Upgrade-Insecure-Requests": "1","User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
}
# 构造form表单
data = {"IdEpoque": "","MotCle": "","Order": "","LotParPage": "All","IdTypologie": ""}response = requests.post(url=url, data=data, headers=headers, timeout=10)print(response)   # 返回值：<Response [200]>

上面是一个电商网站的post请求查询的案例，当我们对页面显示商品数量进行更改时发现我们的url并没有发生改变，此时，我们便可以分析此动作是由ajax异步加载或者是通过post的请求方式来更改，我们可以通过开发者工具来获取我们想要的信息。

目标网址测试

图片描述

我们可以很容易的看到请求头信息和form表单信息，通过修改LotParPage字段信息可以获得不同数量商品的响应，在实际操作过程中要通过自己的测试确定headers中所必需的字段和自定义我们的form表单从而完成请求，对于post的其他参数和get大致相同，基本通用，有兴趣的话可以去官方查看requests的api文档。

4.requests.post()方法使用—发送json数据

post除了构造表单以外还可以像通过像服务器发送json信息的方式获取正确的请求，利用的便是中post(json={“key”:“value”})的方式，操作流程大致与post发送form表单相似，案例是一个国外网站的demo，虽然全是一些看不懂的文字，但是无伤大雅，看个流程就好，目标网址：http://anticvarium.ru/auction/archive
从这个页面中我们可以得到一个专场列表页，每个专场中有许多商品，当我们直接去请求每个专场的URL时不会得到任何结果，我们可以从开发者工具中找到他的真实接口，如下图所示
图片描述
我们在看它像服务器传递的信息：
图片描述
通过以上的分析，我们可以

url = 'http://anticvarium.ru/angular'headers = {"Host": "anticvarium.ru","Connection": "keep-alive","Content-Length": "14","Origin": "http://anticvarium.ru","X-CSRF-TOKEN": "u1InfvhE23slcmReIJlgvI7IGzb3xQEvXHQbP3Bc","User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36","Content-Type": "application/json;charset=UTF-8","Accept": "application/json, text/plain, */*","X-Requested-With": "XMLHttpRequest","Referer": "http://anticvarium.ru/auction/show/66","Accept-Language": "zh","Cookie": "_ga=GA1.2.819821684.1533003173; _gid=GA1.2.258681840.1533003173; _ym_uid=1533003182951117996; _ym_d=1533003182; _ym_isad=2; _ym_visorc_35976415=w; tmr_detect=0%7C1533004777867; laravel_session=eyJpdiI6InZNSTlWSlYyUW1BaitUWTNBSjJKckE9PSIsInZhbHVlIjoibWprTDFxeTZZc0lOS2VTcmxIdzZJSkwwTVFXOHphN2FwTysxbXNHSDkybXE0VUZYakpTUlZ5Ykh6U2pFTTVJTWdWUHBUaVJwVGl1Q3RlTjdRQUhKNEE9PSIsIm1hYyI6IjQ5NmIwMGYxNDllZDFiNTY2ZmFjYWY5NjEyOTQ4MTZjYzQzNmFiY2EyMzFiOTY1Mzg3ODUyZTllN2U0MTQwYTEifQ%3D%3D",
}response = requests.post(url, headers=headers, json={"auction": 66})
print(response)    # 返回值：<Response [200]>

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/693378.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

kali linux出现添加源无法更新的问题：更新时显示签名无效和没有数字签名

kali linux出现添加源无法更新的问题：更新时显示签名无效和没有数字签名

kali linux更新源时显示签名无效和没有数字签名 一、出现显示签名无效和没有数字签名二、 解决办法三、几种开源镜像站 一、出现显示签名无效和没有数字签名 原因&#xff1a;因为没有下载签名&#xff0c;所以显示签名无效和没有数字签名 二、 解决办法 wget archive.kali.o…
阅读更多...
OpenCV边缘检测与视频读写

OpenCV边缘检测与视频读写

原理 OpenCV中的边缘检测原理主要基于图像梯度的计算&#xff0c;包括一阶梯度和二阶梯度。 一阶梯度&#xff1a;它反映了图像亮度变化的速度。Sobel算法就是一种以一阶梯度为基础的边缘检测算法。它通过计算图像在水平和垂直方向上的梯度来检测边缘。这种方法简单有效&…
阅读更多...
命令行窗口文本复制到 Word 格式保持不变

命令行窗口文本复制到 Word 格式保持不变

命令行窗口文本复制到 Word 格式保持不变 References 标题栏右键 -> 编辑 -> 标记 / 全选 标题栏右键 -> 编辑 -> 复制 粘贴到 Notepad 中&#xff0c;语言栏设置对应语言&#xff0c;格式可以保持不变 复制文本粘贴到 Excel 中 选中 Excel 中文本复制&#xf…
阅读更多...
基于qt的图书管理系统----01数据库设计

基于qt的图书管理系统----01数据库设计

参考b站&#xff1a;视频连接 目录 1、数据库设计2、数据库增删改查2.1 book表操作2.2 user表操作2.3 record表的操作&#xff08;重点&#xff09; 3、数据表导出 1、数据库设计 使用sqlite3&#xff0c;新建一个book的表&#xff0c;并且都让主键自增 NmaeValuebookid书本…
阅读更多...
GIN框架介绍以及使用

GIN框架介绍以及使用

Gin是一个用Go语言编写的web框架。它是一个类似于martini但拥有更好性能的API框架, 由于使用了httprouter&#xff0c;速度提高了近40倍。 如果你是性能和高效的追求者, 你会爱上Gin&#xff0c;而且现在大多数企业都在使用Gin框架&#xff0c;反正学一学总没有错。 1、 GIn框…
阅读更多...
赞：java使用easy-excel导入数据的通用模板思路

赞：java使用easy-excel导入数据的通用模板思路

我们在项目中都会有导入导出的功能&#xff0c;这篇文章主要是讲导出的&#xff0c;导入我会在另外一篇博客文章中讲解。 现在我们开始。 首先&#xff1a;需要在项目中的pom.xml中导入easy-excel的依赖 <!--使用esay-excel进行导入导出 --> <dependency> &…
阅读更多...
实习日志26 捷通打印机交接

实习日志26 捷通打印机交接

概要 捷通打印机的研究和使用需要下载一些软件 打印机驱动下载说明 驱动&#xff1a;选择DL-721Z 端口选择&#xff1a;USB002 智能助手&#xff1a;&#xff08;连接&#xff0c;设置打印机&#xff09; 打印机显示 rfid未校准 时可以在这里点RFID标签校验 LabelEditor编译…
阅读更多...
unity学习（31）——跳转到角色选择界面（打勾？手滑挂错脚本）

unity学习（31）——跳转到角色选择界面（打勾？手滑挂错脚本）

There are 2 audio listeners in the scene. Please ensure there is always exactly one audio listener in the scene. 是因为后来创建了一个camera&#xff0c;因为camera中自带一个组件Audio Listener。所以有两个camera就有两个audio listener导致报错。 一个简单的解决…
阅读更多...
超声波清洗机大测评！希亦、洁盟、德国ODI、苏泊尔哪款性价比高?

超声波清洗机大测评！希亦、洁盟、德国ODI、苏泊尔哪款性价比高?

眼镜逐渐已经成为现在大部分都离不开的一个视线辅助&#xff0c;但是很多朋友对于眼镜的清洗从开始佩戴眼镜时&#xff0c;就没有重视起来。其实清洗眼镜的方法有很多种&#xff0c;手动清洗跟超声波清洗机&#xff0c;后者的清洗相对来说会更加方便快捷一点&#xff0c;且清洗…
阅读更多...
计算机网络——15套接字编程

计算机网络——15套接字编程

套接字编程 Socket编程 Socket编程&#xff1a;应用进程使用传输层提供的服务才能够交换报文&#xff0c;实现应用协议&#xff0c;实现应用 TCP/IP&#xff1a;应用进程使用Socket API访问传输服务 地点&#xff1a;界面上的SAP 方式&#xff1a;Socket API 目标&#xff1…
阅读更多...
强化学习入门(Matlab2021b)-创建环境【2】

强化学习入门(Matlab2021b)-创建环境【2】

目录 1 前言2 利用step和reset函数创建自定义环境2.1 对象描述2.2 reset函数2.3 step函数2.3 构建自定义环境3 使用匿名函数传递额外的参数4 可视化检查自定义函数的输出参考链接1 前言 本文介绍如何基于MATLAB编写step、reset函数，创建自己的强化学习环境(Environment)。 使…
阅读更多...
Windows 中文版下 MSVC 对 UTF-8 支持（避免乱码）

Windows 中文版下 MSVC 对 UTF-8 支持（避免乱码）

原文&#xff1a;https://blog.iyatt.com/?p14017 1 测试环境 我这里在 Windows 11 专业版 23H2 中文版PowerShell 7.4.1 中&#xff0c;默认的字符编码是 936 GB2312 官方的标识码解释&#xff1a;https://learn.microsoft.com/zh-cn/windows/win32/Intl/code-page-iden…
阅读更多...
IDEA的版本控制Local Changes和settings按钮显示问题

IDEA的版本控制Local Changes和settings按钮显示问题

经常用idea的小伙伴应该对标题的这两个功能不陌生&#xff0c;特别是Local Changes 周日刚开工&#xff0c;我的idea就过期了&#xff0c;索性就下载了一个2023.3.3版本的&#xff0c;安装好打开一看&#xff0c;发现Local Changes 和 settings的按钮消失了&#xff0c;虽然说…
阅读更多...
红外光谱法（IR）应用领域宽广 全球市场增长速度加快

红外光谱法（IR）应用领域宽广 全球市场增长速度加快

红外光谱法&#xff08;IR&#xff09;应用领域宽广 全球市场增长速度加快 红外光谱法&#xff08;IR&#xff09;&#xff0c;也称为红外分光光度法&#xff0c;分子吸收红外线&#xff0c;引起分子振动能级、转动能级跃迁&#xff0c;获得物质红外吸收光谱&#xff0c;测定物…
阅读更多...
专业定制线缆厂家推荐：精工电联-小批量、多品类集成线缆定制的领航者

专业定制线缆厂家推荐：精工电联-小批量、多品类集成线缆定制的领航者

高品质定制线缆厂家推荐&#xff1a;精工电联-小批量、多品类集成线缆定制的领航者 在当今这个多元化、个性化的时代&#xff0c;定制化产品和服务越来越受到市场的青睐。精工电联作为高科技智能化产品及自动化设备专用连接线束和连接器配套服务商&#xff0c;致力于为高科技行…
阅读更多...
怎么选择通配符证书？

怎么选择通配符证书？

通配符SSL证书又叫泛域名SSL证书&#xff08;Wildcard Certficates&#xff09;&#xff0c;通配符SSL证书可以保护一个域名下同级子域名&#xff0c;不限制该级子域名的数量&#xff0c;且添加新的该级子域名无需重新审核和另外付费&#xff0c;可以节省大量的时间和成本。 一…
阅读更多...
QFormLayout 背景色设置不成功

QFormLayout 背景色设置不成功

&#xff08;图中的colour 拼错了&#xff09; layout 一定要放在QWidget 里面&#xff0c;然后设置QWidget 的背景色就好了
阅读更多...
【C++】C++中的继承

【C++】C++中的继承

目录 介绍&#xff1a; 一&#xff0c;继承的访问权限 二&#xff0c;基类和派生类对象赋值转换 三&#xff0c;继承中的作用域 四&#xff0c;派生类的默认成员函数 1&#xff0c;构造函数 2&#xff0c;析构函数 3&#xff0c;拷贝构造和赋值运算符 五&#xff0c;继…
阅读更多...
GitCode配置ssh

GitCode配置ssh

下载SSH windows设置里选“应用” 选“可选功能” 添加功能 安装这个 坐等安装&#xff0c;安装好后可以关闭设置。 运行 打开cmd 执行如下指令&#xff0c;启动SSH服务。 net start sshd设置开机自启动 把OpenSSH服务添加到Windows自启动服务中&#xff0c;可避免每…
阅读更多...
java中实体pojo对于布尔类型属性命名尽量别以is开头，否则 fastjson可能会导致属性读取不到

java中实体pojo对于布尔类型属性命名尽量别以is开头，否则 fastjson可能会导致属性读取不到

假如我们有一个场景&#xff0c;就是需要将一个对象以字符串的形式&#xff0c;也就是jsonString存到一个地方&#xff0c;比如mysql&#xff0c;或者redis的String结构。现在有一个实体&#xff0c;我们自己创建的&#xff0c;叫做CusPojo.java 有两个属性是布尔类型的&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023