Python从0到POC编写--模块

Requests模块：

requests是一个 HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。

它可以提取 url 中的信息。

requests库的七个主要方法：

方法解释
requests.request()构造一个请求，支持以下各种方法
requests.get()获取html的主要方法
requests.head()获取html头部信息的主要方法
requests.post()向html网页提交post请求的方法
requests.put()向html网页提交put请求的方法
requests.patch()向html提交局部修改的请求
requests.delete()向html提交删除请求

1. requests.get()

这个我们最常见，也是用的最多的，

基本使用方法：


r = request.get(url,params,kwargs)  
#  这句代码是构造一个服务器请求request，返回一个包含服务器资源的response对象。

其中：

url: 需要爬取的网站地址。
params: 翻译过来就是参数， url中的额外参数，字典或者字节流格式，可选。
kwargs : 12个控制访问的参数

kwargs 有以下参数：

  1. params：字典或字节序列， 作为参数增加到url中，

使用这个参数可以把一些键值对以?key1=value1&key2=value2的模式增加到url中

例如：


>>> import requests  #  导入模块
>>> url = 'http://www.hello.com/index.php'  #  设置 url
>>> payload = {'key1': 'values', 'key2': 'values'}
>>> r = requests.get(url, params=payload) 
>>> print(r.url)
>>> # 输出 http://www.hello.com/index.php?key2=values&key1=values
>>> print(r.status_code)  # 输出 200 （状态码）

这里 r 是自定义的变量名，用来接收返回值 response

注： www.hello.com 是使用phpstudy搭建的虚拟网站

  1. data：字典，字节序或文件对象，重点作为向服务器提交资源，作为request的内容，

与params不同的是，data提交的数据并不放在url链接里，

而是放在url链接对应位置的地方作为数据来存储。，它也可以接受一个字符串对象。

  1. json：  json格式的数据， json合适在相关的html，http相关的web开发中非常常见，也是http最经常使用的数据格式，

他是作为内容部分可以向服务器提交。

例如：


url = 'http://www.hello.com/index.php'
payload = {'key1': 'value1'} 
r = requests.post(url, json=payload)
print(r.json)
>>> # 输出  bound method Response.json of <Response [200]>
  1. headers： 字典是http的相关语，对应了向某个url访问时所发起的http的头字段，

可以用这个字段来定义http的访问头，可以模拟任何浏览器来对url发起访问。

例如：


url = 'http://www.hello.com/index.php'
header = {'user-agent': 'Chrome/10'} 
r = requests.get(url, headers=header)
print(r.headers)
  1. cookies：字典或CookieJar，指的是从http中解析cookie
  1. auth：元组，用来支持http认证功能
  1. files：字典， 是用来向服务器传输文件时使用的字段。

例如：


url = 'http://www.hello.com/index.php'
file = {'files': open('data.txt', 'rb')} 
r = requests.post(url, files=file)
print(r.text)
  1. timeout: 用于设定超时时间， 单位为秒，当发起一个get请求时可以设置一个timeout时间，

如果在timeout时间内请求内容没有返回， 将产生一个timeout的异常。

  1. proxies：字典， 用来设置访问代理服务器。

  2. allow_redirects: 开关， 表示是否允许对url进行重定向， 默认为True。

  3. stream: 开关， 指是否对获取内容进行立即下载， 默认为True。

  4. verify：开关， 用于认证SSL证书， 默认为True。

  5. cert： 用于设置保存本地SSL证书路径

response对象属性：

属性说明
r.status_codehttp请求的返回状态，若为200则表示请求成功。
r.texthttp响应内容的字符串形式，即返回的页面内容
r.encoding从http header 中猜测的相应内容编码方式
r.apparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）
r.contenthttp响应内容的二进制形式

2. requests.head()

head 获取html头部信息的方法 。

例如：


import requestsurl = "https://www.baidu.com"r = requests.get(url)print(r.headers)

3. requests.post()

发送post请求

POST 方法被用于请求源服务器接受请求中的实体作为请求资源的一个新的从属物

例如：


>>> payload = {"key1":"value1","key2":"value2"}
>>> r = requests.post("http://www.hello.com/index.php",data=payload)
>>> print(r.text)
{"args": {}, "data": "", "files": {}, "form": {"key1": "value1", "key2": "value2"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Content-Length": "23", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.18.4"}, "json": null, "origin": "192.168.1.2", "url": "http://www.hello.com/index.php"
}

向 url post 一个字符串，自动编码为 data


>>>r=requests.post("http://www.hello.com/index.php",data='hello world')
>>>print(r.text)
{"args": {}, "data": "hello world", "files": {}, "form": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Content-Length": "10", "Host": "httpbin.org", "User-Agent": "python-requests/2.18.4"}, "json": null, "origin": "192.168.1.2", "url": "http://www.hello.com/index.php"
}

4. requests.put()

PUT 方法请求服务器去把请求里的实体存储在请求URI（Request-URI）标识下。

例如：


>>> payload={"key1":"value1","key2":"value2"}
>>> r=requests.put("http://www.hello.com/index.php",data=payload)
>>> print(r.text)
{"args": {}, "data": "", "files": {}, "form": {"key1": "value1", "key2": "value2"}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Content-Length": "23", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.18.4"}, "json": null, "origin": "192.168.1.2", "url": "http://www.hello.com/index.php"

Requests模块例子

例：

判断状态码是不是 200


import requeststry:url = 'https://www.baidu.com'r = requests.get(url)if r.status_code == 200:print('hello')
except:print('error')

BeautifulSoup：

BeautifulSoup 是一个可以从 HTML 或 XML 文件中提取数据的 Python 库

它通常跟一些第三方解析器一起使用，如 lxml，XML，html5lib 等

例：


import requests
from bs4 import BeautifulSoupurl = 'https://www.baidu.com'r = requests.get(url)r.encoding = 'utf-8'   #  设置编码soup = BeautifulSoup(r.text,'lxml')print(soup.prettify())

r.text 是获取文本内容的意思，lxml 是解析器的意思，注意必须使用引号。

prettify() 是对内容进行格式化处理，看起来没哪里乱。

BeautifulSoup 通常配合 requests 一起使用。

其他一些方法：

find_all() 是一种方法选择器，顾名思义，就是查询所有符合条件的元素

例如：

print(soup.find_all(name='ul'))  # 查询所有 ui 节点

还有一些其他啊，

例如：

print(soup.head)  # 获取head标签

print(soup.p.b)  # 获取p节点下的b节点

soup.p['class']  # 获取p节点class属性

等等一些方法，功能很强大。

urllib：

urllib 是一种 http请求的 Python 库

基本语法：

urllib.request.urlopen(url, data=None, timeout)

参数：

  1. url: 需要打开的网址
  2. data: Post提交的数据
  3. timeout: 设置网站的访问超时时间，单位为秒

常用模块：

  1. urllib.request 请求模块

  2. urllib.error 异常处理模块

  3. urllib.parse url解析模块

  4. urllib.robotparser robots.txt解析模块

常用方法：

  1. print(response.read().decode(‘utf-8’)) # 返回网页内容
  2. print(response.version) # 返回版本信息
  3. print(response.status) # 返回状态码200，404代表网页未找到
  4. print(response.closed) # 返回对象是否关闭布尔值
  5. print(response.geturl()) # 返回检索的URL
  6. print(response.info()) # 返回网页的头信息
  7. print(response.getcode()) # 返回响应的HTTP状态码

例： 判断一个网站的状态码


import urllib.requesturl = 'https://www.baidu.com'r = urllib.request.urlopen(url)print(r.status)

好了，这个模块就先说这么多了。

http.client：

http.client 也是一种发送 http请求的 Python库

他跟 request 很像。

例如：


import http.clientconn = http.client.HTTPConnection("www.baidu.com")  # 请求地址conn.request("GET","/index.php")  # 发送 GET请求，路径是 /index.phpres = conn.getresponse()  # 接收返回值print(res.read().decode('utf-8'))  # 打印返回值

带中文参数的 GET请求：


import http.client
import urllib.parseconn = http.client.HTTPConnection("www.baidu.com")url = urllib.parse.quote("/index.php?name=张三&age=18",safe=':/?=&')conn.request("GET",url)res = conn.getresponse()print(res.read().decode('utf-8'))

这里需要使用到 urllib模块，

quote 是 urllib 的一个子模块，

他的作用是对 url进行编码。

safe 是一个 安全过滤器，默认会将斜杠转换成 %2F ，语法： safe='这里放不需要处理的字符'

这里如果使用 urllib 模块来打开 url ，如果存在中文会报错，

为了使他原原本本的输出，需要将一些符号排除在过滤之外。

POST 请求 ：


import http.client
import urllib.parseconn = http.client.HTTPConnection("www.baidu.com")data = urllib.parse.urlencode({"name":"张三","age":18}).encode("utf-8")  #  对url进行编码以及utf-8编码conn.request("POST",'index.php',data)res = conn.getresponse()print(res.read().decode('utf-8'))

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/835457.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

K8S面试题学习5

K8S面试题学习5

参考K8S面试题&#xff08;史上最全 持续更新&#xff09;_kubernetes常见面试题-CSDN博客做的个人总结&#xff0c;规划是每天看10题&#xff0c;thx&#xff01; 1. 请详述kube-proxy原理? 每个node节点都会运行一个kube-proxy的进程&#xff0c;核心功能是将service的访问…
阅读更多...
MySql数据库基础知识

MySql数据库基础知识

大家好&#xff0c;在当今软件世界中&#xff0c;软件测试人员肩负着至关重要的职责&#xff0c;确保软件的质量与稳定性。而对于软件测试工作来说&#xff0c;了解 MySQL 基础知识是一项极具价值的技能。MySQL 作为广泛应用的关系型数据库管理系统&#xff0c;在众多软件项目中…
阅读更多...
万村乐数字乡村综合服务系统如何助力农民收入的腾飞

万村乐数字乡村综合服务系统如何助力农民收入的腾飞

作为行业领先的数字乡村综合服务系统——“万村乐”&#xff0c;其核心便是基于互联网乡村和物联网乡村的强大信息基石之上。通过幸福民生服务、高效政务服务以及规范的党务服务这三条主线&#xff0c;以手机端平台为承载&#xff0c;借助事件反馈、精准种养数据、精细人员网格…
阅读更多...
四川省环境工程技术人员职称申报评审基本条件

四川省环境工程技术人员职称申报评审基本条件

四川省环境工程技术人员职称申报评审基本条件链接四川省人民政府公报类别基本条件业绩成果备注工程师具备博士学位&#xff1b;或具备硕士学位或第二学士学位&#xff0c;取得助理工程师职称后&#xff0c;从事环境工程技术工作满2年&#xff1b;或具备大学本科学历或学士学位&…
阅读更多...
Jenkins的原理及应用详解（五）

Jenkins的原理及应用详解（五）

本系列文章简介&#xff1a; Jenkins是一种自动化构建工具&#xff0c;它的出现使得软件开发过程变得更加高效、可靠和可持续。它采用了一种事件驱动的架构&#xff0c;能够通过触发不同的事件来执行相应的构建任务和操作。Jenkins支持多种版本控制系统的集成&#xff0c;可以自…
阅读更多...
UEC++ FString做为参数取值时报错error：C4840

UEC++ FString做为参数取值时报错error：C4840

问题描述 用来取FString类型的变量时报错&#xff1a; 问题解决 点击错误位置&#xff0c;跳转到代码&#xff1a; void AMyDelegateActor::TwoParamDelegateFunc(int32 param1, FString param2) {UE_LOG(LogTemp, Warning, TEXT("Two Param1:%d Param2:%s"), param…
阅读更多...
【全开源】酷柚易汛ERP 源码部署/售后更新/上线维护

【全开源】酷柚易汛ERP 源码部署/售后更新/上线维护

一款基于FastAdminThinkPHPLayui开发的ERP管理系统&#xff0c;帮助中小企业实现ERP管理规范化&#xff0c;此系统能为你解决五大方面的经营问题&#xff1a;1.采购管理 2.销售管理 3.仓库管理 4.资金管理 5.生产管理&#xff0c;适用于&#xff1a;服装鞋帽、化妆品、机械机电…
阅读更多...
数字型隔离器ISO121x的用法

数字型隔离器ISO121x的用法

目录 概述 1 认识ISO121x 1.1 简介 1.2 特性 1.3 应用领域 2 ISO121x芯片结构 2.1 ISO1211引脚介绍 2.2 ISO1211的通用应用电路 2.3 Layout Example 3 应用范例 3.1 TI提供的评估板 3.2 评估板的原理图电路 概述 本文主要介绍ISO121x的相关特性&#xff0c;以及其…
阅读更多...
【C++】线程池

【C++】线程池

一、线程池的概念 线程池是一种管理线程使用的模式&#xff0c;尽管线程数量过多可能会增加调度成本&#xff0c;从而影响缓存的局部性和整体性能。线程池通过维护多个线程&#xff0c;准备好分配并行执行的任务&#xff0c;避免了短时任务处理中线程的创建和销毁成本。线程池…
阅读更多...
导出QQ好友列表、群列表、群员列表

导出QQ好友列表、群列表、群员列表

MENU 准备工作在浏览器地址栏中输入地址使用F12快捷键打开开发者工具(浏览器控制台)点击头像登入网站(推荐)或手机扫码登录获取群列表获取好友列表获取群员列表 准备工作 一台带有浏览器的电脑 在浏览器地址栏中输入地址 https://qun.qq.com/member.html 使用F12快捷键打开开发…
阅读更多...
洪水仿真模拟（ArcGIS），水利数字孪生新利器

洪水仿真模拟（ArcGIS），水利数字孪生新利器

这两天ArcGIS Pro的官方账号释放了一个名为“Flood Simulation in ArcGIS Pro”的洪水模拟功能视频。根据视频详情页的介绍&#xff0c;该洪水仿真模拟功能会作为新功能出现在ArcGIS Pro 3.3中。 由于我目前从事的主要应用方向都是弱GIS的领域&#xff0c;所以我已经很久没有再…
阅读更多...
Panasonic机器人维修｜松下机械手维修过程

Panasonic机器人维修｜松下机械手维修过程

在我们的科技日新月异的今天&#xff0c;松下机器人已经广泛应用于各个领域&#xff0c;发挥着越来越重要的作用。然而&#xff0c;这些Panasonic机械手维修过程也是一项重要且复杂的工作。 一、准备工作 在进行松下机器人维修前&#xff0c;需要充分了解机器人的构造和工作原理…
阅读更多...
头歌实践教学平台：CG1-v1.0-点和直线的绘制

头歌实践教学平台：CG1-v1.0-点和直线的绘制

第1关&#xff1a;OpenGL点的绘制 一. 任务描述 根据下面要求&#xff0c;在右侧修改代码&#xff0c;绘制出预期输出的图片。平台会对你编写的代码进行测试。 1.本关任务 熟悉编程环境&#xff1b; 了解光栅图形显示器的特点&#xff1b; 了解计算机绘图的特点&#xff1b…
阅读更多...
自动化运维管理工具----------Ansible模块详细解读

自动化运维管理工具----------Ansible模块详细解读

目录 一、自动化运维工具有哪些&#xff1f; 1.1Chef 1.2puppet 1.3Saltstack 二、Ansible介绍 2.1Ansible简介 2.2Ansible特点 2.3Ansible工作原理及流程 2.3.1内部流程 2.3.2外部流程 三、Ansible部署 3.1环境准备 3.2管理端安装 ansible 3.3Ansible相关文件 …
阅读更多...
图片转pdf的java代码实现

图片转pdf的java代码实现

一、实现方式 采用itextpdf和itext包&#xff0c;使用java代码&#xff0c;把图片转换为pdf. 支持文件格式&#xff1a;png&#xff0c;jpg, jpeg,gif 二、java代码实现 1、maven依赖 <!-- https://mvnrepository.com/artifact/com.itextpdf/itextpdf --><dependen…
阅读更多...
反了！美国假冒邮政服务钓鱼网站访问量竟然超过正规官网

反了！美国假冒邮政服务钓鱼网站访问量竟然超过正规官网

美国邮政是美国主要的包裹信件投递机构之一&#xff0c;长期以来该单位都是网络钓鱼和诈骗的针对目标。对美国公民来说&#xff0c;在假期通常都会收到声称来自美国邮政的诈骗。美国邮政甚至单独建设的网页提醒消费者警惕诈骗信息&#xff1a; 专用提醒网页 Akamai 的研究人员…
阅读更多...
Redis是单线程吗？为什么6.0之后引入了多线程？

Redis是单线程吗？为什么6.0之后引入了多线程？

Redis是单线程吗&#xff1f;为什么6.0之后引入了多线程&#xff1f; Redis 是单线程吗&#xff1f;Redis 单线程模式是怎样的&#xff1f;Redis 采用单线程为什么还这么快&#xff1f;Redis 6.0 之前为什么使用单线程&#xff1f;Redis 6.0 之后为什么引入了多线程&#xff1f…
阅读更多...
在拥有多个同名称密码的ap环境中，如何连接到指定信道或mac的ap路由器？

在拥有多个同名称密码的ap环境中，如何连接到指定信道或mac的ap路由器？

在给客户做ESP32-C3入墙开关项目时&#xff0c;客户问&#xff1a;在拥有多个同名称密码的ap环境中&#xff0c;如何连接到指定信道或mac的ap路由器&#xff1f;针对这个问题&#xff0c;启明云端工程师给出下面解决方法。 1、将wifi_sta_config_t配置中的channel配置为该信道…
阅读更多...
视频拼接融合产品的产品与架构设计(二)

视频拼接融合产品的产品与架构设计(二)

视频拼接融合产品的产品与架构设计一 以上是第一期&#xff0c;以前思考的时候还是比较着急&#xff0c;现在思考的更多了&#xff0c;现实世界的拼接更加需要我们沉下心来做&#xff0c;尤其是对于更多画面&#xff0c;画面更加清晰怎么做 本篇章不在于其他功能&#xff0c;在…
阅读更多...
认识下MapReduce

认识下MapReduce

&#x1f50d; 什么是MapReduce&#xff1f; MapReduce是一种分布式计算模型&#xff0c;最初由Google提出&#xff0c;用于处理大规模数据集的并行计算。它将数据处理任务分解成独立的Map和Reduce两个阶段&#xff0c;以实现分布式计算和并行化处理。Map阶段负责将输入数据映…
阅读更多...
最新文章

Copyright @ 2022~2023