爬虫实战学习笔记_3 网络请求urllib模块：设置IP代理+处理请求异常+解析URL+解码+编码+组合URL+URL连接

1 设置IP代理

1.1 方法论述

使用urllib模块设置代理IP是比较简单的，首先需要创建ProxyHandler对象，其参数为字典类型的代理IP，键名为协议类型（如HTTP或者HTTPS)，值为代理链接。然后利用ProxyHandler对象与buildopener()方法构建一个新的opener对象，最后再发送网络请求即可。

1.2 代码实现

import urllib.request  # 导入urllib.request模块
url= 'https://www.httpbin.org/get'   # 网络请求地址# 创建代理IP
proxy_handler = urllib.request.ProxyHandler({'https':'58.220.95.114:10053'
})# 创建opener对象
opener = urllib.request.build_opener(proxy_handler)
response = opener.open(url,timeout=2)        # 发送网络请求
print(response.read().decode('utf-8'))    # 打印返回内容

2 处理请求异常

在实现网络请求时，可能会出现很多异常错误，ulib模块中的urllib.error模块包含了URLError与HTTPError两个比较重要的异常类。

2.1 处理URLError异常

URLError类中reason属性，可以反馈异常的原因

2.1.1 向不存在的地址发送请求

import urllib.request    # 导入urllib.request模块
import urllib.error      # 导入urllib.error模块
try:# 向不存在的网络地址发送请求response = urllib.request.urlopen('http://www.52pojie.cn/4040.html')
except urllib.error.URLError as error:    # 捕获异常信息print(error.reason)                    # 打印异常原因print(error.code)                   # 打印HTTP状态码print(error.header)                 # 返回请求头

2.1.2 双重异常捕获

import urllib.request    # 导入urllib.request模块
import urllib.error      # 导入urllib.error模块
try:# 向不存在的网络地址发送请求response = urllib.request.urlopen('https://www.python12.org/',timeout=0.1)
except urllib.error.HTTPError as error:    # HTTPError捕获异常信息print('状态码为：',error.code)                      # 打印状态码print('HTTPError异常信息为：',error.reason)         # 打印异常原因print('请求头信息如下：\n',error.headers)           # 打印请求头
except urllib.error.URLError as error:     # URLError捕获异常信息print('URLError异常信息为：',error.reason)# 输出 URLError异常信息为： [Errno 11001] getaddrinfo failed

3 解析URL

urllib模块中提供了parse子模块，主要用于解析URL,可以实现URL的拆分或者是组合。它支持多种协议的URL处理。

3.1 urlparse()

3.1.1 urlparse()简介

urlparse()用于将URL分解成不同部分

3.1.2 urlparse()函数构成

 urllib.parse.urlparse (urlstring,scheme ='',allow_fragments=True)
  • urlstring：需要拆分的URL，该参数为必选参数。
  • scheme：可选参数，表示需要设置的默认协议。如果需要拆分的URL中没有协议，可以通过该参数设置一个默认的协议，该参数的默认值为空字符串。
  • allow_fragments：可选参数，如果该参数设置为False,表示忽略fragment这部分内容，默认为Tnue。

3.1.3 使用urlparse()分解URL

import urllib.parse    #导入urllib.parse模块
parse_result = urllib.parse.urlparse('https://www.baidu.com/doc/library/urllib.parse.html')
print(type(parse_result))    # 打印类型
print(parse_result)          # 打印拆分后的结果
### 也可以拆分打印
print(parse_result.scheme)          # 打印拆分后的结果
print(parse_result.netloc)          # 打印拆分后的结果
print(parse_result.path)          # 打印拆分后的结果
print(parse_result.params)          # 打印拆分后的结果
print(parse_result.query)          # 打印拆分后的结果
print(parse_result.fragment)          # 打印拆分后的结果

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='https', netloc='www.baidu.com', path='/doc/library/urllib.parse.html', params='', query='', fragment='')
https
www.baidu.com
/doc/library/urllib.parse.html

3.2 urlsplit()

3.2.1 urlsplit()简介

使用urlsplit()方法与urlparse()方法类似，可以实现URL的拆分，只是urlsplit()方法不再单独拆分params这部分内容，而是将params合并到path中，所以返回的结果中只有5部分内容，并且运数据类型为SplitResult。示例代码如下，

3.2.2 urlsplit()代码实现

import urllib.parse    #导入urllib.parse模块
# 需要拆分的URL
url = 'https://www.baidu.com/doc/library/urllib.parse.html'
print(urllib.parse.urlsplit(url))     # 使用urlsplit()方法拆分URL
# 输出： SplitResult(scheme='https', netloc='www.baidu.com', path='/doc/library/urllib.parse.html', query='', fragment='')
print(urllib.parse.urlparse(url))     # 使用urlparse()方法拆分URL
# 输出：ParseResult(scheme='https', netloc='www.baidu.com', path='/doc/library/urllib.parse.html', params='', query='', fragment='')

4 组合URL

4.1 urlunparse()

使用urlunpare()方法组合URL时，需要注意可迭代参数中的元素必须是6个

import urllib.parse    #导入urllib.parse模块
list_url = ['https','baidu.org','/3/library/urllib.parse.html','','','']
tuple_url = ('https','baidu.org','/3/library/urllib.parse.html','','','')
dict_url = {'scheme':'https','netloc':'docs.baidu.org','path':'/baidu/library/urllib.parse.html','params':'','query':'','fragment':''}
print('组合列表类型的URL：',urllib.parse.urlunparse(list_url))
print('组合元组类型的URL：',urllib.parse.urlunparse(tuple_url))
print('组合字典类型的URL：',urllib.parse.urlunparse(dict_url.values()))

输出：

组合列表类型的URL： https://baidu.org/3/library/urllib.parse.html
组合元组类型的URL： https://baidu.org/3/library/urllib.parse.html
组合字典类型的URL： https://docs.baidu.org/baidu/library/urllib.parse.html

4.2 urlunsplit()

import urllib.parse    #导入urllib.parse模块
list_url = ['https','docs.python.org','/3/library/urllib.parse.html','','']
tuple_url = ('https','docs.python.org','/3/library/urllib.parse.html','','')
dict_url = {'scheme':'https','netloc':'docs.python.org','path':'/3/library/urllib.parse.html','query':'','fragment':''}
print('组合列表类型的URL：',urllib.parse.urlunsplit(list_url))
print('组合元组类型的URL：',urllib.parse.urlunsplit(tuple_url))
print('组合字典类型的URL：',urllib.parse.urlunsplit(dict_url.values()))

输出：

组合列表类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合元组类型的URL： https://docs.python.org/3/library/urllib.parse.html
组合字典类型的URL： https://docs.python.org/3/library/urllib.parse.html
 

5 URL的连接urllib.parse.urljoin()

5.1 函数原型

urllib.parse.urljoin(base,url,allow_fragments = True)
  • base：表示基础链接
  • url：表示新的链接
  • allow_fragments：可选择参数，默认为True

5.2 使用urllib.parse.urljoin()实例

import urllib.parse    #导入urllib.parse模块
base_url = 'https://tet.baidu.org'   # 定义基础链接
# 第二参数不完整时,合并返回
print(urllib.parse.urljoin(base_url,'3/library/urllib.parse.html'))
# 第二参数完成时，不合并直接返回第二参数的链接
print(urllib.parse.urljoin(base_url,'https://docs.tet.baidu.org/3/library/urllib.parse.html#url-parsing'))

输出：

https://tet.baidu.org/3/library/urllib.parse.html


https://docs.tet.baidu.org/3/library/urllib.parse.html#url-parsing
 

6 URL的解码与编码

quote()方法与urlencode()方法所实现的功能类似，但是urlencode()方法中只接收字典类型的参数，quote()方法则可以将一个字符串进行编码。

6.1 使用urlcode()方法编码请求参数

import urllib.parse    #导入urllib.parse模块
base_url = 'http://baidu.org/get?'    # 定义基础链接
params = {'name':'Jack','country':'中国','age':30}  # 定义字典类型的请求参数
url = base_url+urllib.parse.urlencode(params)       # 连接请求地址
print('编码后的请求地址为：',url)

编码后的请求地址为： http://baidu.org/get?name=Jack&country=%E4%B8%AD%E5%9B%BD&age=30

6.2 使用quote()方法编码字符串参数

import urllib.parse    #导入urllib.parse模块
base_url = 'http://baidu.org/get?country='    # 定义基础链接
url = base_url+urllib.parse.quote('中国')        # 字符串编码
print('编码后的请求地址为：',url)

编码后的请求地址为： http://baidu.org/get?country=%E4%B8%AD%E5%9B%BD

7 解码

7.1 代码1

import urllib.parse    #导入urllib.parse模块
u = urllib.parse.urlencode({'country':'中国'})  # 使用urlencode编码
q=urllib.parse.quote('country=中国')              # 使用quote编码
print('urlencode编码后结果为：',u)
print('quote编码后结果为：',q)
print('对urlencode解码：',urllib.parse.unquote(u))
print('对quote解码：',urllib.parse.unquote(q))

7.2 代码2 

import urllib.parse    #导入urllib.parse模块
# 定义一个请求地址
url = 'http://httpbin.org/get?name=Jack&country=%E4%B8%AD%E5%9B%BD&age=30'
q = urllib.parse.urlsplit(url).query   # 获取需要的参数
q_dict = urllib.parse.parse_qs(q)      # 将参数转换为字典类型的数据
print('数据类型为：',type(q_dict))
print('转换后的数据：',q_dict)

7.3 代码3

import urllib.parse    #导入urllib.parse模块
str_params = 'name=Jack&country=%E4%B8%AD%E5%9B%BD&age=30'  # 字符串参数
list_params = urllib.parse.parse_qsl(str_params)   # 将字符串参数转为元组所组成的列表
print('数据类型为：',type(list_params))
print('转换后的数据：',list_params)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/469380.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

vim 插件cscope　使用

vim 插件cscope　使用

&#xff11;&#xff0e;安装　sudo apt-get install cscope &#xff12;&#xff0e;初始化　cscope -Rbq　你想在哪个目录下面用这个功能&#xff0c;就在哪个目录下面运行这个命令 &#xff13;&#xff0e;vim kpd.c &#xff14;&#xff0e;输入　:cs add cscope.o…
阅读更多...
Sanic服务启动失败，报错Cannot finalize with no routes defined

Sanic服务启动失败，报错Cannot finalize with no routes defined

Sanic服务启动失败&#xff0c;记录解决方法 问题描述 Sanic服务启动失败&#xff0c;同样的代码和python版本在之前的win10系统上运行的好好的&#xff0c;换了台win11的机器就跑不起来了&#xff0c;不知道是系统原因还是因为换了执行pycharm等其他原因 在尝试启动时总是会…
阅读更多...
打一波鸡血

打一波鸡血

在朋友圈看的一首诗&#xff0c;觉得很励志&#xff0c;如下&#xff1a;问题在于过度担心未来总是埋怨现在不断惋惜过往内心不知足想法逾现实行动很迟缓时间可贵青春难再审视脚下的路充实度日一日尚短庸碌混迹一日便长无妄的借口只会难上加难脚踏实地走才能遇难成祥守住时光用…
阅读更多...
【Pytorch神经网络理论篇】 12 卷积神经网络实现+卷积计算的图解

【Pytorch神经网络理论篇】 12 卷积神经网络实现+卷积计算的图解

同学你好&#xff01;本文章于2021年末编写&#xff0c;获得广泛的好评&#xff01; 故在2022年末对本系列进行填充与更新&#xff0c;欢迎大家订阅最新的专栏&#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现&#xff0c; Pytorch深度学习理论篇(2023版)目录地址…
阅读更多...
vim 函数列表插件

vim 函数列表插件

&#xff11;&#xff0e;apt-get install exuberant-ctags &#xff12;&#xff0e;unzip taglist_42.zip　　把解压出来的文件放到 /home/weiqifa(自己的用户名)/.vim/　　资源下载&#xff1a; http://download.csdn.net/detail/weiqifa0/9137283&#xff13;&#xff0e;s…
阅读更多...
【Pytorch神经网络实战案例】09 使用卷积提取图片的轮廓信息（手动模拟Sobel算子）

【Pytorch神经网络实战案例】09 使用卷积提取图片的轮廓信息（手动模拟Sobel算子）

1 载入图片并显示 import matplotlib.pyplot as plt import matplotlib.image as mpimg import torch import torchvision.transforms as transforms import os os.environ["KMP_DUPLICATE_LIB_OK"]"TRUE" ### 1 载入图片并显示 myimg mpimg.imread(img.…
阅读更多...
jquery深入学习

jquery深入学习

的转载于:https://www.cnblogs.com/lizhiwei8/p/6417798.html
阅读更多...
【Pytorch神经网络理论篇】 13 深层卷积神经网络介绍+池化操作+深层卷积神经网络实战

【Pytorch神经网络理论篇】 13 深层卷积神经网络介绍+池化操作+深层卷积神经网络实战

同学你好&#xff01;本文章于2021年末编写&#xff0c;获得广泛的好评&#xff01; 故在2022年末对本系列进行填充与更新&#xff0c;欢迎大家订阅最新的专栏&#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现&#xff0c; Pytorch深度学习理论篇(2023版)目录地址…
阅读更多...
gulp 系统教程

gulp 系统教程

移步: http://www.cnblogs.com/2050/p/4198792.html gulp外挂 加md5 版本号 自动合并图片并修改css的坐标 一个系统列子 gulp可以做哪些事情转载于:https://www.cnblogs.com/dhsz/p/6419383.html
阅读更多...
Android 广播接收

Android 广播接收

问题&#xff1a;写了一个应用来验证我按下音量键时发送出来的广播&#xff0c;可是老是提示出错&#xff0c; 原因&#xff1a;我的整个应用只继承吧BroadcastReceive&#xff0c;没有实际的继承Activity所以总是出现各种问题&#xff0c;现在修改好&#xff0c;上传代码 http…
阅读更多...
【Pytorch神经网络实战案例】10 搭建深度卷积神经网络

【Pytorch神经网络实战案例】10 搭建深度卷积神经网络

识别黑白图中的服装图案(Fashion-MNIST)https://blog.csdn.net/qq_39237205/article/details/123379997基于上述代码修改模型的组成 1 修改myConNet模型 1.1.1 修改阐述 将模型中的两个全连接层&#xff0c;变为全局平均池化层。 1.1.2 修改结果 ### 1.5 定义模型类 class m…
阅读更多...
Service Worker,Web Worker,WebSocket的对比

Service Worker,Web Worker,WebSocket的对比

Service Worker 处理网络请求的后台服务。适用于离线和后台同步数据或推送信息。不能直接和dom交互。通过postMessage方法交互。 Web Worker 模拟多线程&#xff0c;允许复杂计算功能的脚本在后台运行而不会阻碍到其他脚本的运行。适用于处理器占用量大而又不阻碍的情形。不能直…
阅读更多...
MTK 升级USB问题

MTK 升级USB问题

问题&#xff1a;我们的开发环境是ubuntu里面安装xp ,经常是xp下没有正常识别preload模式下的usb.这样肯定不能升级不了。 设置&#xff1a;MTK preload下的USB　vid:0e8d pid:2000 revion 0100 知道这几个值了&#xff0c;在usb配置里面增加这个筛选项就可以了。
阅读更多...
JAVA 8 StreamAPI 和 lambda表达式 总结（一）--lambda表达式

JAVA 8 StreamAPI 和 lambda表达式 总结（一）--lambda表达式

这些天看见另一本好书《给大忙人看的Java SE 8》&#xff0c;其中的新特性 StreamAPI 和 lambda表达式 是之前jdk没有提供的新特性&#xff0c;也是jdk8 重要的更新内容&#xff0c;我会总结一下它们的用法&#xff0c;更详细的参见书本。 lambda表达式的概念 人对一个概念的理…
阅读更多...
【Pytorch神经网络理论篇】 14 过拟合问题的优化技巧（一）：基本概念+正则化+数据增大

【Pytorch神经网络理论篇】 14 过拟合问题的优化技巧（一）：基本概念+正则化+数据增大

同学你好&#xff01;本文章于2021年末编写&#xff0c;获得广泛的好评&#xff01; 故在2022年末对本系列进行填充与更新&#xff0c;欢迎大家订阅最新的专栏&#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现&#xff0c; Pytorch深度学习理论篇(2023版)目录地址…
阅读更多...
MTK 8127平台使用busybox

MTK 8127平台使用busybox

一、什么是BusyBox &#xff1f; BusyBox 是标准 Linux 工具的一个单个可执行实现。BusyBox 包含了一些简单的工具&#xff0c;例如 cat 和 echo&#xff0c;还包含了一些更大、更复杂的工具&#xff0c;例如 grep、find、mount 以及 telnet。有些人将 BusyBox 称为 Linux 工具…
阅读更多...
医学影像分割领域常用数据集

医学影像分割领域常用数据集

阅读更多...
MediaPlayer 播放视频的方法

MediaPlayer 播放视频的方法

MediaPlayer mediaPlayer new MediaPlayer(); mediaPlayer.reset();//重置为初始状态 mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC); mediaPlayer.setDisplay(surfaceView.getHolder());//设置画面显示为surfaceView mediaPlayer.setDataSource("/mnt/sdc…
阅读更多...
Android bootchart分析

Android bootchart分析

1.首先确保编译的init被烧录到板子里面去了，源码的位置在system/core/init/ 2.第一次修改后，编译了system/core/init/然后又编译了./mkkernel 生成boot.img 但是烧录进去还是不成功 3.然后　发现有一个宏没有设置　在bootchart.h里面，BOOTCHART　修改后重新编译，烧了所有…
阅读更多...
【Pytorch神经网络理论篇】 15 过拟合问题的优化技巧（二）：Dropout()方法

【Pytorch神经网络理论篇】 15 过拟合问题的优化技巧（二）：Dropout()方法

同学你好&#xff01;本文章于2021年末编写&#xff0c;获得广泛的好评&#xff01; 故在2022年末对本系列进行填充与更新&#xff0c;欢迎大家订阅最新的专栏&#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现&#xff0c; Pytorch深度学习理论篇(2023版)目录地址…
阅读更多...
最新文章

Copyright @ 2022~2023