【Python】 Python网络请求库大比拼：urllib、urllib2、urllib3与requests

基本原理

在Python中，进行网络请求是常见的任务之一，无论是下载网页内容、获取API数据还是进行文件上传。Python社区提供了多种库来帮助开发者完成这些任务。其中，urllib、urllib2、urllib3和requests是最为流行的几个。了解它们之间的区别对于选择合适的工具来完成任务至关重要。

urllib

urllib是Python标准库中的一部分，用于处理URL。它包括几个子模块，如urllib.request用于打开和读取URLs，urllib.parse用于解析URLs，urllib.error用于处理URL错误等。

urllib2

urllib2是urllib的升级版本，它提供了更多的功能，比如HTTP请求的重试机制、设置HTTP头、处理HTTP重定向等。然而，urllib2在Python 3中被重构并整合到了urllib中。

urllib3

urllib3是一个强大的第三方库，用于处理HTTP请求。它是requests库的基础，提供了连接池和线程安全的管理，以及更高级的HTTP功能，如文件上传、持久连接等。

requests

requests是目前最流行的HTTP库之一，以其简洁的API和强大的功能而闻名。它建立在urllib3之上，提供了更易用的接口，简化了HTTP请求的过程。

代码示例

示例1：使用urllib.request获取网页内容

import urllib.request# 创建请求对象
req = urllib.request.Request('http://example.com')# 发送请求并获取响应
response = urllib.request.urlopen(req)# 读取网页内容
html = response.read().decode('utf-8')print(html)

示例2：使用urllib2处理HTTP重定向

import urllib2# 创建一个请求对象
req = urllib2.Request('http://example.com')# 发送请求并获取响应
try:response = urllib2.urlopen(req)
except urllib2.HTTPError as e:print('HTTP Error:', e.code, e.reason)
else:# 读取网页内容html = response.read().decode('utf-8')print(html)

示例3：使用urllib3进行文件上传

import urllib3# 创建一个HTTP客户端
http = urllib3.PoolManager()# 准备文件上传的数据
fields = {'file': open('example.txt', 'rb')}
url = 'http://example.com/upload'# 发送POST请求并上传文件
response = http.request('POST', url, fields=fields)# 读取响应内容
print(response.data.decode('utf-8'))

示例4：使用requests获取JSON数据

import requests# 发送GET请求并获取JSON数据
response = requests.get('http://example.com/api/data')# 解析JSON数据
data = response.json()print(data)

注意事项

urllib和urllib2是Python 2中的模块，在Python 3中，urllib2的功能被整合到了urllib中。
urllib3是一个底层库，通常不直接使用，而是作为其他库（如requests）的基础。
requests库提供了更简洁的API，使得HTTP请求变得非常简单，但它不是Python标准库的一部分，需要单独安装。
考虑到易用性和社区支持，requests通常是进行HTTP请求的首选库。

结论

在Python中，选择正确的网络请求库取决于你的具体需求和偏好。如果你需要简单的HTTP请求，requests是一个非常好的选择。如果你需要更底层的控制，或者想要避免安装第三方库，urllib可能是更好的选择。urllib3通常作为requests的后端，而urllib2则是Python 2时代的遗留模块，现在已经不再推荐使用。了解这些库的特点和差异，可以帮助你更有效地进行网络编程。

>
> 【痕迹】QQ+微信朋友圈和聊天记录分析工具1.0.4 （1）纯Python语言实现，使用Flask后端，本地分析，不上传个人数据。
>
> （2）内含QQ、微信聊天记录保存到本地的方法，真正实现自己数据自己管理。
>
> （3）数据可视化分析QQ、微信聊天记录，提取某一天的聊天记录与大模型对话。
>
> 下载地址：https://www.alipan.com/s/x6fqXe1jVg1
>