Python中如何使用urllib3进行http请求 (一)

Urllib3是什么以及为什么使用它？

Urllib3是一个强大且用户友好的Python HTTP客户端。它被设计用来替代默认的Python库进行HTTP请求的urllib2。相比于urllib2，Urllib3具有许多优势，包括连接池、线程安全和对HTTP/1.1的支持。此外，Urllib3具有更直观的API，比urllib2更容易使用。总体而言，在Python中使用Urllib3可以大大简化进行HTTP请求的过程。

Urllib3的安装与设置

要安装Urllib3，您可以使用Python包管理器pip。打开终端或命令提示符，运行以下命令：

pip install urllib3

这将安装Urllib3的最新版本及其所有依赖项。安装完成后，可以在Python代码中开始使用Urllib3。

要在Python代码中使用Urllib3，您需要导入urllib3模块。以下示例显示了如何执行此操作：

import urllib3http = urllib3.PoolManager()

此代码导入urllib3模块并创建一个新的PoolManager实例，用于进行HTTP请求。您可以使用此PoolManager实例进行HTTP请求，如下一节所述。

使用Urllib3进行HTTP请求的基本用法

要使用Urllib3进行基本的HTTP请求，可以使用您之前创建的PoolManager实例的request()方法。此方法将HTTP方法（例如GET、POST、PUT等）、URL和任何附加参数作为参数。

以下是使用request()方法进行GET请求以获取URL内容的示例：

import urllib3http = urllib3.PoolManager()response = http.request('GET', 'http://www.example.com')# 打印响应的状态码
print(response.status)# 打印服务器返回的数据
print(response.data)

在此示例中，使用GET方法和URL http://www.example.com调用了request()方法。这将向指定的URL发送GET请求，并返回包含服务器响应的Response对象。Response对象具有一个包含响应的HTTP状态码的status属性，以及包含服务器返回的数据的data属性。

您还可以使用request()方法进行其他类型的HTTP请求，例如POST、PUT、DELETE等。例如，以下代码演示了如何进行POST请求以将数据发送到服务器：

import urllib3# 创建新的HTTP连接池
http = urllib3.PoolManager()# 构建您的URL
url = 'https://www.example.com/api/v1/'# 构建您的POST参数
payload = {'param1': 'value1','param2': 'value2',
}# 将POST参数编码为JSON对象
encoded_data = json.dumps(payload).encode('utf-8')# 发起请求
response = http.request('POST',url,body=encoded_data,headers={'Content-Type': 'application/json'},
)# 处理响应
if response.status == 200:# 成功！data = json.loads(response.data.decode('utf-8'))print(data)
else:# 出现错误print(response.status)

请确保将https://www.example.com/api/v1/替换为要发送请求的API端点的实际URL。此外，请调整payload字典，以包含您要在POST请求中发送的实际参数。

使用Urllib3进行HTTP请求的高级用法

以下是使用Urllib3进行HTTP请求的两个高级示例。

带请求头发送请求： 要在请求中发送附加标头，可以向request()方法传递一个包含您想要包含在请求中的标头名称和值的headers参数。例如：

# 创建新的HTTP连接池
http = urllib3.PoolManager()# 构建您的URL
url = 'https://www.example.com/api/v1/'# 构建您的POST参数
payload = {'param1': 'value1','param2': 'value2',
}# 将POST参数编码为JSON对象
encoded_data = json.dumps(payload).encode('utf-8')# 在请求中包含附加标头
headers = {'Content-Type': 'application/json','Authorization': 'Bearer abcdefghijklmnopqrstuvwxyz','X-Custom-Header': 'my-custom-value',
}# 发起请求
response = http.request('POST',url,body=encoded_data,headers=headers,
)# 处理响应
if response.status == 200:# 成功！data = json.loads(response.data.decode('utf-8'))print(data)
else:# 出现错误print(response.status)

处理HTTP重定向： 要处理可能重定向的情况，可以使用以下代码：

import urllib3# 创建HTTP连接池
http = urllib3.PoolManager()# 发起GET请求到可能进行重定向的URL
r = http.request('GET', 'http://www.example.com/')# 检查响应的状态码
if r.status == 303:# 如果状态码为303，则响应是重定向# 从响应头中获取重定向的位置location = r.headers['Location']# 对重定向位置发起新的GET请求r = http.request('GET', location)# 此时，r将包含最终重定向的响应

此代码使用urllib3创建了一个HTTP连接池，然后发起了一个GET请求到给定的URL。如果响应的状态码为303，表示重定向，代码将从响应头中获取重定向的位置，并发起新的请求到该位置。最终的响应将存储在变量r中。

使用Urllib3进行身份验证和标头设置

以下是使用Urllib3进行身份验证和设置自定义标头的示例：

进行身份验证的例子：

import urllib3# 创建HTTP连接池
http = urllib3.PoolManager()# 设置身份验证凭据auth_creds = urllib3.util.make_headers(basic_auth='username:password')# 发起带有身份验证凭据的GET请求到URL
r = http.request('GET', 'http://www.example.com/', headers=auth_creds)# 检查响应的状态码
if r.status == 200:# 如果状态码为200，则请求成功# 处理响应数据response_data = r.data

设置自定义标头的例子：

import urllib3# 创建HTTP连接池
http = urllib3.PoolManager()# 设置自定义标头
custom_headers = {'X-My-Custom-Header': 'value1','X-Another-Custom-Header': 'value2'
}# 发起带有自定义标头的GET请求到URL
r = http.request('GET', 'http://www.example.com/', headers=custom_headers)# 检查响应的状态码
if r.status == 200:# 如果状态码为200，则请求成功# 处理响应数据response_data = r.data