from urllib.error import URLError

from urllib.request import ProxyHandler,build_opener

proxy='127.0.0.1 :1087'                          # 代理地址

proxy_handler=ProxyHandler({

'http ' : 'http:// '+proxy,

'https ' : 'https:// '+proxy

})

opener=build_opener(proxy_handler)

try:

response = opener .open( 'http://httpbin .org/get ') print(response .read() .decode( 'utf-8 '))

except URLError as e:

print(e .reason)

#

测试IP的网址

# requests代理设置

import requests

proxy='127.0.0.1 :1087'  # 代理地址

proxies={

'http ' : 'http:// '+proxy,

'https ' : 'https:// '+proxy

}

try:

response=requests.get('http://httpbin.org/get ',proxies=proxies)

print(response .text)

except requests .exceptions .ConnectionError as e:

print( 'error: ',e .args)

运行结果与Urllib代理相同。

付费代理的使用方法与普通代理的一样，仅仅需要修改proxy的值，在代理IP 地址前加上“用户名：密码@” 即可。示例代码如下：

proxy= 'username:password@IP:port '

下面来看一个代理应用的案例：爬取某电影评论。

首先，找到一个获取电影评论的接口，如下所示：

分析一下这个接口的参数信息，可以发现1200486是指电影的唯一识别ID。 startTime对应获取到的评论截止时间，从截止时间向前获取15条评论。

分析好后就可以开始编写脚本了，步骤如下：

1）使用requests库的代理方法进行接口访问，代码如下：

'127.0.0.1 :1087'

= {

'http ' : 'http:// ' + proxy,

'https ' : 'https:// ' + proxy

}

2）设置代理地址和端口，让之后的链接都通过此代理来绕过可能存在的反 爬虫工具：

headers = {

'User-Agent ' : 'Mozilla/5 .0 (Macintosh; Intel Mac OS X 10_14_6)

AppleWebKit/537 .36 (KHTML, like Gecko) Chrome/76 .0 .3809 .100

Safari/537 .36 '

}

3）设置一个UA ，也可以设置多个UA ，每次访问时随机抽取UA来避免被检 测：

try:

print(url)

response = requests .get(url,headers=headers, proxies=proxies, timeout=3) if response .status_code == 200:

print(response .text)

return response .text

return None

except requests .exceptions .ConnectionError as e:

print( 'error: ', e .args)

4）访问接口URL并判断访问是否成功，若成功，则将数据返回，效果如下 所示：

5）可以看到，已经成功获取到了数据，但是数据的格式还是原始接口返回 的格式，里面的数据并非都是我们想要的数据。所以再写一个数据优化的方法， 传入原始数据进行处理，并将处理后的结果返回：

运行效果如下所示：

6）可以看到，数据已经处理完成了，接下来进行循环和保存。获取评论时 应该从当前时间向前爬取，所以先获取当前时间：

start_time = date time .now() .strftime( '%Y-%m-%d %H:%M:%S ')

7）设置截止时间为上映时间，再往前就没有评论了，循环爬取到截止时间 点后停止爬取：

end_time = '上映时间 '

8）需要循环判断获取的时间是否小于截止的时间点，小于则代表是最早的 评论，爬取完成：

while start_time > end_time:

url = 'http://m .×××××× .com/mmdb/comments/movie/1203084 .json?

 v  =yes&offset=0&startTime= ' + start_time .replace( ' ', '%20 ')

try:

html = get_data(url)    # 获取数据

except Exception as e:

time .sleep(0 .5)

html = get_data(url)

else:

9）每次循环获取的末尾评论时间为下次开始时间时，继续向前获取，再将 数据进行处理并保存即可：