selenium添加带有账密的socks5代理
我们都知道在使用selenium开发爬虫的时候不可避免的会使用socks5高匿名代理。一般情况下我们使用方法如下(开发语言为python):
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("proxy-server=socks5://127.0.0.1:1080")
driver = webdriver.Chrome( "./chromedriver", chrome_options=chrome_options)
我们的代理是:socks5://127.0.0.1:1080
,当然这是本地自己搭的socks5代理,不需要账号密码就可以使用,但是如果我们搞了一台服务器在上面搭建了socks5代理服务,你如果不设置账号密码,那岂不是会变成人人都可以用的开放式socks5代理服务,你问我为什么?因为总有一些进行全网扫描的投机分子会发现你的服务器的开放代理。
但是你又要问了,chrome不支持socks5代理加认证,这不能怪我啊。
确实chrome原生不支持socks5代理认证,所以小码哥在这里介绍一种方式,抛砖引玉,有其他合适的方式可以交流。
咱们开门见山,其实很简单,如果服务器的socks5代理需要验证的话,我们不直接使用服务器的socks5代理,我们中间加一层转发,让转发这个中间件支持socks5验证不就行了,而且我们的程序还要能够控制这个中间件。那么现在我们的流程是这样的:
思路捋清楚了,那么接下来的问题就是咱们如何实现socks5代理的转发中间件。当然我们没有必要亲自去重新实现socks5协议,市面上已经有对应的实现,我们只需要有发现的眼睛。
一、安装Pproxy三方库
安装pproxy
pip install pproxy
二、使用方法
1、在cmd命令行输入:
找到python的安装路径,输入cmd启动命令行:
把ip,port改成socks5代理的,填好账号密码,这个方法是监听8080端口,也可以设置别的端口,只要不冲突
pproxy -l socks5://127.0.0.1:8080 -r socks5://ip:prot#账号:密码 -vv
以以上命令很简单 -l代表监听listen,-r代表转发relay,那么意思很明确,我们监听本地的8080端口提供无验证的socks5服务,将收到的数据包转发给ip:port所指的需要验证的socks5服务。
成功会看到下图的样子
2、给selenium添加代理
option.add_argument('--proxy-server=socks5://127.0.0.1:8080')
实现思路
我们可以用python以启动子进程的方式,在selenium启动chrome之前启动pproxy作为转发中间件,然后把启动的chrome的代理设置为本地的socks5转发中间件