Selenium 自动化高级操作与解决疑难杂症，如无法连接、使用代理等

在这里插入图片描述

解决 Selenium 自动化中的常见疑难杂症

这里记录一些关于 Selenium的常用操作和疑难杂症。

有一些细节的知识点就不重复介绍了，因为之前的文章中都有！

如果对本文中的知识点有疑问的，可以先阅读我以前分享的文章！

知识点📖📖

模块	链接	作用
selenium	https://www.selenium.dev/zh-cn/documentation/	支持 web 浏览器自动化的一系列工具和库的综合项目

如果有看不懂的地方，可以结合我以前的文章一起看。

【Selenium】控制当前已经打开的 chrome浏览器窗口
【Selenium】控制当前已经打开的 chrome浏览器窗口（高级版）
Python模块psutil：系统进程管理与Selenium效率提升的完美结合
Selenium性能优化：一文带你快速上手！

TodoList：

使用crx扩展插件进行代理修改（后续更新
…

初始化webdriver

ChromeService 是一个Service类，负责启动和停止 chromedriver。这个进程是运行自动化脚本的基础。
webdriver-manager 可以自动下载和管理 WebDriver 二进制文件，用于自动管理 webdriver驱动

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManagerdef init_driver(options=None) -> webdriver.Chrome:"""初始化浏览器驱动.Args:options(Options): chrome配置选项Returns:driver(WebDriver): 浏览器驱动对象"""return webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()),options=options)

使用代理

使用crx扩展插件进行代理修改（后续更新

from selenium import webdriver
from selenium.webdriver.chrome.options import Optionsif __name__ == '__main__':options = Options()proxy = "http://127.0.0.1:9527"options.add_argument(f'--proxy-server={proxy}')driver = init_driver(options=options)driver.get('https://www.bilibili.com/')

运行结果如下：

可以请下的看到，所有请求的Remote Address 都是 127.0.0.1:7890

在这里插入图片描述

指定 Chrome 浏览器端口

启动浏览器

代码贴心的给出多项selenium 优化选项，根据需要来选择~

import subprocessdef start_chrome(browser_path, commands_list=None) -> None:"""启动浏览器。Args:browser_path(str): 浏览器安装的路径commands_list(List[str]): 启动浏览器的命令行参数，默认为NoneReturns:None"""commands = [browser_path]commands.extend(commands_list)# 启动浏览器subprocess.Popen(commands)if __name__ == '__main__':# 设置浏览器的路径和启动参数path = r"C:\Program Files\Google\Chrome\Application\chrome.exe"port = 9527cmd_map = {'指定浏览器配置': r'--user-data-dir=F:\selenium','指定远程调试端口': '--remote-debugging-port={}'.format(port),# '无头模式': '--headless',# '无沙盒模式': '--no-sandbox',# '指定页面加载策略': '--no-sandbox',# '禁用弹出拦': '--disable-popup-blocking',# '禁用图片加载': '--blink-settings=imagesEnabled=false',# '禁用GPU硬件加速': '--disable-gpu',# '禁用js': True,}start_chrome(path, list(cmd_map.values()))

连接浏览器

注意！这里Selenium WebDriver 将附加到一个已经运行的 Chrome 实例上，而不是启动一个新的浏览器实例。这意味着 WebDriver 将使用现有浏览器实例的设置，包括网络和代理配置。即无法使用上处的方法进行指定代理。

具体步骤如下：

导入 Selenium 相关模块。
创建 Chrome 浏览器的选项（Options）对象，并将调试端口设置为 “127.0.0.1:9527”，这意味着浏览器将连接到 Chrome 浏览器的开发者工具（DevTools）端口，以便进行远程调试。
初始化 Chrome WebDriver，将上述选项传递给 WebDriver。
打开 Chrome 浏览器，并连接到指定的调试端口。

from selenium import webdriver
from selenium.webdriver.chrome.options import Optionsif __name__ == '__main__':options = Options()options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")driver = webdriver.Chrome(options=options)url = 'https://www.bilibili.com'driver.get(url)print(driver.title)	# 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

无法连接指定端口 Chrome浏览器

在命令行中启动 Chrome 浏览器时候，不要使用 --headless ！！！会导致Selenium 无法连接。

问题复现

一般的，我们使用以下命令去指定chrome浏览器端口，--headless 可能是有意或无意添加的

["--remote-debugging-port=9527","--headless"
]# 或者 命令行
chrome.exe --remote-debugging-port=9527 --user-data-dir="F:\selenium\AutomationProfile" --headless

这个时候，会发现，没有打开任何窗口。因为是无头模式！！！

在命令行执行 netstat -ano | findstr :9527，如下图所示：
在这里插入图片描述

现在你去访问：http://127.0.0.1:9527/json/version，可以看到下图所示：

这表明远程调试接口是开启的

在这里插入图片描述

但如果我们使用以下代码去连接端口为 9527 的浏览器，则会报错！！！

options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
driver = webdriver.Chrome(options=options)

如果没有意外！则会抛出以下异常：

selenium.common.exceptions.WebDriverException: Message: unknown error: cannot connect to chrome at 127.0.0.1:9527
from unknown error: unable to discover open pages

这个问题其实是不应该发生的！！！

因为 无头模式 可能改变了与调试接口的交互方式或者其他相关配置，从而影响到了 Selenium 的连接。

如何解决

杀死全部的9527端口的进程，并注意在命令行中启动 Chrome 浏览器时候，不要使用 --headless。

这个命令的目的是终止在指定端口上运行的进程，以便释放端口并停止与之相关的应用程序。请注意，使用 taskkill 命令会强制终止进程，因此要小心使用，以免意外终止重要的进程。

这个时候，我们需要在命令行执行以下命令，作用是终止在端口 9527 上运行的进程。（详细解释看下面）

netstat -ano | findstr :9527：这部分命令用于查找在端口 9527 上运行的进程的 PID。netstat 列出了所有网络连接，而 findstr :9527 过滤出包含端口 9527 的行，显示它们的 PID。
for /f "tokens=5" %a in (...) do ...：for 命令用于处理上述命令的输出。它将提取 netstat 输出中的 PID，并将其存储在 %a 变量中。
taskkill /F /PID %a：一旦 PID 被提取并存储在 %a 中，taskkill 命令将使用这个 PID 终止相关进程。

for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do taskkill /F /PID %a

kill PID

for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do taskkill /F /PID %a

这段命令是一个用于在 Windows 命令提示符中终止在特定端口（9527）上运行的进程的复合命令。下面是这个命令的解释：

for /f "tokens=5" %a in ('netstat -ano ^| findstr :9527') do ...：这部分命令使用 for 循环来处理输出结果。它的作用是执行以下操作：
- for /f：这表示使用 for 命令来进行循环迭代。
- "tokens=5"：这指定了循环要提取的令牌（token），在这里我们提取第五个令牌。在这个上下文中，第五个令牌是 netstat 输出中的进程标识符（PID）。
- %a：这是一个变量，用于存储从 netstat 命令输出中提取的 PID。
('netstat -ano ^| findstr :9527')：这部分是在 for 命令内部的命令，它会产生一系列数字，这些数字代表在端口 9527 上运行的进程的 PID。它的工作步骤如下：
- netstat -ano：这部分执行 netstat 命令，用于列出所有活动网络连接及其相关信息。-ano 标志告诉 netstat 显示所有连接的详细信息，并显示每个连接的 PID。
- ^|：这是一个管道符号 |，用于将 netstat 的输出传递给下一个命令，即 findstr。
- findstr :9527：这部分命令用于过滤 netstat 输出，只保留包含端口号 9527 的行，这些行包括了我们关心的进程信息。
taskkill /F /PID %a：一旦 for 循环提取了 netstat 输出中的 PID（存储在 %a 中），这部分命令使用 taskkill 命令来终止这些进程。具体地：
- taskkill：这是用于终止进程的命令。
- /F：这是 taskkill 的标志，表示要强制终止进程，即无需用户确认。
- /PID %a：这是指定要终止的进程的 PID，其中 %a 包含了在 for 循环中提取的 PID。