Python爬虫框架之Selenium库入门:用Python实现网页自动化测试详解

f84f55b244044817a84be4552036dabe.png


 概要

是否还在为网页测试而烦恼?是否还在为重复的点击、等待而劳累?试试强大的Selenium!让你的网页自动化测试变得轻松有趣!

 

一、Selenium库到底是什么?

Selenium 是一个强大的自动化测试工具,它可以让你直接操控浏览器,完成各种与网页交互的任务。通过使用 Python 的 Selenium 库,你可以高效地实现网页自动化测试,从而节省大量时间和精力。

1.1 Selenium库的主要功能

  • 自动化测试:可以实现对网站的自动化功能测试,比如点击按钮、输入文本、选择下拉菜单等。

  • 网页爬虫:对于一些需要登录或者有反爬机制的网站,使用 Selenium 可以轻松应对。

  • 自动化任务:如定时访问网站、自动提交表单等。

1.2 Selenium库的优势

  1. 支持多种编程语言:Python、Java、C#、Ruby 等。

  2. 支持多种浏览器:Chrome、Firefox、Edge、Safari 等。

  3. 跨平台:Windows、macOS、Linux。

  4. 社区活跃,持续更新维护。

二、Selenium库的安装与配置

2.1 安装Selenium库

在安装 Selenium 库之前,请确保已经安装了 Python。接下来,只需打开终端或命令提示符,输入以下命令即可安装 Selenium 库:

pip install selenium

2.2 配置浏览器驱动

要使用 Selenium 控制浏览器,你还需要安装对应浏览器的驱动。这里以 Chrome 浏览器为例,其他浏览器驱动的安装方法类似。

  1. 下载 Chrome 驱动:搜 ChromeDriver 在下载页面选择与你的 Chrome 浏览器版本匹配的驱动。

  2. 解压下载的压缩包,将解压后的 chromedriver 文件放置在一个可执行路径下,如 /usr/local/bin(macOS、Linux)或 C:\Windows(Windows)。

三、使用Selenium库进行基本操作

3.1 启动浏览器

导入 Selenium 的 webdriver 模块,然后实例化一个 Chrome 驱动对象,就可以启动 Chrome 浏览器了:

from selenium import webdriverdriver = webdriver.Chrome()

3.2 打开网页

使用 get 方法,传入目标网址,即可让浏览器打开该网址:

driver.get("https://www.baidu.com")

3.3 定位页面元素

Selenium 提供了多种定位页面元素的方法,如 find_element_by_idfind_element_by_namefind_element_by_class_name 等。这里以百度搜索框为例,使用 find_element_by_id 方法定位:

search_box = driver.find_element_by_id("kw")

3.4 操作页面元素

找到页面元素后,你可以对其进行各种操作,如输入文本、点击按钮等。这里以输入搜索关键词为例:

search_box.send_keys("Selenium")

3.5 提交表单

在搜索框输入关键词后,还需要点击“百度一下”按钮来提交表单。这里用 find_element_by_id 方法定位按钮,然后用 click 方法进行点击:

search_button = driver.find_element_by_id("su")
search_button.click()

3.6 等待页面加载

在进行自动化测试时,很多时候需要等待页面加载。Selenium 提供了两种等待方法:显式等待和隐式等待。

3.6.1 显式等待

显式等待会在指定时间内,不断尝试查找目标元素,直到找到为止。这里以等待搜索结果出现为例:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECtry:element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "content_left")))
except TimeoutException:print("等待超时!")

3.6.2 隐式等待

隐式等待会在查找元素时,等待指定时间后再抛出异常。这里以等待搜索结果出现为例:

driver.implicitly_wait(10)
content_left = driver.find_element_by_id("content_left")

3.7 获取页面信息

获取页面的标题、URL、源代码等信息:

title = driver.title
url = driver.current_url
source = driver.page_sourceprint("标题:", title)
print("URL:", url)

3.8 关闭浏览器

完成所有操作后,别忘了关闭浏览器:

driver.quit()

四、Selenium库的高级应用

4.1 切换窗口

在进行自动化测试时,有时需要切换到新打开的窗口。这里以点击百度首页底部的 “关于百度” 链接为例,演示如何切换窗口:

from selenium.webdriver.common.keys import Keysabout_link = driver.find_element_by_link_text("关于百度")
about_link.send_keys(Keys.CONTROL + Keys.RETURN)driver.switch_to.window(driver.window_handles[-1])

4.2 切换 Frame

有些网页会使用 Frame 嵌套页面,这时需要切换到对应的 Frame 才能操作其中的元素。切换 Frame 可以用 switch_to.frame 方法:

driver.switch_to.frame("frame_name")

切换回主页面可以用 switch_to.default_content 方法:

driver.switch_to.default_content()

4.3 执行 JavaScript 代码

有时候,你可能需要执行一些 JavaScript 代码来实现特定功能,比如滚动页面、修改元素属性等。这里以滚动页面为例:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

五、技术总结

通过本文的介绍,相信你已经掌握了 Selenium 库的基本知识,包括自动化测试、浏览器驱动、页面交互等。现在,你可以用 Python + Selenium 轻松搞定网页自动化测试啦!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/60217.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

华为 连接OSPF和RIP网络---OSPF和RIP网络相互引入

路由引入简介 不同路由协议之间不能直接共享各自的路由信息,需要依靠配置路由的引入来实现。 获得路由信息一般有3种途径:直连网段、静态配置和路由协议。可以将通过这3种途径获得的路由信息引入到路由协议中,例如,把直连网段引入…

Matlab图像处理-图像缩放

基本概念 图像缩放是指将给定的图像在x轴方向按比例缩放a倍,在y轴方向按比例缩放b倍,从而获得一幅新的图像。 如果ab,即在x轴方向和y轴方向缩放的比率相同,则称这样的比例缩放为图像的全比例缩放。 如果a≠b,图像比…

Nacos安装

一、下载Nacos1.4.1二、单机版本安装 2.1 将下载的nacos安装包传输到服务器2.2 解压文件2.3 进入bin目录下 单机版本启动2.4 关闭nacos2.5 访问Nacos地址 IP:8848/nacos三、集群版本的安装 3.1 复制nacos安装包,修改为nacos8849,nacos8850&am…

C# | DBSCAN聚类算法实现 —— 对直角坐标系中临近点的点进行聚类

C# | DBSCAN聚类算法实现 聚类算法是一种常见的数据分析技术,用于将相似的数据对象归类到同一组或簇中。其中,DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种基于密度的聚类算法,能够有效…

Spark有两种常见的提交方式:client 模式和 cluster 模式对机器 CPU 的影响

Spark有两种常见的提交方式:client 模式和 cluster 模式。这两种方式对机器 CPU 的影响略有不同 ,请参考以下说明 Client 模式: 在 Client 模式下,Spark Driver 运行在提交任务的客户端节点上(即运行 spark-submit 命…

云服务器利用Docker搭建sqli-labs靶场环境

一、安装宝塔面板 使用xshell、electerm、SecureCRT等远程终端连接登陆上云服务器,在Linux宝塔面板使用脚本安装 安装后,如下图:按照提示,在云服务器防火墙/安全组放行Linux宝塔面板的端口 在浏览器打开上述网址,登…

【SpringSecurity】七、SpringSecurity集成thymeleaf

文章目录 1、thymeleaf2、依赖部分3、定义Controller4、创建静态页面5、WebSecurityConfigurerAdapter6、权限相关7、当用户没有某权限时,页面不展示该按钮 1、thymeleaf 查了下读音,leaf/li:f/,叶子,前面的单词发音和时间time一…

【算法训练-数组 三】数组中的第K个最大元素(TOPK问题|寻找第K大)

废话不多说,喊一句号子鼓励自己:程序员永不失业,程序员走向架构!本篇Blog的主题是【寻找第K大】,使用【数组】这个基本的数据结构来实现,这个高频题的站点是:CodeTop,筛选条件为&…

九、适配器模式

一、什么是适配器模式 适配器模式(Adapter)的定义如下:将一个类的接口转换成客户希望的另外一个接口,使得原本由于接口不兼容而不能一起工作的那些类能一起工作。 适配器模式(Adapter)包含以下主要角色&…

WebGPT VS WebGPU

推荐:使用 NSDT编辑器 快速搭建3D应用场景 随着WebGPU的引入,Web开发发生了有趣的转变,WebGPU是一种新的API,允许Web应用程序直接访问设备的图形处理单元(GPU)。这种发展意义重大,因为 GPU 擅长…

【MySQL】用户管理

之前我们一直都使用root身份来对mysql进行操作,但这样存在安全隐患。这时,就需要使用MySQL的用户管理 目录 一、用户 1.1 用户信息 1.2 添加用户 1.3 删除用户 1.4 修改用户密码 二、用户权限 2.1 赋予授权 2.2 回收权限 一、用户 1.1 用户信息…

【Axure高保真原型】中继器网格图片拖动摆放

今天和大家分享中继器网格图片拖动摆放的原型模板,我们可以通过鼠标拖动来移动图片,拖动过程其他图标会根据图片拖动自动排列,松开鼠标是图片停放在指定位置,其他图标自动排列。那这个模板是用中继器制作的,所以使用也…

[机器学习]分类算法系列①:初识概念

目录 1、概念 2、数据集介绍与划分 2.1、数据集的划分 2.2、sklearn数据集介绍 2.2.1、API 2.2.2、分类和回归数据集 分类数据集 回归数据集 返回类型 3、sklearn转换器和估计器 3.1、转换器 三种方法的区别 3.2、估计器 3.2.1、简介 3.2.2、API 3.3、工作流程 …

【软考】系统集成项目管理工程师(一)信息化基础知识【6分】

一、信息与信息系统 1、信息技术 为解决信息的采集、加工、存储、传输、处理、计算、转换、表现等问题而不断繁荣发展 核心-传输技术(通常指通信、网络等) 2、信息的质量属性 特点:客观性、普遍性 属性描述精确性对事物状态描述的精准程度…

图书馆项目Java阅览室管理系统jsp源代码MySQL

本项目为前几天收费帮学妹做的一个项目,Java EE JSP项目,在工作环境中基本使用不到,但是很多学校把这个当作编程入门的项目来做,故分享出本项目供初学者参考。 一、项目描述 图书馆项目 系统有1权限:管理员 用所技术…

Centos7 安装 docker

1、前提条件 目前,CentOS 仅发行版本中的内核支持 Docker。Docker 运行在CentOS7 (64)上, 要求系统为64位、Linux系统内核版本为 3.8以上 查看自己系统的内核 cat /etc/redhat-release 或 uname -r 2、卸载旧版本 旧版本的 Docker 的名称为docker或doc…

【注册岩土】Python土力学与基础工程计算.PDF-摩尔-库伦强度理论

8.3 Python求解 Python求解代码如下: 1.import math 2. 3.sigma1 300 # 最大主应力,单位 kPa 4.sigma3 100 # 最小主应力,单位 kPa 5.alpha 30 # m-n面与最小主应力方向夹角,单位度 6. 7.rad_alph…

Matlab图像处理-图像旋转

基本概念 图像的旋转变换属于图像的位置变换,通常是以图像的中心为原点,将图像上的所有像素都旋转一个相同的角度。旋转后,图像的大小一般会改变。图像的旋转变换是指以图像的中心为原点,将图像上的所有像素都旋转同一个角度的变…

ubuntu系统安装tensorRT-8.6.1版本(2023-8月最新版)

目录 前言pip安装可能出现的报错: tar.gz安装 前言 看了无数教程和b站视频,啊啊啊啊啊啊啊啊啊啊啊tensorRT要我狗命啊。我要写全网tensorRT最全的博客!!! 总体来说成功安装方式有两种,pip安装和tar.gz安装(其实官网安装方式居多…

Python基础算法——反转链表

视频详解:https://www.bilibili.com/video/BV1sd4y1x7KN/?spm_id_from333.788&vd_source11069f01f7471094186b646e3a184ca3 一、反转链表 LeetCode 206题:https://leetcode.cn/problems/reverse-linked-list/description/ 给你单链表的头节点 h…