【Python爬虫实战】深入解锁 DrissionPage:ChromiumPage 自动化网页操作指南

  🌈个人主页:易辰君-CSDN博客
🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html

目录

前言

一、ChromiumPage基础操作

(一)初始化Drission 和 ChromiumPage 对象

(二)打开浏览器并加载页面

(三)设置浏览器启动参数

(四)加载等待设置

二、ChromiumPage元素操作

(一)基本元素定位方法

(二)常用的选择器类型

(三)常用的元素操作方法

(四)示例:完整的元素操作流程

(五)元素操作总结

三、IFrame切换

(一)为什么需要切换 iframe

(二)使用 to_iframe() 方法切换到指定的 iframe

(三)操作 iframe 内的元素

(四)切换回主页面

(五)完整示例

(六)IFrame切换总结


前言

随着网络自动化需求的增加,Python 开发者需要一种简洁而高效的工具来实现浏览器控制与网页操作。DrissionPage 作为一款轻量级且功能强大的浏览器自动化库,为开发者提供了丰富的功能支持。本文将聚焦 DrissionPage 中的 ChromiumPage,涵盖从基础的浏览器启动、元素操作到 iframe 切换的核心功能。无论是新手入门还是资深用户的进阶需求,本文都将为您提供实用的参考指南,助您轻松掌控网页自动化任务。


一、ChromiumPage基础操作

在 DrissionPage 中,ChromiumPage 提供了多种配置选项来定制浏览器的启动方式,支持无头模式、代理设置、自定义窗口大小等配置。以下是 ChromiumPage 打开浏览器和初始化配置的详细操作。

(一)初始化Drission 和 ChromiumPage 对象

使用 ChromiumPage 打开浏览器的第一步是创建一个 Drission 对象,然后使用它来初始化 ChromiumPage。这是 DrissionPage 进行浏览器自动化的标准流程。

from drission import Drission# 创建 Drission 对象
drission = Drission()# 使用 Drission 对象初始化 ChromiumPage
page = drission.use_chromium()

(二)打开浏览器并加载页面

创建 ChromiumPage 后,可以使用 get() 方法加载指定的 URL,这会在浏览器中打开该网页。

# 打开网页
page.get("https://example.com")

(三)设置浏览器启动参数

ChromiumPage 支持在启动时自定义多种配置参数,以下是常用的配置项:

  • headless:是否启用无头模式。无头模式不会显示浏览器窗口,适合在后台运行自动化任务。默认为 True

  • args:额外的启动参数,可以传递任何 Chromium 支持的启动选项,如窗口大小、禁用扩展等。

  • proxy:设置代理服务器的 IP 和端口,用于修改访问 IP 地址。

  • user_agent:自定义浏览器的 User-Agent 标识。

  • disable_image:禁用图片加载,适合在不需要图片的情况下提高加载速度。

以下示例展示了如何在启动时配置这些参数:

# 启动浏览器并设置初始化配置
page = drission.use_chromium(headless=False,                        # 是否启用无头模式args=["--window-size=1200,800"],       # 设置窗口大小proxy="127.0.0.1:8080",                # 设置代理user_agent="MyCustomUserAgent",        # 自定义 User-Agentdisable_image=True                     # 禁用图片加载以加速页面加载
)

(四)加载等待设置

对于需要等待动态内容加载的页面,可以使用 wait_load() 方法,确保页面资源完全加载后再继续执行其他操作。这可以避免未加载完成导致的操作失败问题。

page.get("https://example.com")
page.wait_load()  # 等待页面加载完成

二、ChromiumPage元素操作

在 DrissionPage 的 ChromiumPage 中,元素定位是一项关键功能,用于查找页面中的元素并对其进行操作。ChromiumPage 提供了多种元素定位方法,类似于 Selenium 的操作方式。以下是元素定位的几种常用方法。

(一)基本元素定位方法

ChromiumPage 提供的元素定位方法主要包括以下几种:

  • ele(selector):定位单个元素

  • eles(selector):定位多个元素,返回一个元素列表

在这些方法中,selector 是用于指定 HTML 元素的选择器,支持多种选择器类型(如 CSS 选择器、XPath)。

(二)常用的选择器类型

ele()eles() 方法中,支持以下几种选择器类型:

  • CSS 选择器:使用 CSS 样式选择器定位元素,常见的形式包括:

    • 标签名:'div'

    • 类名:'div.classname'

    • ID:'#element_id'

    • 属性:'input[name="username"]'

  • XPath:通过 XPath 表达式定位元素。例如,'//div[@class="classname"]' 可以定位类名为 classnamediv 元素。

  • 标签属性:可以直接使用 @属性=值 的形式,例如 @id='element_id'

以下是具体示例代码:

# 通过 CSS 选择器定位单个元素
element = page.ele('button#submit')# 通过类名定位多个元素,返回元素列表
elements = page.eles('div.classname')# 使用 XPath 定位元素
element = page.ele('//input[@name="username"]')

(三)常用的元素操作方法

定位到元素后,可以对元素进行进一步操作,以下是常用的元素操作方法:

  • 点击元素:使用 click() 方法对定位的元素进行点击操作。

page.click('button#submit')  # 通过选择器查找并点击按钮
  • 输入文本:使用 input() 方法将文本输入到指定的输入框中。
page.input('input#username', 'your_username')
  • 获取文本内容:使用 text() 获取元素的文本内容。
text = page.ele('div.classname').text
print(text)
  • 获取属性值:使用 attr() 获取元素的指定属性值。
attribute_value = page.ele('img').attr('src')
print(attribute_value)
  • 检查元素是否可见:可以使用 exists() 方法检查元素是否存在或是否可见。
if page.ele('div.classname').exists():print("Element is visible")

(四)示例:完整的元素操作流程

以下示例代码,展示如何使用元素定位、输入文本、点击按钮和获取文本内容:

from drission import Drission# 创建 Drission 和 ChromiumPage 对象
drission = Drission()
page = drission.use_chromium(headless=False)# 打开网页
page.get("https://example.com")# 定位并输入文本
page.input('input#username', 'your_username')
page.input('input#password', 'your_password')# 定位并点击按钮
page.click('button#login_button')# 等待页面加载并获取欢迎信息
page.wait('div.welcome-message')
welcome_text = page.ele('div.welcome-message').text
print("Welcome message:", welcome_text)# 关闭浏览器
page.close()

(五)元素操作总结

DrissionPage 的 ChromiumPage 提供了简洁的元素定位和操作方法,用户可以通过 CSS 选择器或 XPath 定位页面元素,并对其进行点击、输入、获取文本等操作。结合元素等待机制,可以更好地处理动态内容,完成稳定的浏览器自动化任务。


三、IFrame切换

在网页自动化操作中,iframe 是一种用于在页面中嵌入其他 HTML 文档的元素。许多网页将功能或内容嵌入 iframe 中,直接操作 iframe 中的元素之前需要先切换到该 iframe。在 DrissionPage 中,ChromiumPage 提供了切换到 iframe 的方法,使得用户可以轻松访问和操作 iframe 内的内容。

(一)为什么需要切换 iframe

默认情况下,浏览器在加载页面时,处于主页面的上下文中,但 iframe 内容位于不同的文档环境。因此,如果想操作 iframe 中的元素,必须先将浏览器的上下文切换到对应的 iframe。否则,直接查找 iframe 中的元素会失败。

(二)使用 to_iframe() 方法切换到指定的 iframe

ChromiumPage 提供了 to_iframe() 方法用于切换到 iframe。这个方法允许通过 iframe 的序号或选择器来指定需要切换的 iframe

示例:

# 假设页面中有一个 iframe,选择器为 iframe#my_iframe
page.to_iframe('iframe#my_iframe')  # 通过选择器切换到 iframe
  • 通过序号切换:如果页面有多个 iframe,可以通过索引来切换到特定的 iframe,例如 page.to_iframe(0) 会切换到第一个 iframe

  • 通过选择器切换:可以使用选择器(如 iframe#my_iframe)来切换到指定的 iframe

(三)操作 iframe 内的元素

切换到 iframe 后,可以直接在 iframe 中查找和操作元素。例如:

# 假设 iframe 内部有一个按钮,ID 为 submit_button
page.to_iframe('iframe#my_iframe')    # 切换到 iframe
page.click('#submit_button')          # 操作 iframe 内的按钮

(四)切换回主页面

在完成 iframe 内的操作后,可以使用 to_parent() 方法切换回主页面。

page.to_parent()  # 切换回主页面

(五)完整示例

以下是一个示例,展示如何在 iframe 中操作元素并切换回主页面:

from drission import Drission# 初始化 Drission 和 ChromiumPage
drission = Drission()
page = drission.use_chromium()# 打开包含 iframe 的页面
page.get("https://example.com")# 切换到 iframe 并操作其中的元素
page.to_iframe('iframe#iframe_id')          # 通过选择器切换到 iframe
page.input('#input_field', 'some text')     # 在 iframe 内部的输入框中输入文本
page.click('#submit_button')                # 点击 iframe 内部的按钮# 切换回主页面并操作其他元素
page.to_parent()
page.click('#main_page_button')  # 操作主页面的按钮# 关闭浏览器
page.close()

(六)IFrame切换总结

通过 ChromiumPageto_iframe() 方法,可以轻松地在 iframe 和主页面之间切换,访问和操作嵌套在 iframe 内的内容。在完成操作后,可以使用 to_parent() 方法切换回主页面,便于继续处理主页面的其他元素。这种切换机制适用于各种嵌套页面的自动化场景。


四、总结

通过 DrissionPage 的 ChromiumPage,开发者可以便捷地实现浏览器的自动化控制。无论是通过多样化的元素定位方法来精确查找元素、切换到嵌套的 iframe 实现多层级操作,还是设置无头模式和代理来定制化启动,ChromiumPage 都提供了丰富的支持。其简洁的接口和强大的功能让复杂的自动化任务变得简单易行,成为提升网页操作效率的不二之选。希望本文的讲解为您进一步了解和应用 DrissionPage 提供了帮助,让网页自动化任务变得更加轻松和高效。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/60066.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

H5播放器EasyPlayer.js 流媒体播放器是否支持npm(yarn) install 安装?

EasyPlayer.js H5播放器是一款功能强大的H5视频播放器,它支持多种流媒体协议播放,包括WebSocket-FLV、HTTP-FLV、HLS(m3u8)、WebRTC等格式的视频流。它不仅支持H.264和H.265编码格式,还具备实时录像、低延时直播等功能…

2024年入职_转行网络安全,该如何规划?

前言 前段时间,知名机构麦可思研究院发布了 《2023年中国本科生就业报告》,其中详细列出近五年的本科绿牌专业,其中,信息安全位列第一。 网络安全前景 对于网络安全的发展与就业前景,想必无需我多言,作为…

ElasticSearch备考 -- 集群配置常见问题

一、集群开启xpack安全配置后无法启动 在配置文件中增加 xpack.security.enabled: true 后无法启动,日志中提示如下 Transport SSL must be enabled if security is enabled. Please set [xpack.security.transport.ssl.enabled] to [true] or disable security b…

力扣17-电话号码的数字组合

力扣17-电话号码的数字组合 思路代码 题目链接 思路 原题: 给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。 输…

vs code使用git管理代码

1.vs code连接远程服务 ①安装Remote - SSH插件。 安装好远程连接插件后,按照步骤点击远程连接、选择加号、按照指定格式输入ssh ip连接远程服务器。 2.远程推送、对比代码 ①查看你当前所在的分支号,任意点开一个文件下都有对应的分支号。 ②点开右小…

2024 网鼎杯 - 青龙组 Web WP

2024 网鼎杯 - 青龙组 WEB - 02 打开容器一个登录界面,随便输入账号密码可以进到漏洞界面 这里有一个发送给boss的功能,一眼xss 有三个接口:/flag 、/update 、/submit /flag :要求boss才能访问,/update &#xf…

验证码-滑动验证码和点选验证码

1.csdn登录 存在多个内部框架,学习使用driver.switch_to.default_content() from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.action_chains import ActionChains import timedriver webdriver.Chrom…

停车场微信小程序的设计与实现(lw+演示+源码+运行)

摘要 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了停车场微信小程序的开发全过程。通过分析停车场微信小程序管理的不足,创建了一个计算机管理停车场微信小程序的方案。文章介绍了停车场微信小程序的…

如何保证kafka生产者数据可靠性

ack参数的设置: 0:生产者发送过来的数据,不需要等数据落盘应答 假如发送了Hello 和 World两个信息,Leader直接挂掉,数据就会丢失 生产者 ---> Kafka集群 一放进去就跑 数据可靠性分析:丢数 1&#…

实习作假:阿里健康实习做了RABC中台,还优化了短信发送流程

最近有二本同学说:“大拿老师,能帮忙看下简历吗?” 如果是从面试官的角度来看,这个同学的实习简历是很虚假的。 但是我们一直强调的是:校招的实习简历是不能出现明显的虚假。 首先,你去公司做事情&#…

路过宝安乌石岩庙记

​每周带娃从上屋地铁去罗租大道的七彩城堡儿童乐园玩,路上都会经过乌石岩庙附近。听说香火很繁盛,娃说也想去看看,于是来到了乌石岩庙。 石岩乌石岩庙 广东省深圳市宝安区老街一区94号 ​从百度知悉:乌石岩庙,又称“…

测度论原创(三)

Morden Prob 文章目录 Morden ProbWeek3多维扩展和随机向量定理3.1推论:random variable的变换定理3.2 连续函数的可测性定理3.3 可测函数的线性组合关于拓展实数集的延伸定理3.4 可测函数的极限依旧为可测性随机变量的概率律(Law of X X X)…

数学建模(基于Python实现)--灰色关联分析法讲解,含案例

前言 这是去年底学数学建模老哥的建模课程笔记; 未来本人将陆陆续续的更新数学建模相关的一些基础算法,大家可以持续关注一下,主要在于运用; 提示:数学建模只有实战才能提升🔥​🔥​&#x1f…

C++虚继承演示

在继承中如果出现: 这种情况,B和C都继承了A,D继承了B、C 在D中访问A的成员会出现: 这样的警告 是因为在继承时A出现两条分支:ABD、ACD 编译器不知道访问的A中的元素是经过B继承还是C继承 所以B、C在继承A时要用到…

硬件---1电路设计安全要点以及欧姆定律

前言: 一直搞的东西都偏软件,硬件也一直在学,元器件、基础电路知识、PCB设计、模电运放都学的马马虎虎,因此决定进行系统性学习,内容基本来源于手里的视频和书本以及自己的感悟。 一电路安全 1电路安全 在初期基础…

pytest简单使用

一:Mark 1.注册标记 在项目根目录下创建固定名为 pytest.ini 的配置文件,文件格式需要加上 [pytest] ,然后通过 markers 注册自定义标记 2.贴上标记 通过pytest加上装饰器,然后pytest.mark.XX配置自定义的标记,一个…

[Meachines] [Medium] MonitorsThree SQLI+Cacti-CMS-RCE+Duplicati权限提升

信息收集 IP AddressOpening Ports10.10.11.30TCP:22,80 $ nmap -p- 10.10.11.30 --min-rate 1000 -sC -sV -Pn PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 8.9p1 Ubuntu 3ubuntu0.10 (Ubuntu Linux; protocol 2.0) | …

二叉树-哈夫曼树的构造和应用

重点:哈夫曼树的构造和应用(编码) 选取完最小权值的两个节点后新结点的权值是二者之和,新节点可以和选取剩余的结点结合,也可以在剩余的里面选出最小两个结合后形成的新结点与第一个新结点结合(前提他们是最小的两个结点) 哈夫曼编码 哈夫曼编码优化 130为最小的带权路径长度 …

【Docker】自定义网络:实现容器之间通过域名相互通讯

文章目录 一. 默认网络:docker0网络的问题二. 自定义网络三. nginx容器指之间通过主机名进行内部通讯四. redis集群容器(跳过宿主机)内部网络通讯1. 集群描述2. 基于bitnami镜像的环境变量快速构建redis集群 一. 默认网络:docker0…

鸿蒙开发:ArkUI Toggle 组件

ArkUI提供了一套完整的UI开发工具集,帮助开发者高效完成页面的开发。它融合了语言、编译器、图形构建等关键的应用UI开发底座,为应用的UI开发提供了完整的基础设施,包括简洁的UI语法、丰富的UI功能以及实时界面预览工具等,可以支持…