🌈个人主页:易辰君-CSDN博客
🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html
目录
前言
一、DrissionPage简介
(一)特点
(二)安装
(三)基本用法
(四)常见操作示例
二、ChromiumPage简介
(一)特点
(二)安装 ChromiumPage 和依赖
(三)基本用法
(四)常见操作
(五)适用场景
(六)ChromiumPage总结
三、总结
前言
在数据抓取与自动化测试领域,处理静态和动态网页的需求日益增加。传统的工具如 requests
和 selenium
虽然各有优势,但往往需要根据需求在二者之间切换,增加了代码的复杂度。DrissionPage
则创新性地整合了这两种模式,提供了统一的 API,使得静态和动态网页的处理变得更加简洁高效。此外,DrissionPage
的 ChromiumPage
模块结合了 Playwright
的强大性能,专为处理复杂的动态网页而设计,让开发者可以在无头浏览器中高效执行 JavaScript、进行模拟操作,为网页自动化和数据抓取提供了理想的解决方案。
一、DrissionPage简介
DrissionPage
是一个基于 Python 的网页自动化和数据抓取库,结合了 requests
和 selenium
两种工具的优势,为开发者提供了统一的 API,从而简化了静态和动态网页的处理。通过 DrissionPage
,可以轻松切换不同的操作模式,适用于从简单的数据抓取到复杂的网页自动化操作。
(一)特点
(1)双模式支持:提供了两种模式,分别是 requests
模式和 selenium
模式。
-
requests 模式:适合加载速度快的静态网页抓取。
-
selenium 模式:适合处理动态网页和需要用户操作的网页,比如点击按钮、表单输入等。
(2)统一 API:DrissionPage
提供的 API 简洁且一致,无论是 requests
还是 selenium
模式,使用的接口基本一致,从而简化了代码的切换和维护。
(3)简化浏览器控制:在 selenium
模式下,可以自动加载页面、执行脚本、模拟用户操作(点击、输入等),便于实现自动化浏览器任务。
(4)智能解析与提取:集成了便捷的 CSS 选择器支持,可轻松定位页面元素,适用于快速数据提取和处理。
(二)安装
使用 pip
进行安装:
pip install drissionPage
此外,如果需要使用 selenium
模式,需要确保系统安装了对应的浏览器驱动(如 Chrome 的 chromedriver
),或者使用 webdriver-manager
自动管理驱动。
(三)基本用法
以下是一个快速入门示例,展示如何使用 DrissionPage
切换模式来获取网页内容:
from drissionPage import Drission# 初始化 Drission 对象
drission = Drission()# 使用 requests 模式获取静态网页内容
page = drission.requests.get('https://example.com')
print(page.text) # 输出网页文本内容# 切换到 selenium 模式,适用于动态网页
drission.change_mode('selenium')
page = drission.get('https://example.com')
print(page.page_source) # 输出完整的网页源码
(四)常见操作示例
- 定位和获取元素
# 在 requests 模式下查找元素
element = page.ele('h1')
print(element.text)
- 自动化操作(在
selenium
模式下)
drission.change_mode('selenium')
page = drission.get('https://example.com')# 点击元素
page.ele('button#submit').click()# 输入文本
page.ele('input#name').input('example text')
二、ChromiumPage简介
ChromiumPage
是 DrissionPage
库中的一个功能模块,专门用于控制基于 Chromium 的无头浏览器(headless browser),可以用于在 Python 中实现浏览器自动化和动态网页的数据抓取。ChromiumPage
使用 Playwright
作为底层引擎,能够高效地加载页面、执行 JavaScript 代码,并且可以无缝地处理动态内容(例如 AJAX 加载的内容)。
(一)特点
-
高性能:基于
Playwright
引擎的无头浏览器,相比 Selenium 更轻量且性能更好。 -
跨平台兼容:
Playwright
支持在 Windows、MacOS 和 Linux 上运行,并且适用于多种浏览器内核(包括 Chromium、Firefox 等)。 -
处理动态内容:可以执行 JavaScript、模拟点击、输入等操作,适合动态网页的数据抓取。
-
API 简单易用:提供了简洁的 API,使得操作元素、提取数据变得更加直观。
(二)安装 ChromiumPage 和依赖
ChromiumPage 依赖 Playwright
,因此在安装 DrissionPage
后,还需要安装 Playwright
并下载浏览器二进制文件:
pip install drissionPage[playwright]
python -m playwright install
(三)基本用法
以下是一个简单的例子,展示了如何使用 ChromiumPage
来访问网页、查找元素和执行自动化操作:
from drissionPage import ChromiumPage# 初始化 ChromiumPage 对象
page = ChromiumPage()# 访问网页
page.get('https://example.com')# 查找元素并获取文本
element = page.ele('h1')
print(element.text)# 模拟点击按钮
page.ele('button#submit').click()# 在输入框中输入文本
page.ele('input#name').input('Hello, World!')
(四)常见操作
定位元素:可以使用 CSS 选择器或 XPath 定位页面中的元素。
# 查找单个元素
element = page.ele('div.classname')# 查找多个元素
elements = page.eles('p')
for e in elements:print(e.text)
获取动态内容:在页面加载完成后,可以轻松获取由 JavaScript 动态生成的内容。
page.get('https://example.com')
content = page.ele('div#dynamic-content').text
print(content)
自动化操作:点击按钮、选择下拉框、输入文本等操作都可以在 ChromiumPage
中实现,比如登录表单填写
page.ele('input#username').input('my_username')
page.ele('input#password').input('my_password')
page.ele('button#login').click()
截图与 PDF 生成:
可以轻松保存页面截图和生成 PDF 文件。
# 保存截图
page.screenshot('screenshot.png')# 保存页面为 PDF
page.pdf('page.pdf')
(五)适用场景
-
数据抓取:适合处理需要 JavaScript 渲染的动态网页。
-
自动化测试:能够模拟用户的操作,用于自动化测试。
-
网页自动化操作:适用于登录操作、数据提交等任务。
(六)ChromiumPage总结
ChromiumPage
是一个强大的网页自动化和数据抓取工具,通过与 Playwright
的结合,可以实现高效、跨平台的浏览器自动化。无论是用于数据抓取还是自动化测试,它都提供了丰富的 API,适合需要处理动态网页内容的任务。
三、总结
DrissionPage
和 ChromiumPage
的结合,使得 Python 用户能够轻松应对多种网页自动化与数据抓取任务。从简单的数据抓取到复杂的用户交互、从静态页面到动态内容,这两个工具模块通过统一、简洁的 API 极大地降低了开发者的工作量。无论是需要更高性能的动态页面处理,还是简化自动化测试流程,DrissionPage
都是一个强大的利器,尤其在需要高效处理动态内容的场景下,ChromiumPage
的表现尤为出色。