一个爬虫自动化数据采集的故事~

目录

      • 一、原文
      • 二、故事前半段背景内容
      • 三、正经的讲点DrissionPage知识
      • 四、故事的收尾

一、原文

  • 原文来自一个爬虫自动化数据采集的故事~ , 建议点击链接看文章末尾的视频
  • 笔者不擅长自动化，一个小小故事分享给大家，仅个人观点

二、故事前半段背景内容

以下文章来自，网友小时投稿，仅供十一姐使用

有时候她幻想自己会幽默点，会成为一个小说家，一个会讲故事的人…

所以那天，她奋笔疾书，用尽她不太多的词汇脑洞写下如下的内容…

hello, 大家好，我是十一姐，今天和大家分享一个在爬虫圈里，被不少人安利的自动化库Drissionpage，它可以通过控制浏览器跟网页进行交互爬取数据，它的官方使用文档https://g1879.gitee.io/drissionpagedocs/get_start/installation

在这里插入图片描述
相信绝大多数使用爬虫获取数据的人，他们一贯的方式可能都是直接找数据接口，然后模拟接口请求向服务器发送数据包，最终获得想要的数据
在这里插入图片描述
但这也让他们面临着更大的挑战，比如他们时常会遇到各种反爬，如加密/混淆/vmp/反调试/验证码/风控/封ip账号等等，甚至等爬虫人破解完了，后面还有无限的人机风控等着他，封账号/封ip/封指纹， 它到底在哪里埋了蜜罐，哪里设置了陷阱，能够如此精准的识别"我不是个人" (ps: 这里的“我”指的是爬虫代码脚本程序）
在这里插入图片描述
举个例子，他们会遇到各种丧心病狂反人类的验证码反爬，如果“我”是个人，“我”都不敢相信“我”这个人可能会选择点击正确，当然，说得有点夸张了，使用这些比较反人类的验证码的网站还是比较少的，实际上大多数网站的验证码还是比较考虑“真实的人”感受的
在这里插入图片描述
所以当那些加密算法破解越来越耗时/风控越来越强时，爬虫人的头发似乎可能也开始日渐稀疏时......
在这里插入图片描述
他的眼神开始越来越空洞，不知何时是头，不知何时能破，要一周吗，NoNo，要一个月吗，NoNoNo，到底要多久呀，到底什么才是头呀，这就反爬对爬虫的折磨
在这里插入图片描述
于是向天呐喊，有没有大佬指点指点帮助帮助呀…请赐我一个所谓的逆向大神吧， 然而现实中，神面对众多繁星的愿望，虽有心而力不足，他也很无奈，神也有自己想忙的事情
在这里插入图片描述
所以，与其继续坚持逆向下去，有时候妥协放弃也是一种勇气，但倔强的我，舍不得，难道之前的努力就白费了吗，就这么隐藏入尘埃了吗，爬虫人儿势必要给反爬点颜色瞧瞧，哪怕是蚊子痛也行
在这里插入图片描述
于是，为了短时间的拿到了少量的数据用来应急入库，那个曾经被爬虫一部分人嗤之以鼻的最朴素的方法，并且认为速度太慢的自动化，而现在又回去求”怀抱“， 慢慢爬也未尝不可，真香永不过时
在这里插入图片描述
接下来我们要提一提，爬虫程序曾“临幸过”哪些第三方自动化爬取的库/项目，截图来自网站https://spiderbox.cn/， 比如sekiro、jsrpc，大家熟悉的selenium/undetected_selenium/puppeteer , 以及后来大家非常喜欢的playwright 等等
在这里插入图片描述
有个伟人讲过，不管黑猫白猫，能抓住老鼠的都是好猫
在这里插入图片描述
所以工具不再乎多，只要能用就是好猫，我本身并不擅长自动化，但是在爬虫圈圈里大家都在提drissionpage，可以过国外反爬"五秒盾cloudflare / shape /Google 等人机检测工具"时， 不得不说它此刻确实有点无敌强大
在这里插入图片描述
毕竟之前用过的很多老版的自动化会被反爬检测特征指纹什么的，于是作者也感慨到，或许是幸运，大厂们还没意识到”我DrissionPage“的出现，所以还未曾对我实施监控，未曾对我痛下杀手
在这里插入图片描述
当然，那只是浅浅的感慨，可能之所以不被检测到，是因为DrissionPage的底层基于cdp协议(Chrome DevTools Protocol)，以下是懒神推荐读的cdp代码 https://chromedevtools.github.io/devtools-protocol/
在这里插入图片描述
然后据挖哥科普DrissionPage底层源码，如图通过命令chrome.exe --remote-debugging-port=9222 远程调试托管浏览器的源码，这意味着使用dp可以打开我们日常使用的浏览器，继承它已存在的登陆cookie信息/插件信息等
在这里插入图片描述

三、正经的讲点DrissionPage知识

初次如何使用DrissionPage(大家简称dp)，先通过pip install DrissionPage --upgrade安装，然后再复制执行如下代码，这里我使用的是xpath语法定位元素
在这里插入图片描述
1、如下代码，可以操控浏览器打开一个网页，获取html源码/文本/属性值

from DrissionPage import ChromiumOptions, ChromiumPageco = ChromiumOptions().use_system_user_path()
print("page1要控制的浏览器地址", co.address)
print("page1浏览器默认可执行文件的路径", co.browser_path)
print("page1用户数据文件夹路径", co.user_data_path)
print("page1用户配置文件夹名称", co.user, "\n")
page = ChromiumPage(co)page.get('http://g1879.gitee.io/DrissionPageDocs', retry=3, interval=2, timeout=15)
print(f">>>>>>>>>>>>>>>>>>>>>>>>\n当前对象控制的页面地址和端口: {page.address}\n浏览器进程id: {page.process_id}\n标签页id: {page.tab_id}")
print(">>>>>>>>>>>>>>>>>>>>>>>>\n当前概述html", page.ele('x://*[@id="️-概述"]').html)
print(">>>>>>>>>>>>>>>>>>>>>>>>\n当前版本信息text", page.ele('x://p[contains(text(),"最新版本")]').text)
print(">>>>>>>>>>>>>>>>>>>>>>>>\ngit链接属性值", page.ele('x://p[contains(text(),"项目地址")]/a').attr('href'))# page.quit()  退出浏览器

2、如下代码，可以像network/fiddler那样实现数据抓包，获得请求头/响应头/响应文本等

from DrissionPage import ChromiumPage, ChromiumOptionsco = ChromiumOptions().set_paths(browser_path=r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe")
page = ChromiumPage(co)
# 开始监听，指定获取包含该文本的数据包
page.listen.start('detail?nodeId=')  # 默认不启动正则匹配，这里代表url包含该字符串，启动正则匹配需要配置 is_regex=True
page.get('https://ygp.gdzwfw.gov.cn/#/44/new/jygg/v3/A?noticeId=dc240acc-d8a3-48ab-b16a-bad2e64a1ff7&projectCode=E4401000002400710001&bizCode=3C51&siteCode=440100&publishDate=20240302000028&source=%E5%B9%BF%E4%BA%A4%E6%98%93%E6%95%B0%E5%AD%97%E4%BA%A4%E6%98%93%E5%B9%B3%E5%8F%B0&titleDetails=%E5%B7%A5%E7%A8%8B%E5%BB%BA%E8%AE%BE&classify=A02&nodeId=1762040444150657029')  # 访问网址
data_packet = page.listen.wait()
print(">>>>本标签页id与框架id    ", data_packet.tab_id, data_packet.frameId)
print(">>>>数据包请求网址    ", data_packet.method, data_packet.url)
print(">>>>响应文本    ", data_packet.response.body,  data_packet.response.raw_body)
print(">>>>响应头    ", data_packet.response.headers)
print(">>>>请求头信息    ", data_packet.request.headers)
for key, value in data_packet.request.headers.items():print(f"\t【name】 {key} 【value】 {value}")
print(">>>>请求头表单信息    ", data_packet.request.postData)
print(">>>>连接失败信息    ", data_packet.fail_info.errorText)

3、如下代码，可以启动两个互不相干的全新的浏览器，auto_port会生成随机的端口和临时用户文件夹

from DrissionPage import ChromiumPage, ChromiumOptions
co = ChromiumOptions()
co.auto_port(True)
page1 = ChromiumPage(co)
print("page1要控制的浏览器地址", co.address)
print("page1浏览器默认可执行文件的路径", co.browser_path)
print("page1用户数据文件夹路径", co.user_data_path)
print("page1用户配置文件夹名称", co.user, "\n")
page2 = ChromiumPage(co)
print("page2要控制的浏览器地址", co.address)
print("page2浏览器默认可执行文件的路径", co.browser_path)
print("page2用户数据文件夹路径", co.user_data_path)
print("page2用户配置文件夹名称", co.user)
# 每个页面对象控制一个浏览器
page1.get('https://www.baidu.com')
page2.get('http://www.163.com')

4、当然，你也可以指定固定的端口和用户目录，来创建两个全新的浏览器

from DrissionPage import ChromiumPage, ChromiumOptions# 创建多个配置对象，每个指定不同的端口号和用户文件夹路径
do1 = ChromiumOptions().set_paths(local_port=9111, user_data_path=r'D:\data1')
do2 = ChromiumOptions().set_paths(local_port=9223, user_data_path=r'D:\data2')# 创建多个页面对象
page1 = ChromiumPage(addr_or_opts=do1)
print("page1要控制的浏览器地址", do1.address)
print("page1浏览器默认可执行文件的路径", do1.browser_path)
print("page1用户数据文件夹路径", do1.user_data_path)
print("page1用户配置文件夹名称", do1.user, "\n")
page2 = ChromiumPage(addr_or_opts=do2)
print("page2要控制的浏览器地址", do2.address)
print("page2浏览器默认可执行文件的路径", do2.browser_path)
print("page2用户数据文件夹路径", do2.user_data_path)
print("page2用户配置文件夹名称", do2.user)
# 每个页面对象控制一个浏览器
page1.get('https://www.baidu.com')
page2.get('http://www.163.com')

5、如果你要多线程并发的开不同的标签页/浏览器等，page.get_tab()是获取当前标签页对象， 而page.new_tab()是打开另一个标签页，直接看作者提供的官方源码案例 ， https://g1879.gitee.io/drissionpagedocs/demos/actual/multithread
在这里插入图片描述
6、在作者的官方文档里面提供了更多的实战案例，大家可以多多试试，比如可以携带插件自动切换代理，可以执行js脚本，可以截图，录像等 , https://g1879.gitee.io/drissionpagedocs/demos/functions/new_browser
在这里插入图片描述

四、故事的收尾

  • 文章的末尾
    在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/733037.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

IP-guard邮件管控再升级，记录屏幕画面，智能阻断泄密邮件

IP-guard邮件管控再升级，记录屏幕画面，智能阻断泄密邮件

邮件是工作沟通以及文件传输的重要工具，却也成为了信息泄露的常见渠道。员工通过邮件对外发送了什么内容，是否含有敏感信息都无从得知，机密通过邮件渠道外泄也难以制止。想要防止企业的重要信息通过邮件方式泄露，我们不仅需要通过技术措施对外发邮件的行为进行规范，也要对…
阅读更多...
L-2：插松枝（Python）

L-2：插松枝（Python）

作者 陈越 单位 浙江大学 人造松枝加工场的工人需要将各种尺寸的塑料松针插到松枝干上，做成大大小小的松枝。他们的工作流程（并不）是这样的： 每人手边有一只小盒子，初始状态为空。每人面前有用不完的松枝干和一个推送…
阅读更多...
手机号验证码重新发送

手机号验证码重新发送

前文叙述 很久以前做的一个 demo ，纯 HTML 、CSS、js 制作，一定时间段之后才可以重新发送验证码，如 60s 后再次发送验证码，在该时间段内发送验证码按钮为禁用状态，实战开发过程也亦是同理，因此记录一手。 一…
阅读更多...
【笔记】Android ServiceStateTracker 网络状态变化逻辑及SPN更新影响

【笔记】Android ServiceStateTracker 网络状态变化逻辑及SPN更新影响

业务简介 在网络状态变化的时候（数据或WiFi），会更新SPN。 基于Android U的代码分析。 分类：SPN Data_Dic-的博客-CSDN博客 功能逻辑 状态说明 飞行模式下注册上WFC的话，注册状态MD上报 regState: NOT_REG_MT_NOT…
阅读更多...
一文读懂MySQL7大日志（slow、redo、undo、bin、relay、general、error）

一文读懂MySQL7大日志（slow、redo、undo、bin、relay、general、error）

Slow Log 简介 用于记录执行时间超过指定值的 SQL 语句的详细信息，多用于调试和监控。 配置 因为开启会略微影响性能，所以默认没有开启，所以需要配置。 查看是否开启 show variables like %slow%; ------------------------------------…
阅读更多...
计算机找不到api-ms-win-core-path-l1-1-0的5种解决方法

计算机找不到api-ms-win-core-path-l1-1-0的5种解决方法

在计算机使用过程中，我们可能会遇到各种问题，其中之一就是找不到某些系统文件。最近，许多用户反映他们在使用电脑时遇到了“找不到api-ms-win-core-path-l1-1-0文件”的问题。这个问题通常出现在Windows操作系统中，可能会影响到一…
阅读更多...
C语言转义字符：一文打尽

C语言转义字符：一文打尽

转义字符 1. 前言2. 预备知识2.1 打印格式2.2 进制转换2.3 ASCII码 3. 什么是转义字符4. 常见的转义字符4.1 \?4.2 \4.3 \"4.4 \\4.5 \dddddd表示1到3个八进制数字4.6 \xdddd表示1到2个十六进制数字4.7 其他转义字符 5. 一道笔试题6. 一个小插曲 1. 前言 大家好&#xf…
阅读更多...
DFS和BFS以及练习题目（未完待续）

DFS和BFS以及练习题目（未完待续）

DFS和BFS 温馨提示：学习dfs之前最好先了解一下递归的思想。 递归思想 斐波那契 题目分析 题目代码 import java.util.Scanner; public class Main{static long dp[]; public static void main(String[] args) {Scanner scanner new Scanner(System.in);int t…
阅读更多...
吴恩达deeplearning.ai:倾斜数据集的误差指标精确率、召回率

吴恩达deeplearning.ai:倾斜数据集的误差指标精确率、召回率

以下内容有任何不理解可以翻看我之前的博客哦：吴恩达deeplearning.ai专栏 文章目录 倾斜数据集的误差指标罕见病预测精确率和召回率 精确率和召回率的权衡精确率和召回率的矛盾关系 F1算法 倾斜数据集的误差指标 在神经网络中，如果你的数据集中正例和负…
阅读更多...
开发知识点-C++之win32与NT内核

开发知识点-C++之win32与NT内核

win32 Windows MFC编程 常用API汇总EnumWindows()函数UpdateData()函数static与 单例 设计模式函数原型：BOOL WINAPI SetConsoleTitle(__in LPCTSTR lpConsoleTitle);HWND 是一个基本类型 表示窗口句柄FindWindow函数SendMessage函数 将指定的消息发送到一个或多个窗口PostMes…
阅读更多...
Matlab|配电网智能软开关（sop）规划模型

Matlab|配电网智能软开关（sop）规划模型

目录 1 主要内容 目标函数 2 部分程序 3 程序结果 3.1 sop选址定容优化模型 3.2 对比算例（不含sop） 4 下载链接 1 主要内容 该程序参考文献《基于改进灵敏度分析的有源配电网智能软开关优化配置》，采用二阶锥算法，以改进的…
阅读更多...
蓝桥杯-最大距离

蓝桥杯-最大距离

根据题意直接写出来就行。 简单题就话不多说上代码了 #include <iostream> #include <cmath> using namespace std; int main() {int n;cin>>n;int a[1000]{0};for(int i0;i<n;i){cin>>a[i];}int temp 0;int dis 0;for(int i0;i<n-1;i)for(…
阅读更多...
JMeter—逻辑控制器

JMeter—逻辑控制器

JMeter逻辑控制器 JMeter逻辑控制器可以对元件的执行逻辑进行控制&#xff0c;除仅一次控制器外&#xff0c;其他可以嵌套别的种类的逻辑控制器　 一、ForEach控制器 定义一个循环规则&#xff0c;关键参数说明&#xff1a; 输入变量前缀&#xff1a;可以在“用户自定义的变量…
阅读更多...
蓝桥杯刷题（二）

蓝桥杯刷题（二）

参考大佬代码&#xff1a;&#xff08;区间合并二分&#xff09; import os import sysn, L map(int, input().split()) # 输入n,len arr [list(map(int, input().split())) for _ in range(n)] # 输入Li,Si def check(Ti, arr, L)->bool:sec [] # 存入已打开的阀门在…
阅读更多...
JDK17镜像制作

JDK17镜像制作

背景 获取JDK17 wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz 解压JDK tar -zxvf jdk-17_linux-x64_bin.tar.gz 制作JRE 由于jdk的体积比较大&#xff0c;可以使用jre来作为运行环境&#xff0c;jdk1.8及以前版本&#xff0c;自带jre&#…
阅读更多...
JVM-1

JVM-1

目录 1.基础知识 1.栈 2.本地方法栈 3.程序计数器 4.堆 5.方法区 6.JVM内存可见性 2.虚拟机类加载机制 1.加载 2.验证 3.准备 4.解析 5.初始化 6.使用 7.卸载 1.基础知识 JVM内存模型&#xff08;5种&#xff09;&#xff1a;栈&#xff0c;本地方法栈&#xff…
阅读更多...
深入了解XSS攻击：原理、防御与应对策略

深入了解XSS攻击：原理、防御与应对策略

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
OKLink2月安全月报| 2起典型漏洞攻击案例分析

OKLink2月安全月报| 2起典型漏洞攻击案例分析

在本月初我们发布的2024年2月安全月报中提到&#xff0c;2月全网累计造成损失约1.03亿美元。其中钓鱼诈骗事件损失占比11.76%。 OKLink提醒大家&#xff0c;在参与Web3项目时&#xff0c;应当仔细调研项目的真实性、可靠性&#xff0c;提升对钓鱼网站和风险项目的甄别能力&…
阅读更多...
PyQt5开发基础知识【一】

PyQt5开发基础知识【一】

零.前言&#xff1a; 作者写这篇博客的目的主要在于巩固PyQt5的基础知识&#xff0c;例如PyQt5的几个核心模块&#xff0c;分别有什么功能&#xff0c;PyQt5的所有控件的使用方法等。 一.PyQt5的常见模块 1.1QtCore&#xff1a; 该模块包含了非GUI的功能设计。 这个模块被…
阅读更多...
PyQt5实现远程更新exe可执行文件

PyQt5实现远程更新exe可执行文件

PyQt5实现远程下载更新exe可执行文件 1、实现流程 1、获取远程http地址 2、获取需要更新的exe文件 3、点击更新 4、把exe强关闭 5、下载文件 6、更新2、效果图 3、示例代码 conf.ini配置文件： {"http_address_edit_value": "http://xxx.com/xxx/xxx.exe&qu…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023