Python爬虫学习笔记(八)————Phantomjs与Chrome handless

目录

1.Phantomjs

(1)什么是Phantomjs?

(2)如何使用Phantomjs?

2 .Chrome handless

(1)系统要求:

(2)配置:

(3)配置封装:

(4)封装调用:


1.Phantomjs

(1)什么是Phantomjs?

        ①是一个无界面的浏览器

        ②支持页面元素查找,js的执行等

        ③由于不进行css和gui渲染,运行效率要比真实的浏览器要快很多

(2)如何使用Phantomjs?

        ①获取PhantomJS.exe文件路径path

        ②browser = webdriver.PhantomJS(path)

        ③browser.get(url)

        扩展:保存屏幕快照:browser.save_screenshot('baidu.png')

from selenium import webdriverpath = 'phantomjs.exe'browser = webdriver.PhantomJS(path)url = 'https://www.baidu.com'
browser.get(url)browser.save_screenshot('baidu.png')import time
time.sleep(2)input = browser.find_element_by_id('kw')
input.send_keys('昆凌')time.sleep(3)browser.save_screenshot('kunling.png')

目前Phantomjs已经停止更新 ,会提醒你使用下面的handless

2 .Chrome handless

Chrome-headless 模式, Google 针对 Chrome 浏览器 59版 新增加的一种模式,可以让你不打开UI界面的情况下 使用 Chrome 浏览器,所以运行效果与 Chrome 保持完美一致。

(1)系统要求:

        Chrome

                Unix\Linux         系统需要 chrome >= 59

                Windows           系统需要 chrome >= 60

        Python3.6

        Selenium==3.4.*

        ChromeDriver==2.31

(2)配置:

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

chrome_options = Options()

chrome_options.add_argument('‐‐headless')

chrome_options.add_argument('‐‐disable‐gpu')

# path是你自己的chrome浏览器的文件路径

path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'

chrome_options.binary_location = path

browser = webdriver.Chrome(chrome_options=chrome_options)

browser.get('http://www.baidu.com/')

(3)配置封装:

from selenium import webdriver

#这个是浏览器自带的 不需要我们再做额外的操作

from selenium.webdriver.chrome.options import Options

def share_browser():

         #初始化 chrome_options = Options()

         chrome_options.add_argument('‐‐headless')

        chrome_options.add_argument('‐‐disable‐gpu')

        #浏览器的安装路径 打开文件位置

        #这个路径是你谷歌浏览器的路径

        path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'

        chrome_options.binary_location = path

        browser = webdriver.Chrome(chrome_options=chrome_options)

        return browser

(4)封装调用:

from handless import share_browser

browser = share_browser()

browser.get('http://www.baidu.com/')

browser.save_screenshot('handless1.png') 

# from selenium import webdriver
# from selenium.webdriver.chrome.options import Options
#
# chrome_options = Options()
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
#
# path是你自己的chrome浏览器的文件路径
# path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'
# chrome_options.binary_location = path
#
# browser = webdriver.Chrome(chrome_options=chrome_options)
#
#
# url = 'https://www.baidu.com'
#
# browser.get(url)
#
# browser.save_screenshot('baidu.png')# 封装的handlessfrom selenium import webdriver
from selenium.webdriver.chrome.options import Optionsdef share_browser():chrome_options = Options()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu')# path是你自己的chrome浏览器的文件路径path = r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe'chrome_options.binary_location = pathbrowser = webdriver.Chrome(chrome_options=chrome_options)return browserbrowser = share_browser()url = 'https://www.baidu.com'browser.get(url)

 handless经过上面的固定配置或者将配置封装后,其他的操作与selenium一致,但是handless不显示界面,速度更快。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/3298.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

API例子:用Python驱动采集网页数据

1 引言 本文讲解怎样用Python驱动浏览器写一个简易的网页数据采集器。开源Python即时网络爬虫项目将与Scrapy(基于twisted的异步网络框架)集成,所以本例将使用Scrapy采集淘宝这种含有大量ajax代码的网页数据,但是要注意本例一个严…

matlab重名函数调用踩坑记录

我新安装了matlab的robotics toolbox,然而调用的rotx不是我想要的函数。 我上网查了一下资料,知乎和csdn有相关的回答,但是我试了一下还是不行。它们的方法是移除路径再添加路径避免函数的冲突。相关方法放在文末的相关参考1 2。这里建议先用…

VScode跑gtest

可能得前置步骤 VScode安装cpp: 安装 C/C 扩展:打开 VSCode 扩展市场,搜索「C/C」并安装扩展。 安装编译gtest 安装 Google Test: 如果你使用的是 Windows,可以下载并安装 pre-built 版本;如果你使用的是 Linux 或…

ETHERNET/IP转TCP/IP网关tcp/ip协议包含哪几层

大家好,今天我们将带大家了解一款自主研发的通讯网关,远创智控YC-EIP-TCP/IP。这是一个强大的工具,能帮助我们将ETHERNET/IP网络和TCP/IP网络连接在一起,让我们更好地管理和监控网络。 1, 首先,让我们来看看这款网关…

orbslam3 生成标定板rosrun kalibr kalibr_create_target_pdf --type

rosrun kalibr kalibr_create_target_pdf --type apriltag --nx 6 --ny 6 --tsize 0.08 --tspace 0.3小师妹要做相机视觉标定,需要制作棋盘格,无奈其电脑有些卡,对此毫无经验的博主从头开始安装(此前博主已经安装了ROS环境&#x…

leetcode 965.单值二叉树

⭐️ 题目描述 🌟 leetcode链接:单值二叉树 思路: 让当前的根节点与左孩子节点与右孩子节点判断,若相等则继续向下分治,让左孩子与右孩子当作新的根节点继续判断,直到某个节点不相等。 1️⃣ 代码&#x…

用thinkphp6写一个博客系统,输出完整项目代码

很抱歉,我无法提供完整项目代码。但是,我可以为您提供一个简单的示例,以帮助您开始使用 ThinkPHP 6 构建博客系统。 环境准备:安装 PHP 和 Composer安装并配置一个适当的 Web 服务器(如 Apache 或 Nginx)创…

Gateway网关组件(在Spring Cloud整合Gateway(idea19版本))

Spring Cloud Gateway官网:Spring Cloud Gateway 局域网中就有网关这个概念,局域网接收数据或发送数据都要通过网关,比如使用VMware虚拟机软件搭建虚拟机集群的时候,往往我们需要选择IP段中的⼀个IP作为网关地址,网关可以对请求进行控制,提升…

【Linux系统】结合有趣的小故事让你学懂生产者消费者模型

目录 由故事引入模型故事背景供货商们的矛盾市民们和供货商之间的矛盾一市民们和供货商之间的矛盾二市民们的矛盾模型总结 生产者消费者模型为什么要使用生产者消费者模型?生产者消费者模型的特点生产者消费者模型优点 基于BlockingQueue的生产者消费者模型C queue模…

力扣 452. 用最少数量的箭引爆气球

题目来源:https://leetcode.cn/problems/minimum-number-of-arrows-to-burst-balloons/description/ C题解1: 根据x_end排序,x_start小的在前,这样可以保证如果第 i 个球的x_end大于等于第 j 个球的x_start时,第 j 个球…

ElasticSearch文档(document)在index上的增删改查

文章目录 一、document定义:二、单条增删改查1、创建索引:2、添加文档:3、获取文档:4、更新文档:5、删除文档: 三、批量增删改查:1、批量添加文档:2、批量更新文档:3、批…

自建DNSlog服务器

DNSlog简介 在某些情况下,无法利用漏洞获得回显。但是,如果目标可以发送DNS请求,则可以通过DNS log方式将想获得的数据外带出来。 DNS log常用于以下情况: SQL盲注无回显的命令执行无回显的SSRF 网上公开提供dnslog服务有很多…

FactoryBean源码解析

文章目录 一、简介二、FactoryBean 接口的方法三、FactoryBean 与 BeanFactory 的区别四、源码解析五、实际应用 一、简介 FactoryBean 是 Spring 框架中的一个接口,用来创建特定类型的 Bean 对象。实现FactoryBean 接口就可以自定义 Bean 对象的创建过程。Factory…

利用ArcGIS Pro制作三维效果图

1、新建工程 打开Arcgispro,新建工程,这里我们要用到的模板为全局场景。 2、添加数据 这里添加的数据需要有一个字段内容是数值的,这个字段也是接下来要进行拉伸的字段。 3、高度拉伸 数据添加进来后,如下图所示,这时图层处于2D图层里。 这时我们点中该图层,回到菜单栏…

开放式蓝牙耳机推荐哪款?开放式蓝牙耳机排行榜推荐

​说到开放式耳机,想必很多人听着还是陌生,普通耳机久戴,会出现耳朵疼痛问题,而开放式蓝牙耳机没有,不入耳的设计更加的干净,不会对耳道造成的伤害,下面我给大家推荐几款很不错的开放式耳机&…

Jenkins的安装部署以及基本使用

前言: 今天有空大概记录的一个作为一个测试人员日常中Jenkins的使用。 一、环境准备 在安装使用Jenkins前我们要先安装jdk,这里博主选择的是jdk11。我们先删除旧的jdk然后安装全新的jdk。 1、先看下当前我们的jdk版本。 2、查看jdk安装路径&#xff1…

【Rust 基础篇】Rust 解引用多态

导言 在 Rust 中,解引用多态(Deref Coercion)是一种特性,它允许自动进行类型转换,将实现了 Deref trait 的类型转换为目标类型的引用。通过解引用多态,我们可以更方便地使用不同类型的智能指针和引用。 本…

rabbitmq延时队列自动解锁库存

一、库存服务自动解锁库存 使用了最终一致性来解决分布式事务 当order服务出现异常回滚,此时ware服务无法回滚,怎么办? 使用seata全局事务虽然能在order服务出现异常导致回滚时使其他服务的也能同时回滚,但在流量大的情况下是使用…

kafka生产端TCP连接管理

目录 前言: Kafka生产者程序 Kafka生产者客户端如何创建TCP连接 Kafka生产者客户端如何关闭TCP连接 总结: 参考资料 前言: 在网络层协议中,TCP作用在第四层传输层、Http协议作用在第七层最上层应用层,一个完整的…

k8s服务发现之第二弹Service详解

创建 Service Kubernetes Servies 是一个 RESTFul 接口对象,可通过 yaml 文件创建。 例如,假设您有一组 Pod: 每个 Pod 都监听 9376 TCP 端口每个 Pod 都有标签 appMyApp apiVersion: v1 kind: Service metadata:name: my-service spec:s…