python Chrome + selenium自动化测试与python爬虫获取网页数据

一、使用Python+selenium+Chrome 报错:
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 78

说明,这个chrom驱动支持78版本

谷歌浏览器版本

在这里插入图片描述
进入驱动网址:http://npm.taobao.org/mirrors/chromedriver/,下载对应版本的谷歌驱动
在这里插入图片描述
下载后放在与python解析器同一文件夹下面
在这里插入图片描述
重新运行程序,运行成功!!!

二、实例测试:
使用python selenium自动化测试模块结合python爬虫获取网页数据。

使用谷歌浏览器模拟打开https://www.hao123.com/网页,浏览器点击百度衔接,模拟输入python进行百度搜索,在关闭子网页,最后在https://www.hao123.com/网页获取精选新闻信息。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.python控制谷歌浏览器
main.py

"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':web = Chrome()web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()

2.python使谷歌浏览器在后台运行,爬取数据(即无头浏览器)
main.py

"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':# 准备好参数配置(使谷歌浏览器在后台运行,即无头浏览器)opt = Options()opt.add_argument("--headless")opt.add_argument("--disbale-gpu")# 把参数配置到谷歌浏览器中web = Chrome(options=opt)web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()

关注公众号,获取更多资料
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/546551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Python]网络爬虫(七):Python中的正则表达式教程(转)

接下来准备用糗百做一个爬虫的小例子。 但是在这之前,先详细的整理一下Python中的正则表达式的相关内容。 正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少的神兵利器。 以下内容转自CNBLOG:http://www.cnblogs.co…

八种常见的 SQL 错误用法

来源:https://dwz.cn/cgAPOWPx1、LIMIT 语句分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引&a…

最快速度找到内存泄漏

2019独角兽企业重金招聘Python工程师标准>>> 确认是否存在内存泄漏 我们知道,MFC程序如果检测到存在内存泄漏,退出程序的时候会在调试窗口提醒内存泄漏。例如: class CMyApp : public CWinApp { public:BOOL InitApplication(){in…

如何手撸一个队列?队列详解和面试题汇总(含答案)

队列(Queue):与栈相对的一种数据结构, 集合(Collection)的一个子类。队列允许在一端进行插入操作,而在另一端进行删除操作的线性表,栈的特点是后进先出,而队列的特点是先…

Python根据IP地址获取MAC地址

Python3根据IP地址获取MAC地址(不能获取本机IP,可以获取与本机同局域网设备IP的MAC) main.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import platform import reclass IP2MAC:"""Python3根据IP地址获取…

eclipse启动tomcat 404

eclipse启动tomcat 404 引用自:http://blog.sina.com.cn/s/blog_8020e41101014lvu.html 感谢博主 状态描述: 在eclipse中启动Tomcat后,在浏览器中访问localhost:8080,显示404错误。 在%tomcat_home%/bin中启动startup.sh却可以正常…

漂亮又好用的Redis可视化客户端汇总

因为 Redis 官方只提供了命令行版的 Redis 客户端 redis-cli,以至于我们在使用的时候会比较麻烦,通常要输入一堆命令,而且命令行版的客户端看起来也不够直观,基于以上两个原因我们需要找一个可视化的 Redis 客户端,下面…

python基本的信号与槽函数的使用 信号发射 槽函数接收

# 熟悉信号与槽的使用 # -*- coding: utf-8 -*- from PyQt5.QtWidgets import * from PyQt5.QtCore import * import sys# 创建信号类 class QTypeSigner(QObject):# 定义一个信号sendmsg pyqtSignal(object)def __init__(self):super(QTypeSigner, self).__init__()def run(s…

Linux 高性能服务器编程——多线程编程

问题聚焦:在简单地介绍线程的基本知识之后,主要讨论三个方面的内容: 1 创建线程和结束线程; 2 读取和设置线程属性; 3 线程同步方式:POSIX信号量,互斥锁和条件变量。Linux线程概述线程…

图解Redis事务机制

作为关系型数据库中一项非常重要的基础功能——事务,在 Redis 中是如何处理并使用的?1.前言事务指的是提供一种将多个命令打包,一次性按顺序地执行的机制,并且保证服务器只有在执行完事务中的所有命令后,才会继续处理此…

Redis事务深入解析和使用

作为关系型数据库中一项非常重要的基础功能——事务,在 Redis 中是如何处理并使用的? 1.前言 事务指的是提供一种将多个命令打包,一次性按顺序地执行的机制,并且保证服务器只有在执行完事务中的所有命令后,才会继续处…

局域网在线设备扫描工具V2.0软件说明

软件简介: 一个场所的在线设备(例如:监控摄像头或计算机)一般都处在同一个局域网内,当在调试和维护在线设备时,如果不知道在线设备的IP地址,可以使用本工具扫描局域网内在线设备的IP地址和MAC地…

漫画:什么是归并排序?

————— 第二天 —————————————————举个例子,有A、B、C、D、E、F、G、H一共8个武术家参考参加比武大会。第一轮,两两一组,有4名选手胜出(四分之一决赛)第二轮,两两一组,有…

世界上没有技术驱动型公司

点击上方“Java中文社群”,选择“设为星标”终身学习者,以编程为乐!来源:zhihu.com/question/312019918/answer/608965942作者介绍:智煜徽,洛林大学计算机专业研究生,现就职于华为,从…

单片机Proteus7.8仿真和Proteus8.6仿真 LED点阵 温度采集 电子琴 温度报警 电子秤 音乐播放器 PWM 电压表 温度计 交通灯

单片机Proteus7.8仿真: 单片机Proteus8.6仿真: 下载地址: 关注公众号,获取资料 部分仿真图: 下载地址: 关注公众号,获取资料

InnoDB的内存结构和特性

常言说得好,每个成功男人背后都有一个为他默默付出的女人,而对于MySQL来说,这个“人”就是InnoDB存储引擎。MySQL区别于其他数据库的最为重要的特点就是其插件式的表存储引擎。而在众多存储引擎中,InnoDB是最为常用的存储引擎。从…

Maven必知的7个问题,你会吗?

点击上方“Java中文社群”,选择“设为星标”终身学习者,以编程为乐!原文:https://www.jianshu.com/p/20b39ab6a88c在如今的互联网项目开发当中,特别是Java领域,可以说Maven随处可见。Maven的仓库管理、依赖…

Linux 小知识翻译 - 「Linux的吉祥物企鹅叫什么名字?」

这次说说Linux的吉祥物 *企鹅* 都知道Linux的吉祥物是企鹅,但是这个企鹅叫什么名字呢? 它的名字就是「Tux」,注意可不是「Tax」(税收)。 具体参考 wiki:中文解释 英文的解释更为详细一些:英文解释 Linux内核发展到 v2…

WordPress修改WordPress地址和站点地址之后无法打开网站和无法后台登录

WordPress地址一定不要修改。 WordPress修改WordPress地址和站点地址之后无法打开网站和无法后台登录的解决方法: 1、使用ssh登录服务器 xshell、SecureCRT等工具均可。 2、登录MySQL数据库 使用如下指令后,输入密码,打开mysql数据库&am…

从JVM入手,聊聊Java的学习和复习!

我们在学习的时候,经常会遇到这样一个问题:「学完就忘」这个问题大部分人都会遇到,那么我们今天就来聊聊,为啥会学了就忘呢?我根据自己的学习经验,大致总结以下三点原因:1、知识没有用起来2、没…