python Chrome + selenium自动化测试与python爬虫获取网页数据

一、使用Python+selenium+Chrome 报错:
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 78

说明,这个chrom驱动支持78版本

谷歌浏览器版本

在这里插入图片描述
进入驱动网址:http://npm.taobao.org/mirrors/chromedriver/,下载对应版本的谷歌驱动
在这里插入图片描述
下载后放在与python解析器同一文件夹下面
在这里插入图片描述
重新运行程序,运行成功!!!

二、实例测试:
使用python selenium自动化测试模块结合python爬虫获取网页数据。

使用谷歌浏览器模拟打开https://www.hao123.com/网页,浏览器点击百度衔接,模拟输入python进行百度搜索,在关闭子网页,最后在https://www.hao123.com/网页获取精选新闻信息。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.python控制谷歌浏览器
main.py

"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':web = Chrome()web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()

2.python使谷歌浏览器在后台运行,爬取数据(即无头浏览器)
main.py

"""=== coding: UTF8 ==="""
from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time"""
========================================
主函数功能测试
========================================
"""
if __name__ == '__main__':# 准备好参数配置(使谷歌浏览器在后台运行,即无头浏览器)opt = Options()opt.add_argument("--headless")opt.add_argument("--disbale-gpu")# 把参数配置到谷歌浏览器中web = Chrome(options=opt)web.get("https://www.hao123.com/")# 谷歌浏览器模拟人工点击“百度”衔接web.find_element_by_xpath('//*[@id="userCommonSites"]/ul/li[1]/div/a').click()time.sleep(1)# 变更selenium窗口视角,切换到子窗口,-1代表在网页标签页最后一个网页web.switch_to.window(web.window_handles[-1])# 谷歌浏览器模拟人工输入“python”,进行百度搜索web.find_element_by_xpath('//*[@id="kw"]').send_keys("python", Keys.ENTER)time.sleep(1)# 关闭子窗口web.close()# 变更selenium窗口视角,回到原来的窗口web.switch_to.window(web.window_handles[-1])# 提取精选新闻内容a_list = web.find_elements_by_xpath('//*[@id="topzixun-over"]/div/div[2]/p')for a in a_list:print(a.find_element_by_xpath('./a[1]').text)# 关闭窗口web.close()# 对于嵌入的视频窗口,切换到iframe窗口# iframe = web.find_elements_by_xpath('......')# web.switch_to.frame(iframe)# 切换到原画面# web.switch_to.default_content()

关注公众号,获取更多资料
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/546551.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Python]网络爬虫(七):Python中的正则表达式教程(转)

接下来准备用糗百做一个爬虫的小例子。 但是在这之前,先详细的整理一下Python中的正则表达式的相关内容。 正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少的神兵利器。 以下内容转自CNBLOG:http://www.cnblogs.co…

八种常见的 SQL 错误用法

来源:https://dwz.cn/cgAPOWPx1、LIMIT 语句分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引&a…

python 多线程 popen ping指定IP是否在线 判断连通

问题描述 在某些问题背景下,需要确认是否多台终端在线,也就是会使用我们牛逼的ping这个命令,做一些的ping操作,如果需要确认的设备比较少,也还能承受。倘若,在手中维护的设备很多,那么这无疑会变成一个恼人的问题。脚本的作用就凸显了。另外,我们需要使用多线程的一种措…

最快速度找到内存泄漏

2019独角兽企业重金招聘Python工程师标准>>> 确认是否存在内存泄漏 我们知道,MFC程序如果检测到存在内存泄漏,退出程序的时候会在调试窗口提醒内存泄漏。例如: class CMyApp : public CWinApp { public:BOOL InitApplication(){in…

如何手撸一个队列?队列详解和面试题汇总(含答案)

队列(Queue):与栈相对的一种数据结构, 集合(Collection)的一个子类。队列允许在一端进行插入操作,而在另一端进行删除操作的线性表,栈的特点是后进先出,而队列的特点是先…

Python根据IP地址获取MAC地址

Python3根据IP地址获取MAC地址(不能获取本机IP,可以获取与本机同局域网设备IP的MAC) main.py #!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import platform import reclass IP2MAC:"""Python3根据IP地址获取…

eclipse启动tomcat 404

eclipse启动tomcat 404 引用自:http://blog.sina.com.cn/s/blog_8020e41101014lvu.html 感谢博主 状态描述: 在eclipse中启动Tomcat后,在浏览器中访问localhost:8080,显示404错误。 在%tomcat_home%/bin中启动startup.sh却可以正常…

漂亮又好用的Redis可视化客户端汇总

因为 Redis 官方只提供了命令行版的 Redis 客户端 redis-cli,以至于我们在使用的时候会比较麻烦,通常要输入一堆命令,而且命令行版的客户端看起来也不够直观,基于以上两个原因我们需要找一个可视化的 Redis 客户端,下面…

python基本的信号与槽函数的使用 信号发射 槽函数接收

# 熟悉信号与槽的使用 # -*- coding: utf-8 -*- from PyQt5.QtWidgets import * from PyQt5.QtCore import * import sys# 创建信号类 class QTypeSigner(QObject):# 定义一个信号sendmsg pyqtSignal(object)def __init__(self):super(QTypeSigner, self).__init__()def run(s…

Linux 高性能服务器编程——多线程编程

问题聚焦:在简单地介绍线程的基本知识之后,主要讨论三个方面的内容: 1 创建线程和结束线程; 2 读取和设置线程属性; 3 线程同步方式:POSIX信号量,互斥锁和条件变量。Linux线程概述线程…

图解Redis事务机制

作为关系型数据库中一项非常重要的基础功能——事务,在 Redis 中是如何处理并使用的?1.前言事务指的是提供一种将多个命令打包,一次性按顺序地执行的机制,并且保证服务器只有在执行完事务中的所有命令后,才会继续处理此…

python设置本机IP地址、子网掩码、DNS,获取本机IP地址、子网掩码、DNS、MAC

python设置本机IP地址、子网掩码、DNS,获取本机IP地址、子网掩码、DNS、MAC main.py """=== coding: UTF8 ===""" import uuidimport wmi# IP地址 arrIPAddresses = [192.168.30.79] # 子网掩码 arrSubnetMasks = [255.255.255.0] # 默认网关 …

Redis事务深入解析和使用

作为关系型数据库中一项非常重要的基础功能——事务,在 Redis 中是如何处理并使用的? 1.前言 事务指的是提供一种将多个命令打包,一次性按顺序地执行的机制,并且保证服务器只有在执行完事务中的所有命令后,才会继续处…

Netbackup 7.6新增功能和优势

Netbackup 7.6新增功能和优势一、新增功能1.1NetBackup Accelerator(适用于 VMware)此功能使用 Accelerator 技术加快虚拟化备份速度,在完成增量备份期间还提供完全备份映像。借助 VMware 更改数据块跟踪 (CBT) 和 NetBackup Accelerator&…

局域网在线设备扫描工具V2.0软件说明

软件简介: 一个场所的在线设备(例如:监控摄像头或计算机)一般都处在同一个局域网内,当在调试和维护在线设备时,如果不知道在线设备的IP地址,可以使用本工具扫描局域网内在线设备的IP地址和MAC地…

漫画:什么是归并排序?

————— 第二天 —————————————————举个例子,有A、B、C、D、E、F、G、H一共8个武术家参考参加比武大会。第一轮,两两一组,有4名选手胜出(四分之一决赛)第二轮,两两一组,有…

安卓开发环境搭建

安卓开发环境搭建&#xff08;视频解说&#xff09; 本章链接&#xff1a;http://pan.baidu.com/s/1gdkkujx 有兴趣的&#xff0c;可加群<Android开发入门 372858684>。转载于:https://blog.51cto.com/8837942/1416864

世界上没有技术驱动型公司

点击上方“Java中文社群”&#xff0c;选择“设为星标”终身学习者&#xff0c;以编程为乐&#xff01;来源&#xff1a;zhihu.com/question/312019918/answer/608965942作者介绍&#xff1a;智煜徽&#xff0c;洛林大学计算机专业研究生&#xff0c;现就职于华为&#xff0c;从…

单片机Proteus7.8仿真和Proteus8.6仿真 LED点阵 温度采集 电子琴 温度报警 电子秤 音乐播放器 PWM 电压表 温度计 交通灯

单片机Proteus7.8仿真&#xff1a; 单片机Proteus8.6仿真&#xff1a; 下载地址&#xff1a; 关注公众号&#xff0c;获取资料 部分仿真图&#xff1a; 下载地址&#xff1a; 关注公众号&#xff0c;获取资料

Kung Fu Panda: Legends of Awesomeness 2

Raised in a noodle shop, 在面馆长大 Never seeking glory of fame, 从未相当大侠 He climbed a mountaintop, 一朝登的凌绝顶 And earned the Dragon Warrior name 神龙之名冠天下 Master Shifu saw the warrior blossom 师傅慧眼识英杰 And master the skills of bodacious …