python selenium对象怎么序列化_python selenium爬取斗鱼

不加延迟报错selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {“method”:”xpath”,”selector”:”.//span[@class=”DyListCover-hot”]”}

(Session info: chrome=80.0.3987.122)

a50b6635213e9d3bc66071bc4624b4f4.png最开始以为是版本问题,不过应该不会,我检查了下版本

然后我注释掉这一段

cb958cd70a0d1666e01668a0c4aaf2e3.png

然后报Message: stale element reference: element is not attached to the page document

e2cde18ef5b63c3bd09aa9fd2c314697.png

但是却爬取到一段消息

67cdaaf26ed086f6542fd2546b1afbc3.png

说明有可能是延时的问题,在开头加上延时,ok

附上源码

import json

import time

from selenium import webdriver

driver=webdriver.Chrome()

driver.get("https://www.douyu.com/directory/all")

# driver.close()

#

def douyu():

##要加延迟,不然要报错 time.sleep(5)

li_list=driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li')

# print(list_all)

content_dict={}

for li in li_list:

content_dict["title"]=li.find_element_by_xpath(".//h3").text

content_dict["belong"]=li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text

content_dict["hot"]=li.find_element_by_xpath('.//span[@class="DyListCover-hot"]').text

content_dict["author"] = li.find_element_by_xpath(".//h2").text

print(content_dict)

#将字典转换为字符串便于存储

s=json.dumps(content_dict,ensure_ascii=False) #json序列化默认对中文采用ascii编码,所以False

with open("douyu.txt","a",encoding="utf-8") as f:

f.write(s+'\n')

next_url=driver.find_elements_by_xpath('//li[@title="下一页"]/span[@class="dy-Pagination-item-custom"]')

#三元表达式

next_url=next_url[0] if len(next_url) > 0 else None

while next_url is not None:

next_url.click()

time.sleep(3)

#我调我自己 点击下一页停5s继续爬取 延时设在开头 douyu()

douyu()

72ddd16c69f8d1cbaa6d73dc34bca0e0.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534952.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

神经网络的全连接层_深度神经网络全连接层

一、概念全连接层一般在网络的最后部分做分类输出,全连接层的有m个输入和n个输出,每一个输出都和所有的输入相连,相连的权重w都是不一样的,同时每一个输出还有一个bias。二、前向全连接假设输入是4,输出是4&#xff0c…

vs 选定内容没有属性页_从智能单品,到全屋智能:2019中国智能家居发展白皮书【附82页PPT】...

2019年,智能家居行业在技术、市场和行业的变革中迎接新的挑战和机遇。一方面,AI、IoT、边缘计算全面赋能智能家居;另一方面,中国的房地产行业正在从上半场的“增量开发”,切换到下半场的“存量经营”、“楼盘精装化”政…

python决策树的应用_机器学习-决策树实战应用

1.下载2.安装:双击3.创建桌面快捷方式安装目录\bin文件夹\:找到gvedit.exe文件右键 发送到桌面快捷方式,如下图:4.配置环境变量将graphviz安装目录下的bin文件夹添加到Path环境变量中:5.验证是否安装并配置成功进入win…

【SSM面向CRUD编程专栏 3】关于黑马程序员最全SSM框架教程视频,P37集老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题

写在前面:​ 本人是在学习B站黑马程序员SSM框架教程视频的时候在P37集遇到了问题,如果不解决还没办法往下接着听,老师跳过的模块创建以及tomcat下载安装配置和运行等诸多问题,全在这篇博客中得到了解决 😢解决上…

python人脸识别源码_Python 抖音机器人,让你找到漂亮小姐姐

本项目作者沉迷于抖音无法自拔,常常花好几个小时在抖音漂亮小姐姐身上。本着高效、直接地找到漂亮小姐姐的核心思想,我用 Python ADB 做了一个 Python 抖音机器人 Douyin-Bot。特性自动翻页颜值检测人脸识别自动点赞自动关注随机防 Ban自动评论原理打开…

thinkphp josn mysql_ThinkPHP:JSON字段类型的使用(ORM)

ThinkPHP5.1版本正式发布已经有一段时间了,我会陆续给大家介绍其中的新特性。今天要给大家介绍的是一个可能很多用户还不了解的一个特性:JSON字段数据支持。不过首先注意一点,本篇内容中描述的JSON字段数据的支持是从V5.1.4版本引入的。由于包…

获取http地址如何从上面抓取图片_用 Python 自动抓取妹子图

目录前言Media Pipeline启用Media Pipeline使用 ImgPipeline抓取妹子图瞎比比与送书后话前言我们在抓取数据的过程中,除了要抓取文本数据之外,当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗?答案是,当然的。说来惭愧&a…

MySQL摘要_mysql摘要

2011-04-15(1)mysqld关闭命令:mysqladmin -u root shutdown。注意:windows命令以enter结束不是;,mysql命令行才是(2)mysql终端接入,修改mysql.user表内容,添加授权用户。insert into mysql.user(Host,User,Password,ss…

错误代码0x800f0950怎么解决_解决win10安装net framework 3.5失败(错误代码 0x800F0950)...

视频教程:Win10教程 安装net framework 3.5失败(错误代码 0x800F0950)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com一:出现问题:报错代码二:解决步骤1.通过命令提示符明确自己系统版本Windows键X ,打开(命…

java mysql dump_Java 调用Mysql dump 备份数据库

SimpleDateFormat sdf new SimpleDateFormat("yyyyMMddHHmmss");try {String name sdf.format(new Date());String filePath System.getProperty("user.dir") "//" name ".sql";// 系统执行器Runtime rt Runtime.getRuntime();…

python 日志不会按照日期分割_django实现日志按日期分割

settings文件中配置: LOGGING { version:1, disable_existing_logger:False, formatters:{ verbose:{ format:%(asctime)s \"%(pathname)s:%(module)s:%(funcName)s:%(lineno)d\" [%(levelname)s]-%(message)s }, }, # 处理器 handlers:{ # 输…

mysql事务隔离最高_Mysql事务隔离级别

mysql官方文档显示:InnoDB中每个隔离级别的详细描述如下: READ UNCOMMITTEDSELECT语句以非锁定方式被执行,但是一个可能更早期版本的记录会被用到。因此,使用这个隔离级别,比如,读是不连贯的。着也被称为“…

exe打包工具哪个最好_一键分发工具哪个最好用?这款30万人都在用,很优秀!...

现代化媒体对于传播越来越重要,16年到如今,视频内容产业实在有话题度,其高效的粉丝互动机制、低资金投入高额回报等等亮点,强烈吸引着数以百万计的创造者,为了达到极其出色的阅读量,这些人往往会运用到所有…

mysql备份服务器中的_使用 Shell 备份远程服务器上的 MySQL 数据库到本机

适用场景:远程服务器上的 MySQL 不允许远程访问,此时我们需要先登录服务器,备份数据库后,将备份文件拉取到本机。源码 mysqlDumpRemote2Local.sh#!/bin/bash################################################# TODO: 登录远程服务…

date转timestamp格式_技术分享 | MySQL:timestamp 时区转换导致 CPU %sy 高的问题

作者:高鹏文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》,深入透彻理解 MySQL 主从,GTID 相关技术知识。本文为学习记录,可能有误请谅解。本文建议PC端观看,效果更佳。这个问题是一个朋友遇到的风云&#xff0c…

mysql架构组成_第 2 章 MySQL 架构组成

麻雀虽小,五脏俱全。MySQL 虽然以简单著称,但其内部结构并不简单。本章从MySQL物理组成、逻辑组成,以及相关工具几个角度来介绍 MySQL 的整体架构组成,希望能够让读者对 MySQL 有一个更全面深入的了解。2.1 MySQL物理文…

python列表生成器语法_python列表生产式和生成器

1.列表生成式:通过简洁的语法可以对一组元素进行过滤 格式:[exp for val in collection if condition] 例子1: a [x*xforxinxrange(1,10)ifx%20] print(a) 1)append(): 该方法用于在列表末尾添加新的对象,…

win2008 mysql端口_使用自定义端口连接SQL Server 2008的方法

使用过SQL Server的人大多都知道,SQL Server服务器默认监听的端口号是1433,但是我今天遇到的问题是我的机器上有三个数据库实例,这样使用TCP/IP远程连接时就产生了问题。如何在Microsoft SQL Server Management Studio里加入端口号连接呢&…