js爬虫puppeteer库 解决网页动态渲染无法爬取

我们爬取这个网址上面的股票实时部分宇通客车(600066)_股票价格_行情_走势图—东方财富网

我们用正常的方法爬取会发现爬取不下来,是因为这个网页这里是实时渲染的,我们直接通过网址接口访问这里还没有渲染出来

于是我们可以通过下面的代码来进行爬取:

npm install puppeteer
//index.js
const puppeteer = require('puppeteer');(async () => {const browser = await puppeteer.launch();const page = await browser.newPage();try {await page.goto('http://quote.eastmoney.com/sh600066.html', { timeout: 60000 }); // 设置页面加载超时时间为 60 秒} catch (error) {console.error('Navigation timeout error:', error);}// 等待页面加载完成//sider_brief是我们查找的盒子类名await page.waitForSelector('.sider_brief');const stockName = await page.$eval('.sider_brief', element => element.textContent.trim());console.log('股票名称:', stockName);await browser.close();
})();

爬取成功


优化

既然是股票的东西,那么我们当然要实时监控啊,所以我们加入一个定时脚本,一直运行我们的js

run_script.bat:

:loop
node index.js
timeout /t 1 >nul
goto loop

运行:

run_script.bat

就实现了实时监控

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/807127.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1. VirtualBox安装CentOS

安装 VirtualBox 地址:https://www.virtualbox.org/wiki/Downloads 版本: 6.1和7.0+版本都可以 安装: windows上安装需要admin权限,右键菜单选中 “Run as administrator” 安装 CentOS 6.10 地址:https://vault.centos.org/6.10/isos/x86_64/ 版本: 如果不需要GUI,选择…

混合云构建-如何通过Site to Site VPN 连接 AWS 和GCP云并建立一个高可用的VPN通信

如果我们的业务环境既有AWS云又有GCP云,那么就需要将他们打通,最经济便捷的方式就是通过Site-to-Site VPN连接AWS和GCP云,你需要在两个云平台上分别配置VPN网关,并建立一个VPN隧道来安全地连接这两个环境,我们下面演示一个高可用场景下的S2S VPN线路构建,采用动态BGP协议…

利用dbschema工具导出数据库结构

dbschema是SinoDB数据库的一个命令行工具,可以用来导出SinoDB数据库的所有对象(如表、触发器、视图等)的元数据。以下是常见的使用方法: 1、导出数据库中所有的表结构到文件db.sql $dbschema -d your_database_name -t all db.sq…

岛屿个数c++

参考文章 岛屿个数1岛屿个数2 题目 输入样例: 2 5 5 01111 11001 10101 10001 11111 5 6 111111 100001 010101 100001 111111输出样例: 1 3样例解释 对于第一组数据,包含两个岛屿,下面用不同的数字进行了区分: 0…

Torch not compiled with CUDA enabled问题解决过程记录

1. 背景 运行大模型的时候,出现错误:Torch not compiled with CUDA enabled 原因:并不是电脑安装了nvdia显卡驱动就可以的,还需要安装 NVDIA GPU Computing Toolkit(即CUDA Toolkit)cudnn 另外还需要确保安装的pyt…

在Go语言中使用select和channel来期待确定性行为

Go开发人员在使用channel时常犯的一个错误是,对select在多个channel中的行为方式做出错误的假设。错误的假设可能会导致难以识别和重现的细微错误。假设我们要实现一个需要从两个channel接收消息的goroutine: 我们可能会决定像下面这样处理优先级: for {select {case v := &…

谷歌地图商家数据采集软件

谷歌地图商家数据采集软件是一款基于谷歌地图的数据采集工具,专为做外贸或商业分析的用户设计。以下是关于该软件的一些主要功能和特点: 广泛的数据采集能力:软件能够采集任意国家、任意地区的商家数据,包括公司地址、电话号码、…

ROS2 采集虚拟仿真环境图像并发布

简介:ROS2功能的学习我们还是在基于OpenAI的gym虚拟仿真环境中来完成,gym虚拟仿真环境安装请参考另一篇教程,这里不再重复说明,接下来我们开始创建一个ROS2的功能节点,并发布虚拟仿真环境小车摄像头的图像,…

day02 VS Code开发单片机

VS Code开发单片机 1.1 安装 MinGW-w64 1)MinGW-w64介绍 VS Code 用于编辑 C 代码,我们还需要 C 编译器来运行 C 代码,所以安装 VS Code之前我们需要先安装 C 编译器。这里我们使用 MinGW-w64(Minimalist GNU for Windows 64-bit)。 MinGW-w64 是一个用于Windows操作系…

SpringBoot和Vue2项目配置https协议

1、SpringBoot项目 ① 去你自己的云申请并下载好相关文件,SpringBoot下载的是Tomcat(默认),Vue2下载的是Nginx ② 将下载的压缩包里面的.pfx后缀文件拷贝到项目的resources目录下 ③ 编辑配置文件 (主要是框里面的内…

解决苹果iMac的M1芯片Node Sass does not yet support your current environment的问题

问题背景 如图所示,这是我的电脑,M1芯片 启动前端项目老是报错,说node Sass不支持我当前的环境,同事的macBook是intel芯片的,就能跑起项目来 很烦 但是不慌!!! 咱有解决方法啦&a…

Git 自定义命令

前言 在使用 hexo 搭建个人博客时,共两种部署的方法。分别为: 本地利用 hexo 的插件 hexo-deployer-git 来实现部署,缺点是需要多敲几个命令行且不方便对源码进行云端备份使用 Github Action 的 workflow 自动化部署,优势就是可…

云原生__K8S

createrepo --update /var/localrepo/# 禁用 firewall 和 swap [rootmaster ~]# sed /swap/d -i /etc/fstab [rootmaster ~]# swapoff -a [rootmaster ~]# dnf remove -y firewalld-*[rootmaster ~]# vim /etc/hosts 192.168.1.30 harbor 192.168.1.50 master 192.168.1.…

数字货币:金融创新的未来?

随着科技的进步,数字货币作为一种新型的金融工具正逐渐走进人们的视线。那么,数字货币究竟是什么?它有哪些优势?它是否真的能够引领金融创新的未来?本文将从专业角度出发,深入探讨这些问题。 一、数字货币的…

HarmonyOs开发之———页签切换、组件状态管理

谢谢关注!! 前言:上一篇文章主要介绍HarmonyOs开发之———容器组件使用 http://t.csdnimg.cn/r9Qd1 一、Tabs组件页签切换 1、在HarmonyOS中,页签切换可以使用TabList组件来实现。 TabList允许你创建多个页签,并在切换时显示不同的内容。以下是一个页签切换的示例代码…

iOS 启动速度优化

启动耗时:点击App后到首帧显示耗费的时间。 阶段分析:premain、postmain,也就是main函数执行前和main函数执行后。 耗时检测:Instrument->App Launch Premain 减少动态库数量:启动时程序会加载动态库,…

web蓝桥杯真题:新鲜的蔬菜

代码: .box {display: flex; } #box1 {align-items: center;justify-content: center; }#box2 {justify-content: space-between; } #box2 .item:nth-child(2) {align-self: end; }#box3 {justify-content: space-between; } #box3 .item:nth-child(2) {align-self…

python + jdbc 连接 达梦数据库

依赖 jpype11.5.0jaydebeapi1.2.3DmJdbcDriver18.jar 启动JVM def start_jvm():jvm_path jpype.getDefaultJVMPath()jar_path ":".join([".....jar", # 需要python调用的其他jar包".../DmJdbcDriver18.jar" # 去达梦官网下载])Djava &qu…

富格林:注重虚假阻挠受骗亏损

富格林悉知,贵金属的投资热度,随着近年来愈发紧张的国际形势,而不断攀升,现如今不少投资者进入贵金属市场,但投资都会存在风险,在进行投资时需重视存在的虚假骗局阻挠受害亏损,同时学习正规做单…

SpringMVC项目入门

目录 1. 创建Maven项目 2. 设置项目结构 3.添加SpringMVC依赖 5. 创建控制器类 6. 配置 Deployment Descriptor 7. 运行项目 方法一:更新 Eclipse 插件 方法二:手动下载 XML Schema 文件 问题2: 1. 创建Maven项目 首先,打…