【Nodejs】Puppeteer\爬虫实践

在这里插入图片描述

puppeteer

文档:puppeteer.js中文文档|puppeteerjs中文网|puppeteer爬虫教程

Puppeteer本身依赖6.4以上的Node,但是为了异步超级好用的async/await,推荐使用7.6版本以上的Node。另外headless Chrome本身对服务器依赖的库的版本要求比较高,centos服务器依赖偏稳定,v6很难使用headless Chrome,提升依赖版本可能出现各种服务器问题(包括且不限于无法使用ssh),最好使用高版本服务器。

Puppeteer因为是一个npm的包,所以安装很简单:

pnpm i puppeteer-core

puppeteer会自动安装一个谷歌浏览器的安装包,所以选择core版,但是得指定启动路径

使用和例子

Puppeteer类似其他框架,通过操作Browser实例来操作浏览器作出相应的反应。

const puppeteer = require('puppeteer');(async () => {const browser = await puppeteer.launch();const page = await browser.newPage();await page.goto('http://rennaiqian.com');await page.screenshot({path: 'example.png'});await page.pdf({path: 'example.pdf', format: 'A4'});await browser.close();
})();

上述代码通过puppeteer的launch方法生成了一个browser的实例,对应于浏览器,launch方法可以传入配置项,比较有用的是在本地调试时传入{headless:false}可以关闭headless模式。

const browser = await puppeteer.launch({headless:false})

browser.newPage方法可以打开一个新选项卡并返回选项卡的实例page,通过page上的各种方法可以对页面进行常用操作。上述代码就进行了截屏和打印pdf的操作。

一个很强大的方法是page.evaluate(pageFunction, ...args),可以向页面注入我们的函数,这样就有了无限可能

const puppeteer = require('puppeteer');(async () => {const browser = await puppeteer.launch();const page = await browser.newPage();await page.goto('http://rennaiqian.com');// Get the "viewport" of the page, as reported by the page.const dimensions = await page.evaluate(() => {return {width: document.documentElement.clientWidth,height: document.documentElement.clientHeight,deviceScaleFactor: window.devicePixelRatio};});console.log('Dimensions:', dimensions);await browser.close();
})();

需要注意的是evaluate方法中是无法直接使用外部的变量的,需要作为参数传入,想要获得执行的结果也需要return出来。因为是一个开源一个多月的项目,现在项目很活跃,所以使用时自行查找api才能保证参数、使用方法不会错。

调试技巧

① 关掉无界面模式,有时查看浏览器显示的内容是很有用的。使用以下命令可以启动完整版浏览器:

const browser = await puppeteer.launch({headless: false})

② 减慢速度,slowMo选项以指定的毫秒减慢Puppeteer的操作。这是另一个看到发生了什么的方法:

const browser = await puppeteer.launch({headless:false,slowMo:250
});

③捕获console的输出,通过监听console事件。在page.evaluate里调试代码时这也很方便:

page.on('console', msg => console.log('PAGE LOG:', ...msg.args));
await page.evaluate(() => console.log(`url is ${location.href}`));

爬虫实践

很多网页通过user-agent来判断设备,可以通过page.emulate(options)来进行模拟。options有两个配置项,一个为userAgent,另一个为viewport可以设置宽度(width)、高度(height)、屏幕缩放(deviceScaleFactor)、是否是移动端(isMobile)、有无touch事件(hasTouch)。

const puppeteer = require('puppeteer');
const devices = require('puppeteer/DeviceDescriptors');
const iPhone = devices['iPhone 6'];puppeteer.launch().then(async browser => {const page = await browser.newPage();await page.emulate(iPhone);await page.goto('https://www.example.com');// other actions...await browser.close();
});

上述代码则模拟了iPhone6访问某网站,其中devices是puppeteer内置的一些常见设备的模拟参数。

很多网页需要登录,有两种解决方案:

让puppeteer去输入账号密码 常用方法:点击可以使用page.click(selector[, options])方法,也可以选择聚焦page.focus(selector)。 输入可以使用page.type(selector, text[, options])输入指定的字符串,还可以在options中设置delay缓慢输入更像真人一些。也可以使用keyboard.down(key[, options])来一个字符一个字符的输入。 如果是通过cookie判断登录状态的可以通过page.setCookie(...cookies),想要维持cookie可以定时访问。
Tip:有些网站需要扫码,但是相同域名的其他网页却有登录,就可以尝试去可以登录的网页登录完利用cookie访问跳过扫码。

简单例子

const puppeteer = require('puppeteer');(async () => {const browser = await puppeteer.launch({headless: false});const page = await browser.newPage();await page.goto('https://baidu.com');await page.type('#kw', 'puppeteer', {delay: 100});page.click('#su')await page.waitFor(1000);const targetLink = await page.evaluate(() => {return [...document.querySelectorAll('.result a')].filter(item => {return item.innerText && item.innerText.includes('Puppeteer的入门和实践')}).toString()});await page.goto(targetLink);await page.waitFor(1000);browser.close();
})()

在这里插入图片描述

多元素处理

const puppeteer = require('puppeteer-core');(async function () {//puppeteer.launch实例开启浏览器,//可以传入一个options对象,可以配置为无界面浏览器,也可以配置为有界面浏览器//无界面浏览器性能更高更快,有界面一般用于调试开式let options = {//设置视窗的宽高defaultViewport: {width: 1400,height: 800,},//设置为有界面,如果为true,即为无界面// headless: false,args: ['--window-size=1400,700'],//指定浏览器路径executablePath: 'C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\msedge.exe',};let browser = await puppeteer.launch(options);//打开新页面let page = await browser.newPage();//访问页面await page.goto('https://www.jd.com/');//截屏//   await page.screenshot({ path: 'example.png', fullPage: true });//获取页面内容// page.$eval相当于querySelector,然后在对这个元素进行dom操作// page.$$eval相当于querySelectorAll,然后在对这个元素进行dom操作let input = await page.$('#key');await input.type('手机');await page.keyboard.press('Enter');await page.waitForSelector('.gl-warp>.gl-item:last-child');const lis = await page.$$eval('.gl-warp>.gl-item', els =>//这个el就是获取到的对象//这里可以使用dom操作// console.log(el);els.map(item => item.innerText));//这个lis就是上面回调函数的返回值console.log(lis);//关闭浏览器await browser.close();
})();

输入文本与元素点击

const puppeteer = require('puppeteer-core');
(async function () {let options = {defaultViewport: {width: 1400,height: 800,},headless: false,args: ['--window-size=1400,700'],executablePath: 'C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\msedge.exe',};let browser = await puppeteer.launch(options);let page = await browser.newPage();await page.goto('https://www.ygdy8.com/index.html');//获取页面内容//  page.$相当于querySelector//  page.$$相当于querySelectorAll//这些返回的是一个elementHandle对象const input = await page.$('input[name="keyword"]'); // 定位输入框/*  1input.focus()page.keyboard.type("电影") *///2await input.type('电影');/* 1  elementHandle.click()const search = await page.$('input[name="Submit"]'); // 定位搜索按钮await search.click();  // 点击 *///2await page.click('input[name="Submit"]');
})();

获取元素的文本值

const puppeteer = require('puppeteer-core');
(async function () {let options = {defaultViewport: {width: 1400,height: 700,},args: ['--window-size=1400,700'],headless: false,executablePath: 'C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\msedge.exe',};let browser = await puppeteer.launch(options);let page = await browser.newPage();await page.goto('https://www.baidu.com/');let input = await page.waitForSelector('#kw');await input.type('hello world');let btn = await page.$('#su');btn.click();/* 等待指定的选择器匹配的元素出现在页面中,如果调用此方法时已经有匹配的元素,那么此方法立即返回。如果指定的选择器在超时时间后扔不出现,此方法会报错。 返回: <Promise<ElementHandle>>*/await page.waitForSelector('div#content_left > div.result-op.c-container.xpath-log');let text = await page.$eval('div#content_left > div.result-op.c-container.xpath-log',el => el.innerText);console.log(text);
})();

处理js方法

const puppeteer = require('puppeteer-core');
(async function () {let options = {defaultViewport: {width: 1400,height: 700,},args: ['--window-size=1400,700'],// headless: false,executablePath: 'C:\\Program Files (x86)\\Microsoft\\Edge\\Application\\msedge.exe',};let browser = await puppeteer.launch(options);let page = await browser.newPage();await page.goto('https://www.baidu.com/');let input = await page.waitForSelector('#kw');await input.type('hello world');let btn = await page.$('#su');btn.click();await page.waitForSelector('div#content_left > div.result-op.c-container.xpath-log');//里面可以直接写js代码let text = await page.evaluate(() => {let div = document.querySelector('div#content_left > div.result-op.c-container.xpath-log');return div.innerText;});console.log(text);
})();

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/7375.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

高速数据采集专家-FMC140【产品手册】

FMC140是一款具有缓冲模拟输入的低功耗、12位、双通道&#xff08;5.2GSPS/通道&#xff09;、单通道10.4GSPS、射频采样ADC模块&#xff0c;该板卡为FMC标准&#xff0c;符合VITA57.1规范&#xff0c;该模块可以作为一个理想的IO单元耦合至FPGA前端&#xff0c;8通道的JESD204…

enum枚举/union共用体

//联合体——共用体 // 所有成员共用同一块空间&#xff08;地址&#xff09; // 共用体占用的内存至少是最大成员的大小&#xff0c;单位 -字节 // 同一时刻只能用一个成员 // 当最大成员不是最大对齐数的整数倍&#xff0c;就要对齐到最大对齐数的整数倍 // union un { …

【jenkins】idea+jenkins+docker+dockerfile+compose流水线部署java应用

目录 整体架构 环境准备 安装docker以及docker-compose jenkins安裝 maven安装 portainer面板安装 sonarqube安装 在项目中增加dockerfile和compose.yml脚本 Dockerfile脚本内容 compose.yml脚本内容 jenkins安装必要插件 jenkins增加流水线任务 增加pipeline任务j…

iptables 防火墙

防火墙&#xff1a;隔离功能 部署在网络边缘或者主机边缘&#xff0c;在工作中&#xff0c;防火墙的主要作用&#xff0c;决定哪些数据可以被外网使用&#xff0c;以及哪些数据可以进入内网访问 主要工作在网络层 安全技术 1.入侵检测系统&#xff1a;检测出威胁&#xff0…

RISCV -3 RV32I/RV64I基本整型指令集

RISCV -3 RV32I/RV64I基本整型指令集 1 RV32I Base Integer Instruction Set1.1 Programmers’ Model for Base Integer ISA1.2 Base Instruction Formats1.3 Immediate Encoding Variants1.4 Integer Computational Instructions1.4.1 Integer Register-Immediate Instruction…

Java的集合类:List、Set、Map

在 Java 中&#xff0c;集合类是一组有序或无序的数据元素的集合。Java 集合类可用于存储和操作各种数据类型的元素&#xff0c;如整数、字符串、对象等。集合类是动态的&#xff0c;可以在运行时根据需要调整其大小。 Java 集合类可以分为三类&#xff1a; List - 有序集合&…

前端常用UI框架

前言&#xff1a; 作为一个前端码农&#xff0c;不仅要熟练使用原生技术&#xff0c;现在更需要掌握的是技术框架和ui框架&#xff0c;因为框架可以帮助我们快速的开发项目&#xff0c;并且能够保证界面的兼容和美观&#xff0c;下面是一些常用的前端ui框架&#xff0c;供大家参…

Windows 2012 R2 编辑ini文本遇到的编码问题

在编辑服务端配置文件时&#xff0c;发现对于ini文本文件&#xff1a; 需注意点一&#xff1a;如果另存为UTF-8保存的实际上格式是UTF-8-BOM编码格式&#xff1b; 但是两种格式是存在差异的&#xff1a; 因此造成在使用C#调用系统DLL读取文件时并未报错&#xff0c;但是当使用…

ChatGPT是否能够进行对话历史的回顾和追踪?

ChatGPT是一种强大的预训练语言模型&#xff0c;具有丰富的语言理解和生成能力。在情感识别和情感生成方面&#xff0c;ChatGPT可以发挥重要作用。 1. **情感识别**&#xff1a; 情感识别是指通过对文本进行分析和理解&#xff0c;确定文本所表达的情感类别&#xff0c;如喜欢…

[德语学习]冠词、代词

定冠词 格阳性 m阴性 f中性 n复数 Pl.第一格 Nderdiedasdie第二格 G第三格 Ddemderdemden第四格 Adendiedasdie 不定冠词 格阳性 m阴性 f中性 n复数 Pl.第一格 Neineineein-第二格 G-第三格 Deinemeinereinem-第四格 Aeineneineein- 人称代词 单数 格我你他/她/它尊称第一…

MySQL 数据库约束

目录 一、数据库约束 1、约束类型 二、NULL 约束 三、unique 约束 四、default 约束 五、primary key 约束 自增主键 六、foreign key 外键约束 七、check 约束 一、数据库约束 我们使用数据库来存储数据&#xff0c;一般是希望这里存储的数据是靠谱的&#xff0c;…

浅谈 Spring IOC 和 DI 以及 Spring 整合 Mybatis 的十四 个注解

IOC 和 DI IOC 控制反转Bean的创建@Component的三个衍生注解Bean作用范围Bean创建时机Bean获取3中常见报错及解决方案DI 依赖注入@Autowired注解两个常见问题多个实现类---2种解决方案关于报错排查步骤管理第三方Bean@Bean 注解配置类优化Spring整合Mybatis整合思想整合实现持久…

【梦辛工作室】IF判断优化、责任链模式 IfChain

大家好哇&#xff0c;我是梦辛工作室的灵&#xff0c;在最近的开发中&#xff0c;有许多需要判断的分支处理&#xff0c;且处理内容较多且复杂&#xff0c;代码就容易越写越复杂&#xff0c;导致后期无法继续更新跌打&#xff0c;然后基于这个环境&#xff0c;我用责任链模式写…

Stable Diffusion在各种显卡上的加速方式测试,最高可以提速211.2%

Stable Diffusion是一种基于扩散模型的图像生成技术&#xff0c;能够从文本生成高质量的图像&#xff0c;适用于CG&#xff0c;插图和高分辨率壁纸等领域。 但是它计算过程复杂&#xff0c;使得它的生成速度较慢。所以研究人员就创造了各种提高其速度的方式&#xff0c;比如Xf…

计算机视觉(二)图像特征提取

文章目录 颜色特征量化颜色直方图适用颜色空间&#xff1a;RGB、HSV等颜色空间操作 几何特征边缘 Edge边缘定义边缘提取 基于关键点的特征描述子引入几何特征&#xff1a;关键点几何特征&#xff1a;Harris角点FAST角点检测几何特征&#xff1a;斑点局部特征&#xff1a;SIFT预…

JavaScript 事件监听

语法&#xff1a;元素对象.addEventListener("事件类型",要执行的函数) 事件监听三要素&#xff1a; 事件源&#xff1a;哪个dom元素被触发了&#xff0c;要获取dom元素事件类型&#xff1a;用什么方式触发&#xff0c;eg:鼠标单击click、鼠标经过mouseover登事件调…

基于WebSocket实现的后台服务

基于WebSocket实现的后台服务&#xff0c;用于接收客户端的心跳消息&#xff0c;并根据心跳消息来维护客户端连接。 具体实现中&#xff0c;服务启动后会创建一个HttpListener对象&#xff0c;用于监听客户端的WebSocket连接请求。当客户端连接成功后&#xff0c;服务会为每个…

Linux环境PostgreSQL安装

今日一语&#xff1a;鲲鹏扶摇而直上九万里&#xff0c;雄鹰展翅高飞&#xff0c;这是因为鲲鹏一出世就得历劫&#xff0c;老鹰刚长出翅膀就会被扔下悬崖 下载安装包&#xff0c;解压到服务器中&#xff0c;然后 make && make install # 登录使用 ./psql # 切换数据库…

maven 离线模式打包

遇到问题 由于客户对于安全性的要求比较高 又想要自己打包&#xff0c;但不允许使用外网&#xff0c;这样就出现了没办法在线打包&#xff0c;需要离线打包。其实也很简单&#xff0c;只需要三步。 第一步 将项目中用到的依赖&#xff0c;下载到本地仓库中&#xff0c;然后将…

idea中Easy Code模版配置

首先找到模版位置 找到使用的模版&#xff0c;我用的是MybatisPlus-H,这是我新建的一个模版 controller.java.vm模版 ##导入宏定义 $!{define.vm}##设置表后缀&#xff08;宏定义&#xff09; #setTableSuffix("Controller")##保存文件&#xff08;宏定义&#xff…