JavaScript中要实现爬虫抓取动态滚动条加载的内容Puppeteer

在JavaScript中，要实现爬虫抓取动态滚动条加载的内容（即滚动到页面底部时自动加载更多内容的网页），通常需要模拟用户滚动行为，并等待页面内容动态加载完成。由于浏览器环境下的JavaScript并不支持直接用于生产环境的网络爬虫，这里介绍一个基于Puppeteer（Node.js库）的方法：

const puppeteer = require('puppeteer');async function scrollPageAndScrapeContent(url) {const browser = await puppeteer.launch();const page = await browser.newPage();// 设置视窗大小，根据实际网站调整await page.setViewport({ width: 1366, height: 768 });// 访问目标网址await page.goto(url);// 模拟滚动到底部并等待一段时间以加载更多内容while (true) {await page.evaluate(() => {window.scrollBy(0, document.body.scrollHeight);});await page.waitForTimeout(2000); // 等待页面加载新内容，时间可以根据实际情况调整// 判断是否还有更多内容加载const hasMoreContent = await page.evaluate(() => {return document.querySelector('.infinite-scroll-request') !== null; // 根据具体网站判断是否有更多内容加载的标志元素// 请替换为你的目标网站上代表有更多内容加载的CSS选择器});if (!hasMoreContent) break; // 如果没有更多内容，则跳出循环// 在这里可以添加对新加载内容进行抓取和处理的代码// ...}// 执行你所需的页面内容抓取操作const content = await page.evaluate(() => {// 抓取页面上的内容// ...return someContent; // 返回你需要的数据});await browser.close();return content;
}scrollPageAndScrapeContent('http://example.com').then(content => console.log(content)).catch(error => console.error(error));