【Python】Selenium根据网页页面长度，模拟向下滚动鼠标，直到网页底部的操作

最近在弄selenium的爬取的过程中，我发现一些网站上的表格，是需要手动拉到底部才能加载完成的。

如果没有拉到底部，那么在获取网页表格的时候，表格就会只有显示的一部分，页面就不完整。

所以我就整理了一些模拟滚动鼠标，加载到页面底部的方法。用于处理这个问题~

以下是几种常见的方法，个人是用的最多的是第一种，如果不好用的话，可以用后面几种。

1. 使用Selenium库

Selenium是一个强大的自动化测试工具，可以用来模拟浏览器操作，包括滚动页面。以下是一个使用Selenium模拟滚动页面的示例：

from selenium import webdriver
import time# 创建一个Chrome浏览器实例
driver = webdriver.Chrome()# 打开目标网页
driver.get('https://example.com')# 获取页面的总高度
last_height = driver.execute_script("return document.body.scrollHeight")while True:# 滚动到页面底部driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")# 等待新内容加载time.sleep(2)# 获取新的页面高度new_height = driver.execute_script("return document.body.scrollHeight")# 如果页面高度没有变化，说明已经到底部if new_height == last_height:breaklast_height = new_height# 关闭浏览器
driver.quit()

在这个示例中，我们首先创建了一个Chrome浏览器实例，然后打开目标网页。接着，我们使用一个while循环来滚动页面到底部，并每次滚动后等待新内容加载。如果新的页面高度与之前的相同，就结束循环，表示已经到达页面底部。最后，我们关闭了浏览器。

2. 使用PyAutoGUI库

PyAutoGUI是一个跨平台的GUI自动化库，可以用来模拟鼠标和键盘操作。以下是一个使用PyAutoGUI模拟鼠标滚动的示例：

import pyautogui
import time# 获取屏幕尺寸
screen_width, screen_height = pyautogui.size()# 移动鼠标到屏幕中央
pyautogui.moveTo(screen_width / 2, screen_height / 2)# 模拟鼠标滚轮滚动
for i in range(10):  # 滚动10次pyautogui.scroll(-100)  # 向下滚动100单位time.sleep(1)  # 每次滚动后暂停1秒

这个的逻辑是，先获取屏幕尺寸，然后将鼠标移动到屏幕中央。接着，我们使用一个for循环来模拟鼠标滚轮滚动，每次向下滚动100单位，并在每次滚动后暂停1秒。

3. 使用Pynput库

Pynput是一个用于控制和监视输入设备（如鼠标和键盘）的Python库。以下是一个使用Pynput模拟鼠标滚动的示例：

from pynput.mouse import Controller
import time# 创建鼠标控制器
mouse = Controller()# 移动鼠标到屏幕中央
mouse.position = (screen_width / 2, screen_height / 2)# 模拟鼠标滚轮滚动
for i in range(10):  # 滚动10次mouse.scroll(0, -2)  # 向下滚动2单位time.sleep(1)  # 每次滚动后暂停1秒

在上面的代码中，我们首先创建了一个鼠标控制器，然后将鼠标移动到屏幕中央。

接着，我们使用一个for循环来模拟鼠标滚轮滚动，每次向下滚动2单位，并在每次滚动后暂停1秒。

4. 使用ActionChains类

Selenium的ActionChains类可以用来模拟复杂的用户操作，包括鼠标拖动和滚动。以下是一个使用ActionChains类模拟滚动页面的示例：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time# 创建一个Chrome浏览器实例
driver = webdriver.Chrome()# 打开目标网页
driver.get('https://example.com')# 创建ActionChains对象
action = ActionChains(driver)# 模拟鼠标滚动
for i in range(10):  # 滚动10次action.move_by_offset(0, 500).perform()  # 向下滚动500像素time.sleep(1)  # 每次滚动后暂停1秒# 关闭浏览器
driver.quit()