Requests + BeautifulSoup + 额外的库：

对于一些简单的动态内容，你能通过分析网络请求来找到并直接获取这些数据。

使用 requests 库来发送 HTTP 请求，并使用 BeautifulSoup 来解析 HTML。

对于 AJAX 请求，你可能需要使用额外的库（如 mitmproxy 或 BrowserMob Proxy）来拦截和分析这些请求。

这种方法需要深入了解目标网页的工作原理和数据加载方式。

采集动态网页，通常指的是抓取那些通过 JavaScript、AJAX 或其他客户端脚本技术动态生成内容的网页。这种网页在初始加载时可能只包含基本的 HTML 结构，而实际的数据和内容则是通过客户端脚本在浏览器加载后从服务器获取并动态添加到页面中的。

为了采集这样的网页，你不能仅仅依赖简单的 HTTP 请求来获取 HTML 内容，因为这样会错过由 JavaScript 加载的数据。相反，你需要模拟浏览器的行为，执行 JavaScript 并等待页面加载完成。

以下是一些 Python 工具和方法，可以帮助你采集动态网页：

一、Selenium：

Selenium 是一个自动化测试工具，但它也可以用来采集动态网页。

你可以使用 Selenium 启动一个浏览器实例，并控制它加载和交互网页。

一旦页面加载完成，你可以获取完整的 DOM 结构，包括由 JavaScript 动态添加的内容。

示例代码：

from selenium import webdriver  driver = webdriver.Chrome()  # 使用 Chrome 浏览器