目录
1、什么是requests_html
2、安装与配置
3、快速入门
4、图片下载
1.什么是requests_html
requests_html是一个Python库，用于从Web页面中提取数据。
它提供了对HTML内容的解析和处理功能，使您可以轻松地从网页中提取文本、链接、图像和其他元素。
requests_html库建立在另一个流行的Python库requests之上，并使用了lxml来解析HTML。
它提供了一种简单而灵活的方法来发送HTTP请求并解析响应中的HTML内容。
使用
requests_html，可以发送GET或POST请求，从HTML响应中提取元素，执行JavaScript渲染，处理表单提交，模拟用户与网页的交互等等。它还支持基于CSS选择器和XPath表达式的元素选择，方便地定位和提取特定的网页元素。
2.安装与配置
pip install requests-html
3.快速入门
使用requests_html模块获取页面中的所有绝对链接的示例代码：
# 创建一个会话
session = requests_html.HTMLSession()
# 起送GET请求并获取页面内容
resp = session.get("https://www.igdcc.com/shouji/katong/") # type: requests_html.HTMLResponse
# 渲染JavaScript
resp.html.render()
# 获取页面中所有的绝对链接
lst = list(resp.html.absolute_links)
print(lst)因为是第一次使用render函数，需要安装chromium，这里需要花费一定的时间，请耐心等待。
在上述示例中，response.html.absolute_links会返回一个包含页面中所有绝对链接的集合(Set)。可以使用for循环遍历并打印其中的链接。
4.图片下载
urllib.request.urlretrieve函数是Python标准库中urllib.request模块提供的一个方法，用于从指定的URL下载文件并保存到本地。
下面是urllib.request.urlretrieve()函数的完整参数说明：
-
url：必需，要下载的文件的URL地址。 -
filename：必需，保存文件的本地路径和文件名。如果未指定此参数，则会将文件保存到临时目录中，返回保存的临时文件名。 -
reporthook：可选，一个回调函数，用于显示下载进度。可以是一个自定义的回调函数，格式为reporthook(count, blockSize, totalSize)，其中count表示已经下载的数据块数量，blockSize表示每个数据块的大小，totalSize表示要下载的文件的总大小。默认情况下，不会显示下载进度。 -
data：可选，要发送的额外数据。可以是一个字节流（str或bytes类型）或者一个文件对象。如果指定了此参数，urlretrieve()函数会使用POST请求发送数据。 -
headers：可选，一个字典类型，表示发送请求时的头部信息。 -
origin_req_host：可选，字符串类型，表示原始请求的主机名。用于在重定向时设置 Referer 头部。默认情况下，origin_req_host为None。 -
unverifiable：可选，布尔值，表示请求是否可验证。如果设置为True，则会跳过某些HTTPS验证步骤。默认值为False。
注意：
urllib.request.urlretrieve()函数的执行会阻塞当前线程，直到下载完成。
入门案例：
参考地址：卡通4K手机壁纸_高清卡通手机桌面图片_极品桌面
可先通过浏览器的XPath工具方式定位元素具体地址，如下：
基本代码
# 通过xpath获取页面中满足条件的图片
urls = resp.html.xpath("""//a/img/@data-original""")
for url in urls:print(f"正在下载【"+url+"】，请稍等...")urllib.request.urlretrieve(url,f"images/{uuid.uuid4()}.jpg")
调用urllib.request.urlretrieve()函数时，可以通过提供一个回调函数来显示下载进度。如下所示：def show(count, blockSize, totalSize):"""回调函数用于显示下载进度:param count: 已经下载的数据块数量:param blockSize: 每个数据块的大小:param totalSize: 要下载的文件的总大小:return:"""percent = round((count * blockSize / totalSize),1) * 100print(f"正在下载: {percent}%")time.sleep(0.1)# 通过xpath获取页面中满足条件的图片
urls = resp.html.xpath("""//a/img/@data-original""")
for url in urls:print(f"正在下载【"+url+"】，请稍等...")urllib.request.urlretrieve(url,f"images/{uuid.uuid4()}.jpg",show)和json.loads())
