如何使用MediaCrawler快速下载图片

作为一名图像算法工程师，怎么能没有图片资源呢？今天，我要介绍一个能快速下载图片的方法，仅供学习使用，请勿用于其他用途。

下载项目

首先，从GitHub下载项目：MediaCrawler

安装依赖

安装所需的Python依赖库：

pip install -r requirements.txt

安装Playwright浏览器驱动：

playwright install

运行爬虫程序

项目默认没有开启评论爬取模式，如果需要爬取评论，请在 config/base_config.py 中将 ENABLE_GET_COMMENTS 变量设置为 True。一些其他支持的功能，也可以在 config/base_config.py 查看，文件中有中文注释。

搜索帖子并爬取信息与评论

python main.py --platform xhs --lt qrcode --type search

获取指定帖子的信息与评论

python main.py --platform xhs --lt qrcode --type detail

打开对应APP扫二维码登录

python main.py --help

例如，我想下载某个创作者的全部图片，可以这样设置：

再设置最大下载量：

在命令行中执行下载：

python main.py --platform xhs --type creator > output.log 2>&1

所有日志会打印到 output.log 文件中。

提取图片URL

接下来，我们需要编写一个脚本来从日志中提取图片URL。以下是一个Python脚本示例：

import redef extract_image_urls(log_file, output_file):with open(log_file, 'r', encoding='utf-16LE') as f:log_content = f.read()# 删除\r\nlog_content = log_content.replace('\r', '')log_content = log_content.replace('\n', '')# 使用正则表达式提取'image_list'中的URLimage_url_pattern = re.compile(r"'image_list':\s*'([^']+)'")matches = image_url_pattern.findall(log_content)# 分割每个'image_list'字段中的URL，并写入文件with open(output_file, 'w', encoding='utf-8') as f:for match in matches:urls = match.split(',')for url in urls:f.write(url.strip() + '\n')# 调用函数，分析日志文件并提取图片URL
extract_image_urls('output.log', 'image.txt')

这样，我们就能得到一个包含所有图片URL的 image.txt 文件：

通过这种方法，我们可以快捷地下载所需的图片资源，方便后续的图像处理和算法开发。