文章目录
- 1. 图片爬取流程分析
- 2. 实现代码—爬取家常菜图片
1. 图片爬取流程分析
- 先获取网址,URL:https://www.xiachufang.com/category/40076/
- 定位想要爬取的内容
- 使用正则表达式爬取
- 导入模块
- 指定URL
- UA伪装(模拟浏览器)
- 发起请求,使用通过爬虫爬取整个页面
- 编译正则表达式(提取想要的内容)
- 解析请求内容
- 指定图片存储路径
- 持久化存储
2. 实现代码—爬取家常菜图片
import ssl
import os
import re
import requests
if __name__ == '__main__':if not os.path.exists('./caipu/'):os.mkdir('./caipu/')url = 'https://www.xiachufang.com/category/40076/'headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'}page_text = requests.get(url=url, headers=headers).textdata_src_list = re.compile('data-src="(.*?)" width=')data_src_url = data_src_list.findall(page_text)for src in data_src_url:img_data = requests.get(url=src,headers=headers).contentimg_name = src.split('/')[-10].split('?')[0]imgPath = './caipu/'+img_namewith open(imgPath,'wb') as fp:fp.write(img_data)print(img_name, "下载成功!!!")