scrapy爬虫系列之三--爬取图片保存到本地

功能点：如何爬取图片，并保存到本地

爬取网站：斗鱼主播

完整代码：https://files.cnblogs.com/files/bookwed/Douyu.zip

主要代码：

douyu.py

import scrapy
import json
from Douyu.items import DouyuItemclass DouyuSpider(scrapy.Spider):name = 'douyu'allowed_domains = ['douyucdn.cn']base_url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset={}"offset = 0start_urls = [base_url.format(offset)]# 只能返回Request、BaseItem、dict or Nonedef parse(self, response):data_list = json.loads(response.body)["data"]# 如果没有读到数据，则退出，否则继续请求if len(data_list) == 0:returnfor data in data_list:item = DouyuItem()item["nickname"] = data["nickname"]item["image_url"] = data["vertical_src"]yield itemself.offset += 20yield scrapy.Request(self.base_url.format(self.offset), callback=self.parse)

pipelines.py

from scrapy.pipelines.images import ImagesPipeline
import scrapy
import os
from Douyu.settings import IMAGES_STORE as images_store      # 读取配置文件的信息# 继承ImagePipeline，实现对图片的操作，要进行settings的设置：IMAGES_STORE（图片保存位置）、USER_AGENT、ROBOTSTXT_OBEY、ITEM_PIPELINES
class DouyuPipeline(ImagesPipeline):# 重写方法def get_media_requests(self, item, info):image_url = item["image_url"]yield scrapy.Request(image_url)# 保存图片时重命名def item_completed(self, results, item, info):# print(results)# print("*"* 30)# 列表推导式，获取图片的保存路径image_url = [x["path"] for ok, x in results if ok]# 重命名，由于都是jpg文件，所以直接拼上了os.rename(images_store+image_url[0], images_store + item["nickname"] + ".jpg")