获取http地址如何从上面抓取图片_用 Python 自动抓取妹子图

50c50cb3d333226f1debcbe9c2bded20.png

目录

  • 前言
  • Media Pipeline
  • 启用Media Pipeline
  • 使用 ImgPipeline
  • 抓取妹子图
  • 瞎比比与送书后话

前言

我们在抓取数据的过程中,除了要抓取文本数据之外,当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗?答案是,当然的。说来惭愧,我也是上个月才知道,在 zone7 粉丝群中,有群友问 scrapy 怎么爬取图片数据?后来搜索了一下才知道。现在总结一下分享出来。

Media Pipeline

我们的 itempipeline 处理可以处理文字信息以外,还可以保存文件和图片数据,分别是 FilesPipeline 和 ImagesPipeline

Files Pipeline

  • 避免重新下载最近已经下载过的数据
  • 指定存储路径

FilesPipeline的典型工作流程如下:

  • 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 file_urls 组内。
  • 项目从爬虫内返回,进入项目管道。
  • 当项目进入 FilesPipeline,file_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,- - 会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成文件的下载(或者由于某些原因未完成下载)。
  • 当文件下载完后,另一个字段(files)将被更新到结构中。这个组将包含一个字典列表,其中包括下载文件的信息,比如下载路径、源抓取地址(从 file_urls 组获得)和图片的校验码(checksum)。 files 列表中的文件顺序将和源 file_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 files 组中。

Images Pipeline

  • 避免重新下载最近已经下载过的数据
  • 指定存储路径
  • 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)
  • 缩略图生成
  • 检测图像的宽/高,确保它们满足最小限制

启用Media Pipeline

# 同时启用图片和文件管道ITEM_PIPELINES = { # 使用时,请修改成你自己的 ImgPipeline 'girlScrapy.pipelines.ImgPipeline': 1,}FILES_STORE = os.getcwd() + '/girlScrapy/file' # 文件存储路径IMAGES_STORE = os.getcwd() + '/girlScrapy/img' # 图片存储路径# 避免下载最近90天已经下载过的文件内容FILES_EXPIRES = 90# 避免下载最近90天已经下载过的图像内容IMAGES_EXPIRES = 30# 设置图片缩略图IMAGES_THUMBS = { 'small': (50, 50), 'big': (250, 250),}# 图片过滤器,最小高度和宽度,低于此尺寸不下载IMAGES_MIN_HEIGHT = 128IMAGES_MIN_WIDTH = 128

需要说明的是,你下载的图片名最终会以图片 URL 的 hash 值命名,例如:

0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg

最终的保存地址为:

your/img/path/full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg

使用 ImgPipeline

这是我 demo 中的一个 ImgPipeline,里面重写了两个方法。

from scrapy.pipelines.images import ImagesPipelineclass ImgPipeline(ImagesPipeline):#继承 ImagesPipeline 这个类 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item

分别是:

get_media_requests(self, item, info):item_completed(self, results, item, info):

get_media_requests(self, item, info):

在这里,我们可以获取到 parse 中解析的 item 值,因此我们可以获取到相应的图片地址。在这里返回一个 scrapy.Request(image_url) 去下载图片。

item_completed(self, results, item, info):

item 和 info 打印出来都是 url 地址列表。其中 results 打印出来是如下值。

# 成功[(True, {'path': 'full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg', 'checksum': '98eb559631127d7611b499dfed0b6406', 'url': 'http://mm.chinasareview.com/wp-content/uploads/2017a/06/13/01.jpg'})]# 错误[(False, Failure(...))]
68cd54b9f4bd901737b501722e1d9ebe.png

抓取妹子图

ok,理论部分也讲完了,那我们来实践一下吧

spider

spider 部分很简单,如下:

class GirlSpider(scrapy.spiders.Spider): name = 'girl' start_urls = ["http://www.meizitu.com/a/3741.html"] def parse(self, response): soup = BeautifulSoup(response.body, 'html5lib') pic_list = soup.find('div', id="picture").find_all('img') # 找到界面所有图片 link_list = [] item = ImgItem() for i in pic_list: pic_link = i.get('src') # 拿到图片的具体 url link_list.append(pic_link) # 提取图片链接 item['image_urls'] = link_list print(item) yield item

item

class ImgItem(scrapy.Item): image_urls = scrapy.Field()#图片的链接 images = scrapy.Field()

ImgPipeline

class ImgPipeline(ImagesPipeline):#继承 ImagesPipeline 这个类 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item

启动

scrapy crawl girl

最终爬取结果如下:

5cffa42ba52853a309053e4a2a59c614.png

删除了某些不适内容,哈哈哈

瞎比比与送书后话

今天的更新就到此结束啦,是不是 get 到了新技能?至于如何批量下载妹子图?这个,我相信妹子的颜值会驱使你完善这些代码,手动滑稽!!!最后,回复【妹子图】获取源码。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/534944.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL摘要_mysql摘要

2011-04-15(1)mysqld关闭命令:mysqladmin -u root shutdown。注意:windows命令以enter结束不是;,mysql命令行才是(2)mysql终端接入,修改mysql.user表内容,添加授权用户。insert into mysql.user(Host,User,Password,ss…

错误代码0x800f0950怎么解决_解决win10安装net framework 3.5失败(错误代码 0x800F0950)...

视频教程:Win10教程 安装net framework 3.5失败(错误代码 0x800F0950)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com一:出现问题:报错代码二:解决步骤1.通过命令提示符明确自己系统版本Windows键X ,打开(命…

java mysql dump_Java 调用Mysql dump 备份数据库

SimpleDateFormat sdf new SimpleDateFormat("yyyyMMddHHmmss");try {String name sdf.format(new Date());String filePath System.getProperty("user.dir") "//" name ".sql";// 系统执行器Runtime rt Runtime.getRuntime();…

python 日志不会按照日期分割_django实现日志按日期分割

settings文件中配置: LOGGING { version:1, disable_existing_logger:False, formatters:{ verbose:{ format:%(asctime)s \"%(pathname)s:%(module)s:%(funcName)s:%(lineno)d\" [%(levelname)s]-%(message)s }, }, # 处理器 handlers:{ # 输…

mysql事务隔离最高_Mysql事务隔离级别

mysql官方文档显示:InnoDB中每个隔离级别的详细描述如下: READ UNCOMMITTEDSELECT语句以非锁定方式被执行,但是一个可能更早期版本的记录会被用到。因此,使用这个隔离级别,比如,读是不连贯的。着也被称为“…

exe打包工具哪个最好_一键分发工具哪个最好用?这款30万人都在用,很优秀!...

现代化媒体对于传播越来越重要,16年到如今,视频内容产业实在有话题度,其高效的粉丝互动机制、低资金投入高额回报等等亮点,强烈吸引着数以百万计的创造者,为了达到极其出色的阅读量,这些人往往会运用到所有…

mysql备份服务器中的_使用 Shell 备份远程服务器上的 MySQL 数据库到本机

适用场景:远程服务器上的 MySQL 不允许远程访问,此时我们需要先登录服务器,备份数据库后,将备份文件拉取到本机。源码 mysqlDumpRemote2Local.sh#!/bin/bash################################################# TODO: 登录远程服务…

date转timestamp格式_技术分享 | MySQL:timestamp 时区转换导致 CPU %sy 高的问题

作者:高鹏文章末尾有他著作的《深入理解 MySQL 主从原理 32 讲》,深入透彻理解 MySQL 主从,GTID 相关技术知识。本文为学习记录,可能有误请谅解。本文建议PC端观看,效果更佳。这个问题是一个朋友遇到的风云&#xff0c…

mysql架构组成_第 2 章 MySQL 架构组成

麻雀虽小,五脏俱全。MySQL 虽然以简单著称,但其内部结构并不简单。本章从MySQL物理组成、逻辑组成,以及相关工具几个角度来介绍 MySQL 的整体架构组成,希望能够让读者对 MySQL 有一个更全面深入的了解。2.1 MySQL物理文…

python列表生成器语法_python列表生产式和生成器

1.列表生成式:通过简洁的语法可以对一组元素进行过滤 格式:[exp for val in collection if condition] 例子1: a [x*xforxinxrange(1,10)ifx%20] print(a) 1)append(): 该方法用于在列表末尾添加新的对象,…

win2008 mysql端口_使用自定义端口连接SQL Server 2008的方法

使用过SQL Server的人大多都知道,SQL Server服务器默认监听的端口号是1433,但是我今天遇到的问题是我的机器上有三个数据库实例,这样使用TCP/IP远程连接时就产生了问题。如何在Microsoft SQL Server Management Studio里加入端口号连接呢&…

python基本命令range_Python的Range()函数(指南)

当需要执行特定次数的操作时,Python内置的range函数十分方便。 读罢本文,你将: 理解Python的range函数是如何工作的 了解Python 2和Python 3中的实现方式有何不同 看过了不少range()函数操作实例 有能力解决它的一些局限性 让我们开始吧&…

天涯python_python 網絡爬蟲(一)爬取天涯論壇評論

我是一個大二的學生,也是剛接觸python,接觸了爬蟲感覺爬蟲很有趣就爬了爬天涯論壇,中途碰到了很多問題,就想把這些問題分享出來,都是些簡單的問題,希望大佬們以寬容的眼光來看一個小菜鳥😄&…

python快递费用计算_[Python]简单用Python写个查询快递的程序最后附源代码

[Python] 纯文本查看 复制代码from requests_html import HTMLSession session HTMLSession() def sb(dh): 用来识别快递 返回快递种类! url http://www.kuaidi100.com/autonumber/autoComNum?resultv21&text dh header { Referer: http://www.kuaidi100.com/, User-A…

qos的_QoS 概述

QoS 是一个很大的领域,涉及到网络中的多个层次和环节。本文仅简要的谈谈 Endpoint 侧的 QoS 概念,将这些纷繁的概念名词串起来,便于理解。QoS 技术背景下图说明了 QoS workflow 中,各项技术的位置和关系摘自 < 端到端Q…

为什么python 为什么没有接口_python做接口测试的必要性

什么是接口测试 接口测试主要用于检测外部系统与内部系统之间,以及系统内部各 个子系统之间的交互点。其测试的重点是,检查数据的交换、传递和控 制管理过程,以及系统间的逻辑依赖关系等。 为什么要做接口测试 1.传统的测试方法成本急剧增加&…