python3抓取图片_通过Python3 爬虫抓取漫画图片

引言:

最近闲来无事所以想着学习下python3,看了好长时间的文档,于是用python3写了一个漫画抓取的程序,好了 废话不多说上码!

第一步:

准备环境 和类库,我用的是python3.5      禁用 python2.x ! 禁用 python2.x !  禁用 python2.x !

用到的类库:requests  lxml  bs4  fake_useragent     pymysql

这里你 pip  安装也好或者用pycharm

58926e8f5a86

pycharm 引包位置

第二步:找漫画网站

先说好本教程仅供学习交流禁止用于商务用途和其他用途

我选了一家相对还不错的漫画网站,各位小伙伴没事可以去看看

传送门: https://www.mkzhan.com

第三步: 开始编程了 准备好小伙伴

好了先导包

58926e8f5a86

然后那编辑几个需要用到的方法

先做一个请求网页的方法

58926e8f5a86

在这里headers 需要配置一个user-agent,否则很容易就会被对方服务器发现你是爬虫那

然后创建一个图片检测方法,毕竟图片损坏了你下载下来也没用

58926e8f5a86

先抓详情 来分析下页面结构

58926e8f5a86

嗯 这是我找出一些有用的信息 ,不过今天我们只用到标题 封面 和章节,然后哪章节列表举栗子,先上码

58926e8f5a86

分析下li 特性 class 里都有一个参数 j-chapter-item 那好 find_all 把符合规则的拿出来

然后根据标题创建文件夹,同时根据封面的页面规则 抓到封面的img 放到之前写好的 get_img 方法里检测下,然后open 下载下来

刚刚抓好的章节列表遍历下,毕竟我们要把每章节的每张有用图片下载下来

58926e8f5a86

新建一个章节的抓取方法

这里要把章节里的图片抓取出来

按照上面分析下html结构,根据规则做相应的抓取 并将图片下载到相应的位置

58926e8f5a86

结果:

58926e8f5a86

58926e8f5a86

58926e8f5a86

好了大功告成,代码虽然很比较low 但毕竟一个初级学员 大神勿喷

相对于想开始尝试做一下python抓取的同学很合适哦

不多说上源码 github:传送门

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/301902.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

有个厉害的程序员女朋友是什么体验?

全世界只有3.14 % 的人关注了数据与算法之美自古妇女能顶半边天,在 IT 界,女生的力量也越来越强大,杰出的女性闪耀在我们身边。有人说:世界上有两种程序员一种是程序员一种是女程序员据数据汪了解,世界上第一个程序员 …

out参数不用赋值?这么神奇吗!

首先提醒大家一下,docs.microsoft.com上的《C# 指南》是这样描述out 参数修饰符[1]的:作为 out 参数传递的变量在方法调用中传递之前不必进行初始化。但是,被调用的方法需要在返回之前赋一个值。请注意上面加粗的话,然后看看下面的…

年底求职难?起薪28万的数据岗位,人才缺口达150万,不限专业学历……

全世界只有3.14 % 的人关注了数据与算法之美2018下半年开始,“寒冬”说愈演愈烈。事实上企业的结构调整、人才升级是常见的现象,而且并非所有互联网企业都在“缩招”,很多企业甚至计划在明年扩大校招。人工智能、数据技术的迅猛发展&#xff…

在.NET 6中使用DateOnly和TimeOnly

千呼万唤始出来在.NET 6(preview 4)中引入了两个期待已久的类型,将作为核心库的一部分。DateOnly和TimeOnly允许开发人员表示DateTime的日期或时间部分。这两个类型为值类型(struct type),可以在代码中独立处理日期或时间概念时使…

预售┃要孩子逻辑清晰、善于思考,别忽视空间想象力的游戏锻炼!

▲数据汪特别推荐点击上图进入玩酷屋在之前的文章时,马斯提到数学存在一种现象叫“梯次掉队”,原因在于孩子的数学思维地基没有打牢。(传送门)提到初中孩子需要空间想象能力时,很多父母疑惑为何需要?关于这…

通过Dapr实现一个简单的基于.net的微服务电商系统(十六)——dapr+sentinel中间件实现服务保护...

dapr目前更新到了1.2版本,在之前4月份的时候来自阿里的开发工程师发起了一个dapr集成Alibaba Sentinel的提案,很快被社区加入到了1.2的里程碑中并且在1.2 release 相关升级文档里可以看到已经实现了对Alibaba Sentinel的支持。今天我们就讲讲我们如何通过…

预售┃让苹果CEO库克折服的程序员仅10岁!?

▲数据汪特别推荐点击上图进入玩酷屋在国外,编程教育课早已普及,美国、英国、新加坡等国家少儿编程已进入小学标准必修课程体系。韩国、日本也相继在2017年和2020年开展一年级至初三的编程教育普及。美国总统孙女,五岁开始学习在电脑上编程最…

java 字符串小写_Java字符串如何转换大小写?

程序开发中,经常需要对字符串进行转换操作,例如将字符串转换成数组的形式,将字符串中的字符进行大小写转换等。接下来通过一个案例来演示字符串的转换操作。 public class string03 {public static void main(String[] args) {String str="abcd"; System.out.prin…

入门机器学习,就这么简单!

AI这个词相信大家都非常熟悉,近几年来人工智能圈子格外热闹,光是AlphoGo就让大家对它刮目相看。今天小天就来跟大家唠一唠如何进军人工智能的第一步——机器学习。在机器学习领域,Python已经成为了主流。一方面因为这门语言简单易上手&#x…

java 生成jar_java如何生成jar

将*.class文件压缩成一个文件交付给用户使用,那么这样的文件就称为jar文件。如果要想生成jar文件,直接使用JDK中bin目录里的jar.exe就可以将所有的类文件进行压缩。此命令是随JDK一起安装的,直接在命令行中输入jar,即可看到此命令…

windows server 2012 dhcp 配置故障转移

在前面,青年怪客搭建的活动目录服务,在前面的内容中,我希望能在一个企业中,有一到两台域服务器可以管理我们企业内容中的计算机,但是一般的企业都是需要DHCP服务器的,为此我在前面的内容中,也配…

程序猿秃顶算工伤吗?

全世界只有3.14 % 的人关注了数据与算法之美在各个年龄段的程序猿中,70后以年龄优势遥遥领先,80后开始油腻,90后开始掉发,掉发的迅猛程度隐隐有赶超80后的趋势,脱单已然不是他们最担心的问题,脱发才是!程序…

web容器获取SSL指纹实现和ByPass

前言前段时间对SSL指纹的获取实现很感兴趣,从表面到深入再到实现让我更加深刻理解SSL设计。本篇介绍:SSL指纹在web容器(Kestrel)下如何获取,并实现一个Middleware来很方便集成到web工程里面(下文附源码地址)。解析ClientHello的套路以及如何生…

许可证( License LicenseLicenseLicenseLicenseLicense)服务器配置

在这里我要说明一下,如果你没有lic文件,可以到官方注册帐号,进行申请,我这里我申请的是一个90天的试用的序列号,下面是我在配置过程中的一些截图发出来。大家可以看一下。 老样子,开机过几秒中会提示出来的…

java struts 文件下载_Struts2文件下载实例

通过《Struts2文件下载简介》教程的学习,读者已经了解了使用 Struts2 框架实现在指定的目录中下载指定文件的功能。下面通过案例演示文件下载功能。1)创建下载页面在 struts2Demo06 项目的 WebContent 目录下创建一个名称为 download.jsp 的页面文件,在文…

预售┃16个有趣的海洋实验,美到让人窒息!

▲数据汪特别推荐点击上图进入玩酷屋我们的孩子,在科技发展迅速的年代,从出生就接触着各种高科技,接触电子产品已经是必然。但小木时常在想,除了ipad和那些普通的玩具,我们还能给孩子玩儿些什么呢?有没有宝…

深入LINQ | 揭开IQueryable的面纱

原文:bit.ly/3uAXliC作者:Jeremy Likness译者:精致码农-王亮在上一篇深入LINQ | 动态构建LINQ表达式 博文中,我们探索了表达式的强大,并用它来动态地构建一个基于 JSON 的规则引擎。在这篇文章中,我们反过来…

科幻作家阿西莫夫上世纪预言2019: 计算机彻底变革教育,太空移民进行中

全世界只有3.14 % 的人关注了数据与算法之美2019年必将是充满机遇与挑战的一年,一年的时间世界可能发生很大的变化。我们应该如何期待新的一年?在这,数据汪带大家重新读1983年美国作家艾萨克阿西莫夫(Isaac Asimov)对2…

6月程序员平均工资出炉,你拖后腿了吗?

据有关部门统计:6月份全国招收程序员435501人,平均工资为15052元,很多小伙伴儿纷纷感慨工资被平均了。然而6月程序员工资的中位数却是13000元,这说明什么?也许不是被平均,而是真的拖后腿了,下面…

学习爬虫限时只需9.9,还在犹豫什么?

收拾行李回老家的小天,新春福利还是要准时送到大家手上的!随着互联网的发展,google、百度等搜索引擎让我们获取信息愈加方便。Python是当今世界最热门的编程语言之一,在科研领域也发挥着强大的作用,尤其是在日常的学习…