python3抓取图片_通过Python3 爬虫抓取漫画图片

引言:

最近闲来无事所以想着学习下python3,看了好长时间的文档,于是用python3写了一个漫画抓取的程序,好了 废话不多说上码!

第一步:

准备环境 和类库,我用的是python3.5      禁用 python2.x ! 禁用 python2.x !  禁用 python2.x !

用到的类库:requests  lxml  bs4  fake_useragent     pymysql

这里你 pip  安装也好或者用pycharm

58926e8f5a86

pycharm 引包位置

第二步:找漫画网站

先说好本教程仅供学习交流禁止用于商务用途和其他用途

我选了一家相对还不错的漫画网站,各位小伙伴没事可以去看看

传送门: https://www.mkzhan.com

第三步: 开始编程了 准备好小伙伴

好了先导包

58926e8f5a86

然后那编辑几个需要用到的方法

先做一个请求网页的方法

58926e8f5a86

在这里headers 需要配置一个user-agent,否则很容易就会被对方服务器发现你是爬虫那

然后创建一个图片检测方法,毕竟图片损坏了你下载下来也没用

58926e8f5a86

先抓详情 来分析下页面结构

58926e8f5a86

嗯 这是我找出一些有用的信息 ,不过今天我们只用到标题 封面 和章节,然后哪章节列表举栗子,先上码

58926e8f5a86

分析下li 特性 class 里都有一个参数 j-chapter-item 那好 find_all 把符合规则的拿出来

然后根据标题创建文件夹,同时根据封面的页面规则 抓到封面的img 放到之前写好的 get_img 方法里检测下,然后open 下载下来

刚刚抓好的章节列表遍历下,毕竟我们要把每章节的每张有用图片下载下来

58926e8f5a86

新建一个章节的抓取方法

这里要把章节里的图片抓取出来

按照上面分析下html结构,根据规则做相应的抓取 并将图片下载到相应的位置

58926e8f5a86

结果:

58926e8f5a86

58926e8f5a86

58926e8f5a86

好了大功告成,代码虽然很比较low 但毕竟一个初级学员 大神勿喷

相对于想开始尝试做一下python抓取的同学很合适哦

不多说上源码 github:传送门

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/301902.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

被同事嘲笑说技术方案没深度?

大家好,我是Z哥。程序员群体中有个很好玩的现象。工作年限短的程序员热衷于设计“高大上”的技术方案,而工作年限长的则对技术方案好像不太感冒,上手就撸代码。然后呢,年限短的程序员们想的技术方案又不好意思拿出来讲&#xff0c…

有个厉害的程序员女朋友是什么体验?

全世界只有3.14 % 的人关注了数据与算法之美自古妇女能顶半边天,在 IT 界,女生的力量也越来越强大,杰出的女性闪耀在我们身边。有人说:世界上有两种程序员一种是程序员一种是女程序员据数据汪了解,世界上第一个程序员 …

oracle 11g ORA-12541: TNS: 无监听程序 (DBD ERROR: OCIServerAttach)

em无法浏览,同时监听起不来。同时他的监听服务还是正常的,我做了两步修改 这个问题,最被大家认可的原因是IP地址变动,或者是其它原因,导致Oracle配置文件中的机器名或者IP不能被识别。有种解决办法是修改Network Confi…

out参数不用赋值?这么神奇吗!

首先提醒大家一下,docs.microsoft.com上的《C# 指南》是这样描述out 参数修饰符[1]的:作为 out 参数传递的变量在方法调用中传递之前不必进行初始化。但是,被调用的方法需要在返回之前赋一个值。请注意上面加粗的话,然后看看下面的…

SVN客户端--TortoiseSVN使用说明

TortoiseSVN是windows下其中一个非常优秀的SVN客户端工具。通过使用它,我们可以可视化的管理我们的版本库。不过由于它只是一个客户端,所以它不能对版本库进行权限管理。 TortoiseSVN不是一个独立的窗口程序,而是集成在windows右键菜单中&…

年底求职难?起薪28万的数据岗位,人才缺口达150万,不限专业学历……

全世界只有3.14 % 的人关注了数据与算法之美2018下半年开始,“寒冬”说愈演愈烈。事实上企业的结构调整、人才升级是常见的现象,而且并非所有互联网企业都在“缩招”,很多企业甚至计划在明年扩大校招。人工智能、数据技术的迅猛发展&#xff…

helm安装postgres_添加到postgres数据库外的keycloak k8s helm chart环境参数

我是Kubernetes和helm-charts的新手,并试图让Keycloak在Postgres中保存数据而不是在H2中(因为他默认情况下这样做) . Postgres将由单独的头盔图创建 . 首先我按命令创建Postgres:helm install --namepostgres-keycloak stable/postgresql然后我看一下新的…

在.NET 6中使用DateOnly和TimeOnly

千呼万唤始出来在.NET 6(preview 4)中引入了两个期待已久的类型,将作为核心库的一部分。DateOnly和TimeOnly允许开发人员表示DateTime的日期或时间部分。这两个类型为值类型(struct type),可以在代码中独立处理日期或时间概念时使…

团队强才是真的强

没有优秀的个人,只有优秀的团队。如果说今天上午大兴交通局举办的“安全知识竞赛”我们拿了第一名是由于我本人发挥的出色不如说是我们这个团队的整体水平的再现,我们八个队轮番角逐,开始成绩分数不分上下,没有拉开距离。八个队每…

预售┃要孩子逻辑清晰、善于思考,别忽视空间想象力的游戏锻炼!

▲数据汪特别推荐点击上图进入玩酷屋在之前的文章时,马斯提到数学存在一种现象叫“梯次掉队”,原因在于孩子的数学思维地基没有打牢。(传送门)提到初中孩子需要空间想象能力时,很多父母疑惑为何需要?关于这…

mysql中查询出现的错误_在MySQL查询中查询语法错误

您在此专栏后缺少逗号:p.name请考虑以下查询:SELECT i.itemtype AS Item, p.name, SUM(CASEWHEN itemtype 2148 THEN i.countELSE 0END) AS Count, SUM(CASEWHEN itemtype 2152 THEN i.countELSE 0END) * 100 AS Count1, SUM(CASEWHEN itemtype 2160 …

通过Dapr实现一个简单的基于.net的微服务电商系统(十六)——dapr+sentinel中间件实现服务保护...

dapr目前更新到了1.2版本,在之前4月份的时候来自阿里的开发工程师发起了一个dapr集成Alibaba Sentinel的提案,很快被社区加入到了1.2的里程碑中并且在1.2 release 相关升级文档里可以看到已经实现了对Alibaba Sentinel的支持。今天我们就讲讲我们如何通过…

预售┃让苹果CEO库克折服的程序员仅10岁!?

▲数据汪特别推荐点击上图进入玩酷屋在国外,编程教育课早已普及,美国、英国、新加坡等国家少儿编程已进入小学标准必修课程体系。韩国、日本也相继在2017年和2020年开展一年级至初三的编程教育普及。美国总统孙女,五岁开始学习在电脑上编程最…

IBM-X3650 6核处理器安装sql server 2005报错解决方法

1、在运行中输入msconfig2.选择BOOT.INI在高级选项3.勾选/NUMPROC,数字选择为2的n次方,点击确定4.重新启动系统后,可正常安装SQL Server 20055.安装完成后,在装sql server2005 sp4补丁后6.然后把/NUMPROC勾去掉7.重新启动后,可正常…

java 字符串小写_Java字符串如何转换大小写?

程序开发中,经常需要对字符串进行转换操作,例如将字符串转换成数组的形式,将字符串中的字符进行大小写转换等。接下来通过一个案例来演示字符串的转换操作。 public class string03 {public static void main(String[] args) {String str="abcd"; System.out.prin…

C#-using与添加引用的关系

添加引用是using的必备条件 只有添加了对程序集的引用,此程序集内的命名空间才能被using项目添加引用的目的是引入程序集 程序集的概念是什么? 程序集是一个 DLL,这是调用其中类的必备条件 一个程序集包括一个或多个命名空间 举例来说 命…

如何提高自己的工作效率

1. 对整体的项目需求的了解(建议给新入职项目成员整体介绍一下); 2. 做具体模块的时候有必要再细讲一次当前开发模块的具体内容,越详细越好(由于刚入职对整体不了解还有对新的技术有个入门过程)&#xff1b…

入门机器学习,就这么简单!

AI这个词相信大家都非常熟悉,近几年来人工智能圈子格外热闹,光是AlphoGo就让大家对它刮目相看。今天小天就来跟大家唠一唠如何进军人工智能的第一步——机器学习。在机器学习领域,Python已经成为了主流。一方面因为这门语言简单易上手&#x…

程序员过关斩将--错误的IOC和DI

什么是IOC?什么是DI?IOC和DI有什么关系?作为程序员,天天撸代码,怎么能不知道IOC和DI呢。很多面试官也喜欢问这两个概念,虽然概念很简单,但是可以从面试者的回答当中,大体的可以估算到…

java 生成jar_java如何生成jar

将*.class文件压缩成一个文件交付给用户使用,那么这样的文件就称为jar文件。如果要想生成jar文件,直接使用JDK中bin目录里的jar.exe就可以将所有的类文件进行压缩。此命令是随JDK一起安装的,直接在命令行中输入jar,即可看到此命令…