↑ 关注 + 星标 ，后台回复【大礼包】送你2TPython自学资料

好消息：Python学习交流群，已经建立，猛戳加入

之前我发过一些爬虫的文章，不过一直没发过爬取图片的，今天就给大家分享一篇吧！

/1 前言/

    上篇文章我们谈及了天堂网站图片抓取的理论，这篇文章将针对上篇文章的未尽事宜进行完善，完成图片的批量抓取。

/2 图片网址解析/

    1. 我们首先来分析一下这个图片的地址在哪里。我们选择图片，然后右击网页检查，可以看到图片的路径，如下图所示。

    2. 将其单独放出来，如下图所示。

    3. 可以看到就是图片的链接，而src就图片的地址，所以我们可以找它的上一级标签

。如果再找不到那就再找上一级以此类推(找到越详细内容更准确)。使用选择器xpath，获取到src的值(网址后缀)之后，将后缀加上“https前缀”就可以得到每一个网址，如下图所示：

    4. 之后尝试运行，如下图所示，可以获取到具体的网址。

    5. 我们再对这个网址进行请求(参考一个请求的方法)分析数据。

    6. 我们以这个鱼的图片为例，点击它来到二级页面。

    7. 右键检查 可以看到我们要获取的是src的地址，如下图所示。

    8. 获取图片的源码，如下图所示。

    9. Xpath 获取到路径，为了方便区分图片的名字，如下图所示。

/3 下载图片/

    1. 为方便储存，新建一个filename来作为保存的路径，如下图所示。

    2. 也就是说你需要在Python代码的同级目录，提前新建一个文件夹，名叫“天堂网爬的图片”，如果没有这个文件夹的话，将会报下图的错。

    3. 使用with函数进行文件的打开和写入，下方代码的含义是创建一个文件，代码框里边有具体的注释。

"wb" # 意思是以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。"as f" # 意思是写入一个叫f的文件。"f.wirite(html)" # 意思是说把html的内容写入f这个文件。

    4. 下面是各个编码代表的含义，可以学习一下。

    5. 基于以上代码，基本上就可实现批量下载。接下来，我们继续优化一下。我们导入一个叫fake_useragent的库 fake_useragent第三方库，来实现随机请求头的设置。

fromfake_useragent import UserAgent ua =UserAgent()print(ua.ie)   #随机打印ie浏览器任意版本print(ua.firefox)#随机打印firefox浏览器任意版本print(ua.chrome)  #随机打印chrome浏览器任意版本print(ua.random)  #随机打印任意厂家的浏览器

    6. 我们可以再初始化init方法，添加ua.random，让它随机的产生；其中UserAgent代码如图：(这里设置随机产生50个挑选其中一个进行请求)

    7. 最终实现的效果图，终端显示如下图所示。

    8. 将图片自动下载到本地后的效果图，高清的噢~

     9. 至此，针对解析出来的图片地址予以批量下载的任务已经完成，接下来自己可以开心的去浏览图片啦。

    10. 不建议大家爬取太多数据，这样会给服务器增大负载，浅尝辄止即可。

/4 小结/

    本文基于理论篇，通过Python 中的爬虫库 requests 、lxml、fake_useragent，带大家进行网页结构的分析以及网页图片地址数据的提取，并且针对解析出来的图片地址予以批量下载，方法行之有效，欢迎大家积极尝试。

如果对本文源码感兴趣，网页打开链接直接下载  

https://alltodata.cowtransfer.com/s/a794ef3ab7e54f

推荐两个团队技术号

Github研习社:目前是由国内985博士，硕士组成的团体发起并运营，主要分享和研究业界开源项目，学习资源，程序设计，学术交流。回复就无套路送你一份自学大礼包。机器学习研习社目前是由国内985博士，硕士组成的团体发起并运营。主要分享和研究机器学习、深度学习、NLP 、Python，大数据等前沿知识、干货笔记和优质资源。回复就无套路送你一份机器学习大礼包。

推荐阅读10000字Pandas基础+进阶笔记！

如果你觉得文章有帮助，点个“好看”