wallpaper代码_70 行 python 代码实现壁纸批量下载!

好久没有写文章了,因为最近都在适应新的岗位,以及利用闲暇时间学习python。这篇文章是最近的一个python学习阶段性总结,开发了一个爬虫批量下载某壁纸网站的高清壁纸。

注意:本文所属项目仅用于python学习,严禁作为其他用途使用!

初始化项目

项目使用了 virtualenv 来创建一个虚拟环境,避免污染全局。使用 pip3 直接下载即可:

pip3 install virtualenv复制代码

然后在合适的地方新建一个 wallpaper-downloader 目录,使用 virtualenv 创建名为 venv 的虚拟环境:

virtualenv venv. venv/bin/activate复制代码

接下来创建依赖目录:

echo bs4 lxml requests > requirements.txt复制代码

最后yun下载安装依赖即可:

pip3 install -r requirements.txt复制代码

分析爬虫工作步骤

为了简单起见,我们直接进入分类为“aero”的壁纸列表页: wallpaperswide.com/aero-deskto…

f735afaf62d6272468c2f7f3e0677b26.png

可以看到,这一页里面一共有10张可供下载的壁纸。但是由于这里显示的都是缩略图,作为壁纸来说清晰度是远远不够的,所以我们需要进入壁纸详情页,去找到高清的下载链接。从第一张壁纸点进去,可以看到一个新的页面:

b6adac8bdeabbaef0018737ec376753b.png

进群:960410445 即可获取数十套PDF!

因为我机器是Retina屏幕,所以我打算直接下载体积最大的那个以保证高清(红圈所示体积)。

了解了具体的步骤以后,就是通过开发者工具找到对应的dom节点,提取相应的url即可,这个过程就不再展开了,读者自行尝试即可,下面进入编码部分。

访问页面

新建一个 download.py 文件,然后引入两个库:

from bs4 import BeautifulSoupimport requests复制代码

接下来,编写一个专门用于访问url,然后返回页面html的函数:

def visit_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' } r = requests.get(url, headers = headers) r.encoding = 'utf-8' return BeautifulSoup(r.text, 'lxml')复制代码

为了防止被网站反爬机制击中,所以我们需要通过在header添加UA把爬虫伪装成正常的浏览器,然后指定utf-8编码,最后返回字符串格式的html。

提取链接

在获取了页面的html以后,就需要提取这个页面壁纸列表所对应的url了:

def get_paper_link(page): links = page.select('#content > div > ul > li > div > div a') return [link.get('href') for link in links]复制代码

这个函数会把列表页所有壁纸详情的url给提取出来。

下载壁纸

有了详情页的地址以后,我们就可以进去挑选合适的size了。在对页面的dom结构分析后可以知道,每一个size都对应着一个链接:

d4c41c1cf91f21e700f94c6d2a82037e.png

所以第一步,就是把这些size对应的链接提取出来:

wallpaper_source = visit_page(link)wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a')size_list = [{ 'size': eval(link.get_text().replace('x', '*')), 'name': link.get('href').replace('/download/', ''), 'url': link.get('href')} for link in wallpaper_size_links]复制代码

size_list 就是这些链接的一个集合。为了方便接下来选出最高清(体积最大)的壁纸,在 size 中我使用了 eval 方法,直接把这里的 5120x3200 给计算出来,作为 size 的值。

获取了所有的集合之后,就可以使用 max() 方法选出最高清的一项出来了:

biggest_one = max(size_list, key = lambda item: item['size'])复制代码

这个 biggest_one 当中的 url 就是对应size的下载链接,接下来只需要通过 requests 库把链接的资源下载下来即可:

result = requests.get(PAGE_DOMAIN + biggest_one['url'])if result.status_code == 200: open('wallpapers/' + biggest_one['name'], 'wb').write(result.content)复制代码

注意,首先你需要在根目录下创建一个 wallpapers 目录,否则运行时会报错。

整理一下,完整的 download_wallpaper 函数长这样:

def download_wallpaper(link): wallpaper_source = visit_page(PAGE_DOMAIN + link) wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a') size_list = [{ 'size': eval(link.get_text().replace('x', '*')), 'name': link.get('href').replace('/download/', ''), 'url': link.get('href') } for link in wallpaper_size_links] biggest_one = max(size_list, key = lambda item: item['size']) print('Downloading the ' + str(index + 1) + '/' + str(total) + ' wallpaper: ' + biggest_one['name']) result = requests.get(PAGE_DOMAIN + biggest_one['url']) if result.status_code == 200: open('wallpapers/' + biggest_one['name'], 'wb').write(result.content)复制代码

批量运行

上述的步骤仅仅能够下载 第一个壁纸列表页第一张壁纸 。如果我们想下载 多个列表页全部壁纸 ,我们就需要循环调用这些方法。首先我们定义几个常量:

import sysif len(sys.argv) != 4: print('3 arguments were required but only find ' + str(len(sys.argv) - 1) + '!') exit()category = sys.argv[1]try: page_start = [int(sys.argv[2])] page_end = int(sys.argv[3])except: print('The second and third arguments must be a number but not a string!') exit()复制代码

这里通过获取命令行参数,指定了三个常量 category , page_start 和 page_end ,分别对应着壁纸分类,起始页页码,终止页页码。

为了方便起见,再定义两个url相关的常量:

PAGE_DOMAIN = 'http://wallpaperswide.com'PAGE_URL = 'http://wallpaperswide.com/' + category + '-desktop-wallpapers/page/'复制代码

接下来就可以愉快地进行批量操作了,在此之前我们来定义一个 start() 启动函数:

def start(): if page_start[0] <= page_end: print('Preparing to download the ' + str(page_start[0]) + ' page of all the "' + category + '" wallpapers...') PAGE_SOURCE = visit_page(PAGE_URL + str(page_start[0])) WALLPAPER_LINKS = get_paper_link(PAGE_SOURCE) page_start[0] = page_start[0] + 1 for index, link in enumerate(WALLPAPER_LINKS): download_wallpaper(link, index, len(WALLPAPER_LINKS), start)复制代码

然后把之前的 download_wallpaper 函数再改写一下:

def download_wallpaper(link, index, total, callback): wallpaper_source = visit_page(PAGE_DOMAIN + link) wallpaper_size_links = wallpaper_source.select('#wallpaper-resolutions > a') size_list = [{ 'size': eval(link.get_text().replace('x', '*')), 'name': link.get('href').replace('/download/', ''), 'url': link.get('href') } for link in wallpaper_size_links] biggest_one = max(size_list, key = lambda item: item['size']) print('Downloading the ' + str(index + 1) + '/' + str(total) + ' wallpaper: ' + biggest_one['name']) result = requests.get(PAGE_DOMAIN + biggest_one['url']) if result.status_code == 200: open('wallpapers/' + biggest_one['name'], 'wb').write(result.content) if index + 1 == total: print('Download completed!') callback()复制代码

最后指定一下启动规则:

if __name__ == '__main__': start()复制代码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/244581.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

100g流量在电脑上可以用多久_三大运营商5G体验方案出炉!100G一个月够不够?...

前段时间&#xff0c;工信部向中国移动、中国联通、中国电信、中国广电发放5G商用牌照&#xff0c;这也意味着&#xff0c;我国5G网络正式开始被商用。并且目前三大运营商都已完成了5G网络下的终端组网测试&#xff0c;计划于今年第三季度开始进行试商用。而就在近期&#xff0…

java 获取注释_Java面试题Java语言有哪些注释的方式?

点击上方“千锋Java学院”&#xff0c;选择“置顶公众号”每天一道面试模拟真题及解析课前导读●回复"每日一练"获取以前的题目&#xff0c;持续更新&#xff01;●我希望大家积极参与&#xff01;有什么不懂可以加小千微信进行讨论★把面试准备工作&#xff0c;拆分…

密度图的密度估计_箱形图、小提琴图、直方图……统统可以卡通化!

全文共11345字&#xff0c;预计学习时长23分钟或更长对于数据科学家来说&#xff0c;可视化工具比比皆是&#xff0c;因此&#xff0c;退一步去钻研每种可视化的类型及其适用的最佳案例就变得十分重要。为了发挥工具的最佳效用&#xff0c;有时可以考虑将其拟人化&#xff0c;甚…

android 屏幕分辨率 屏幕密度,Android屏幕适配——多分辨率多屏幕密度

为什么要适配&#xff0c;适配的好处等等这里就不说了&#xff0c;直接说我们要怎么适配&#xff0c;请看下面的内容。1.重要概念px&#xff1a;pixel&#xff0c;像素Android原生API&#xff0c;UI设计计量单位&#xff0c;如获取屏幕宽高。屏幕分辨率&#xff1a;指在纵向和横…

操作系统锁的实现方法有哪几种_「从入门到放弃-Java」并发编程-锁-synchronized...

简介上篇【从入门到放弃-Java】并发编程-线程安全中&#xff0c;我们了解到&#xff0c;可以通过加锁机制来保护共享对象&#xff0c;来实现线程安全。synchronized是java提供的一种内置的锁机制。通过synchronized关键字同步代码块。线程在进入同步代码块之前会自动获得锁&…

android长按加入购物车,《Android APP可能有的东西》之UI篇:加入购物车动画

很多电商app的加入购物车的动作会要求加上动画效果&#xff1a;飞进购物车&#xff0c;想来也合理&#xff0c;在listview界面时商品快速加入购物车&#xff0c;一直toast用户加入成功好像不太正常&#xff0c;所以添加一个动画&#xff0c;用户自然就懂了&#xff0c;而且也挺…

基于android 定位系统,基于Android平台定位系统设计和实现

2 0 1 3牟第 1 2期文章编号&#xff1a; 1 0 0 9— 2 5 5 2 ( 2 0 1 3 ) 1 2— 0 1 8 7— 0 4 中图分类号&#xff1a; T P 3 1 6 . 8 9 文献标识码&#xff1a; A基于 A n d r o i d平台定位系统设计和实现李瑞宣&#xff0c;王山东&#xff0c;徐志远&#xff0c;王伶俐(河海…

开发工评价程师自我_常见“自我评价”写作范例

“自我评价”在找工作的时候是一个非常重要的内容&#xff0c;优秀的“自我评价”不仅就可以让别人对你有一个全面的认识&#xff0c;更可以通过寥寥数语就让别人对你产生浓厚的兴趣&#xff0c;让你的求职之路事半功倍。但是怎么写“自我评价”&#xff0c;却是让很多人犯愁的…

visual studio 调试python_Visual Studio Code Python 调试设置

很意外Visual Studio Code居然支持Python代码的断点调试。一起来配置一下。工具/原料 Visual Studio Code 1.1 Python 2.7.11 方法/步骤 1 首先&#xff0c;当然是要先安装插件&#xff0c;配置Python环境。这个大家看这个文章 2 环境配置完成后&#xff0c;我们点击调试按钮&a…

leetcode c程序总提示主函数_Matlab系列之函数嵌套

昨天的那一篇讲的几个函数&#xff0c;不知道你们理解的如何&#xff0c;是否懂得怎么去使用了&#xff0c;如果还没懂&#xff0c;一定要再多看几遍&#xff0c;并且去在软件上进行实操&#xff0c;今天的话&#xff0c;将要介绍一下函数的嵌套&#xff0c;不过在正式讲嵌套之…

华为手机出现android啥意思,传华为正研发手机系统,如果脱离安卓系统,还有啥能阻止华为前进...

原标题&#xff1a;传华为正研发手机系统&#xff0c;如果脱离安卓系统&#xff0c;还有啥能阻止华为前进自从国产手机正式进入了智能手机时代之后&#xff0c;中华酷联的中兴、酷派、联想早已经被华为甩在了身后。虽然现在国产手机已经呈现出华为、小米、OPPO、vivo四足鼎立的…

sql 数据库前两列值乘_Sql语句常用关键字

最近接触sql比较多&#xff0c;发现自己已经遗忘的也差不多&#xff0c;要用到的时候迟迟拿不出来&#xff0c;今天开始会在知乎上纪录一些sql语句学习的内容&#xff0c;内容重在说明查询语句的用法。一、sql查询语句的初始介绍1、查询语句的一般写法&#xff1a;select .....…

谷歌fuchsiaos和华为鸿蒙,华为鸿蒙最大的对手现身!谷歌正式推送Fuchsia OS,或替代安卓...

原标题&#xff1a;华为鸿蒙最大的对手现身&#xff01;谷歌正式推送Fuchsia OS&#xff0c;或替代安卓可能是看到了华为鸿蒙的进展神速&#xff0c;谷歌在近日也正是开始了Fuchsia OS的推送。5月25日&#xff0c;谷歌Fuchsia OS项目负责人在社交媒体上公开喊话&#xff1a;“今…

c html转为datatable,C#中DataTable导出为HTML格式的方法

前言在C#中DataTable导出数据的时候&#xff0c;我们需要HTML格式的输出数据, 这时候就需要使用将DataTable导出为到HTML格式的方法了&#xff0c;以下代码就可以帮助我们达到目的。首先,我们要绑定DataTable和 DataGridView。一、通过DataTable绑定DataGridView1. 创建DataTab…

mybatis insert 忽略 联合唯一索引_MySQL实战中,Insert语句的使用心得总结

提到MySQL的Insert语句&#xff0c;你肯定不陌生&#xff0c;或许已经张口就来&#xff1a;不就是insert into table values(xxx,xxx,xxx)嘛&#xff01;没错&#xff0c;但在实战中&#xff0c;根据不同的需求场景&#xff0c;插入操作在语法、执行方式上的用法多种多样。今天…

eureka集群只注册一个_Spring cloud系列教程第十篇- Spring cloud整合Eureka总结篇

Spring cloud系列教程第十篇- Spring cloud整合Eureka总结篇本文主要内容&#xff1a;1&#xff1a;spring cloud整合Eureka总结本文是由凯哥(凯哥Java:kagejava)发布的《spring cloud系列》教程的总第十篇&#xff1a;本文是几个维度中的第一个维度&#xff1a;注册与发现维度…

html鼠标滚轴后下一页,鼠标滚动有一页ppt不能马上下翻,而是上下移动,移动到一定位置后才翻到下一页,这是怎么回事?怎么解决?...

一般是这张幻灯片里有图片才会出现这种问题&#xff0c;你的图片格式有问题&#xff0c;点击图片&#xff0c;再点击格式&#xff0c;把图片格式换一下就好了同问&#xff0c;但不是下面两个原因&#xff0c;都试过没用1&#xff0c;ppt的比例太大&#xff0c;缩小比例即可。Ct…

resnet keras 结构_Day146:第二讲 ResNet

出处论文&#xff1a;Deep Residual Learning for Image Recognition作者&#xff1a;Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian SunImageNet Top5错误率&#xff1a; 3.57%主要思想主要体现在 Residual(残差)&#xff0c;从名字就可以看出&#xff0c;不学绝对值&#x…

html5内容切换特效,html5+jQuery图片和文字内容同时左右切换特效

html5jQuery图片和文字内容同时左右切换特效&#xff0c;点击图片或者点击左右按钮进行切换&#xff0c;图片转动以及文字内容动画效果切换。查看演示下载资源&#xff1a;22次 下载资源下载积分&#xff1a;20积分js代码 (function(){var bannerIndex 0;var $bannerBgs $(.j…

asp向不同的用户发送信息_【asp.net core 系列】 1 带你了解一下asp.net core

0. 前言 这是一个新的系列&#xff0c;名字是《http://ASP.NET Core 入门到实战》。这个系列主讲http://ASP.NET Core MVC&#xff0c;辅助一些前端的基础知识&#xff08;能用来实现我们需要的即可&#xff0c;并非主讲&#xff09;。同时这个系列也会在后续介绍http://ASP.NE…