python3 爬虫例子_如何让你写的爬虫速度像坐火箭一样快【并发请求】

开坑个新系列，主要面向新手，老司机可以忽略。
这个系列内的文章将会让你知道如何做到让你写的爬虫在运行的时候速度能像火箭一样快！
很多初学爬虫的朋友对于这方面的知识似乎是空白的，甚至还有一些在爬虫岗位上工作了一两年的人也搞不清楚在不使用爬虫框架的情况下，如何写出一个速度足够快的爬虫，而网上的文章大多是基于多进程/Gevent来写的，代码看起来就极其复杂，甚至有些人抄来抄去连多进程和多线程没搞清楚，如果是一个想学习这方面知识的人看到了这样的文章，多半会一脸懵逼。
综上所述，为了让关注我公众号的新手朋友们能快速掌握这些技巧，这个系列就这样诞生了~

话不多说，我们正式开始。在提升爬虫的速度这方面，最基础、最有效、最直接的操作是什么呢？没错，就是并发请求，如果你的爬虫整个逻辑是顺序执行的，请求的时候永远不会并发，那么你就会遇到像他这样的情况：《小白写了个壁纸的爬虫，能跑起来，但是感觉很慢，不知道怎么回事，请大佬指点》。

上面这是我昨天刷V2的时候看到的一个帖子，楼主的代码内容简单概括一下就完全是顺序执行的，每下载一个图片都需要等待当前这个图片下载完了才能继续下载下一个，这样子做当然会非常慢了！这篇文章就拿他的代码作为样例，在原来的基础上进行一些调整，从而让他写的这个爬虫的运行速度能从龟爬变成像坐火箭一样快！

首先，我们需要知道什么是并发，这里的并发指的是“并行发送请求”，意思就是一次性发出多个请求，从而达到节省时间的效果！那么并发和不并发的区别在哪呢？简单来说就是这样子的：

把爬虫比喻成工人，在不并发的情况下，一个工人一次只能做一件事情，所以必须要下载完一个图片才能继续下载下一个。

而在并发的情况下，就有很多个工人一起在干活，每个工人都被分配了一件事情做，所以可以同时下载多个图片，速度自然就快了很多。

当然，上面说的这个例子只是从一个宏观的角度上来看并发，实际在做的时候要让你的爬虫能并发请求的方式是分为多线程、多进程、协程三种的，并不是每一种方式在运行时的效果都像上面说的这样，这里先不做深入探讨，因为这不是本文的重点。我们现在只需要知道，只要能让爬虫并发请求，就能同时下载多个图片，让速度快得飞起，这样就够了。

那么我们要用上面说的三种方式里的哪一种来实现并发请求呢？这还用问吗？当然是选择代码最简单、改动最小，并且最容易看懂的协程啊！在Python3.4之后Python就引入了一个叫做asyncio的库，原生支持了异步IO，而在3.5之后Python又支持了async和await这两个语法，使得写异步代码可以像写同步代码一样简单易读。

刚刚又提到了两个词，同步和异步，这两个词的含义其实就跟上面的并发差不多，同步代码就是顺序执行的，而异步则不是，这里同样不做深入探讨，先知道有这么个东西就行了。

看到这里肯定会有人开始有疑问了，虽然前面说我们要用协程来实现并发请求，但是后面说的却是什么Python支持原生异步，那么这个异步跟协程的关系又是什么呢？

其实很简单，协程可以让你写异步代码的时候能像写同步代码一样简单，在Python3中写协程代码的核心语法就是async和await这两个，举个简单的例子吧：

def func():print(1)time.sleep(10)print(2)

这是一段普通的函数，它属于同步代码，里面的time.sleep是普通函数，也属于同步代码。

async def func():  # 调用协程函数的那个函数也需要是一个协程函数print(1)await asyncio.sleep(10)  # 调用协程函数的时候要在前面加awaitprint(2)

而这是一个协程函数，它属于异步代码，里面的asyncio.sleep是协程函数，也属于异步代码。

它们的区别显而易见，用协程来写异步代码，除了需要换成异步的库以外，就只是多了个async、await而已，是不是非常简单？

那么我们在了解了怎么写协程代码之后，就能开始优化那段慢成龟速的代码了吗？答案是否定的，那段代码中使用了requests库进行网络请求，而requests是一个同步库，不能在异步环境下使用；同样，文件操作用的open和file.write也是同步的，也不能在异步环境下使用。

所以在开始之前我们还需要了解两个库，分别是aiohttp和aiofiles，aiohttp是一个异步网络请求库，而aiofiles是一个异步文件操作库。（aiofiles是基于线程池实现的，并不是真正的原生异步，但问题不大，不影响使用）

切记，异步代码不能与同步代码混用，否则如果同步代码耗时过长，异步代码就会被阻塞，失去异步的效果。而网络请求和文件操作是整个流程中最耗时的部分，所以我们必须使用异步的库来进行操作！否则就白搞了！

好了，先来看看aiohttp的用法吧，官方文档上的示例大致如下：

async with aiohttp.ClientSession() as session:async with session.get(url) as resp:result = await resp.text()

是不是觉得很麻烦，不像requests库那么方便？还觉得两层async with很丑？有没有办法让它像requests库一样方便呢？

答案是有的，有一个叫作aiohttp-requests的库，它能让上面的这段代码变成这样：

resp = await requests.get(url)
result = await resp.text()

清爽多了对吧？我们等下就用它了！记得装这个库的前提是要先装aiohttp哦！

然后我们来看看aiofiles的用法，官方文档上的示例如下：

async with aiofiles.open('filename', mode='r') as f:contents = await f.read()
print(contents)

嗯，这个用起来就和用同步代码操作文件差不多了，没啥可挑剔的，直接用就完事了。

提示：aiohttp-requests默认是创建并使用了session的，对于一些需要不保留Cookie进行请求的场景需要自己实例化一个Requests类，并指定cookie_jar为aiohttp.DummyCookieJar。

了解完了要用的库之后我们就可以开始对贴子中的代码进行魔改了，如果你用的不是Python3.5以上版本的话需要先准备一下环境。除了版本号大于等于3.5的Python以外，你还需要安装以下几个库：

aiohttp（异步网络请求库）
aiohttp-requests（让aiohttp用起来更方便的库）
aiofiles（异步文件操作库）
pillow（其实就是PIL库，代码中的图片操作有用到）

执行一下pip install aiohttp aiohttp-requests aiofiles pillow一次性装完，如果存在多个不同版本的Python环境记得区分好。

然后我们打开编辑器，开始改代码，首先调整一下导包的部分，将里面的requests替换成aiohttp-requests，像这样：

然后搜索一下requests，看看哪些地方用到了它。

接着把所有搜到的部分都给改成异步请求的。

同时不要忘了将所有调用过requests.get的函数都变成协程函数。

然后我们把文件操作的部分也换成异步的，使用aiofiles.open代替open。

最主要的部分都换好了，接着我们将原先在if __name__ == '__main__':下的代码移到一个新写的协程函数run中，并且将调用前面协程函数的部分都加上await。

再导入一下asyncio库，然后在if __name__ == '__main__':下写出这样的代码：

上面这个是Python3.7之后才能用的写法，低于Python3.7要这样写：

现在我们就可以运行一下看看修改后的代码能不能跑通了。

这里报了个错，从错误堆栈中可以看出问题是出在response = await requests.get(url=url, headers=headers)这里的，原因是self.session._request方法没有key为url的参数。这个问题很好解决，只需要将url=url变成url就好了（本来也就没必要这么指定参数写）。将代码中所有用到requests.get并且存在url=url这种写法的都做一下调整：