python爬虫进阶教程之如何正确的使用cookie

文章目录

前言
一、获取cookie
二、程序实现
三、动态获取cookie
四、其他
- - 关于Python爬虫技术储备
  - - 一、Python所有方向的学习路线
    - 二、Python基础学习视频
    - 三、精品Python学习书籍
    - 四、Python工具包+项目源码合集
    - ①Python工具包
    - ②Python实战案例
    - ③Python小游戏源码
    - 五、面试资料
    - 六、Python兼职渠道

前言

很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。

这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。使用的工具是FireFox浏览器、FireBug和Python。
在这里插入图片描述

一、获取cookie

打开FireFox浏览器，登录QQ空间，启动FireBug，选择FireBug中的Cookies页签，点击页签中的cookies按钮菜单，选择“导出本站点的cookie”即可完成cookie的导出。

导出cookie会以一个名为cookies.txt文本文件形式存在。

二、程序实现

然后我们会使用获取的cookie新建一个opener来替换之前请求时使用的默认的opener。将获取的cookies拷贝到程序目录下，编写脚本如下：

#!python
# encoding: utf-8
from http.cookiejar import MozillaCookieJar
from urllib.request import Request, build\_opener, HTTPCookieProcessorDEFAULT\_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
DEFAULT\_TIMEOUT = 360def grab(url):cookie = MozillaCookieJar()cookie.load('cookies.txt', ignore\_discard=True, ignore\_expires=True)req = Request(url, headers=DEFAULT\_HEADERS)opener = build\_opener(HTTPCookieProcessor(cookie))response = opener.open(req, timeout=DEFAULT\_TIMEOUT)print(response.read().decode('utf8'))if \_\_name\_\_ == '\_\_main\_\_':grab(<a href="http://user.qzone.qq.com/QQ号/myhome/friends" rel="external nofollow" >http://user.qzone.qq.com/QQ号/myhome/friends</a>)

因为我们使用的是FireFox浏览器导出的cookie文件，所以这里使用的cookieJar是MozillaCookieJar。

执行脚本…然而报错了：

Traceback (most recent call last):File "D:/pythonDevelop/spider/use\_cookie.py", line 17, in <module>start()File "D:/pythonDevelop/spider/use\_cookie.py", line 9, in startcookie.load('cookies.txt', ignore\_discard=True, ignore\_expires=True)File "D:\\Program Files\\python\\python35\\lib\\http\\cookiejar.py", line 1781, in loadself.\_really\_load(f, filename, ignore\_discard, ignore\_expires)File "D:\\Program Files\\python\\python35\\lib\\http\\cookiejar.py", line 2004, in \_really\_loadfilename)
http.cookiejar.LoadError: 'cookies.txt' does not look like a Netscape format cookies file

问题出在cookies文件上，说是不像一个Netscape格式的cookie文件。不过也好解决，只需要在cookies文件开始一行添加如下内容即可：

\# Netscape HTTP Cookie File

通过这行内容提示python cookie解析器这是一个FireFox浏览器适用的cookie。

再次执行，还是会报错，因为比较长我就只贴关键的部分出来：

http.cookiejar.LoadError: invalid Netscape format cookies file 'cookies.txt': '.qzone.qq.com\\tTRUE\\t/\\tFALSE\\tblabla\\tdynamic'

意思是cookie中某些行存在格式错误。具体错在哪儿，需要先了解下FireFox浏览器的cookie格式。MozillaCookieJar认为每行cookie需要包含以下信息，每条信息以制表符分隔：

名称	domain	domain_specified	path	secure	expires	name	value
类型	字符串	布尔型	字符串	布尔型	长整型	字符串	字符串
说明	域名	—	适用路径	是否使用安全协议	过期时间	名称	值

其中domain_specified是什么意思我不很清楚，以后弄明白了再补上。再来看看我们获取的cookie的部分行：

user.qzone.qq.com	FALSE	/	FALSE	814849905\_todaycount	0
user.qzone.qq.com	FALSE	/	FALSE	814849905\_totalcount	0
.qzone.qq.com	TRUE	/	FALSE	1473955201	Loading	Yes
.qzone.qq.com	TRUE	/	FALSE	1789265237	QZ\_FE\_WEBP\_SUPPORT	0

前两行格式是错误的，后两行格式是正确的。前两行缺少“expires”属性。该怎么办呢——补上就好了呗。在其他的cookie中随意选一个时间补上就OK了。

补全cookie后，再次执行是正常的，没有报错。但是没有如预期的打印出好友信息，因为网址错了。使用firebug可以找出正确的网址：

https://h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend\_ship\_manager.cgi?uin=QQ号&do=1&rd=0.44948123599838985&fupdate=1&clean=0&g\_tk=515169388

这样就抓取到好友列表了。好友列表是一个json字符串。

至于如何解析json，会在下一节进行说明。

三、动态获取cookie

cookie是有过期时间的。如果想长时间抓取网页，就需要每隔一段时间就更新一次cookie。如果都是从FireFox浏览器来手动获取显得有些笨了。从浏览器获取的cookie只是作为一个入口，之后再进行请求还是要依靠python主动获取cookie。下面是一段获取cookie的程序：

#!python
# encoding: utf-8
from http.cookiejar import CookieJar
from urllib.request import Request, HTTPCookieProcessor, build\_openerDEFAULT\_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
DEFAULT\_TIMEOUT = 360def get(url):cookie = CookieJar()handler = HTTPCookieProcessor(cookie)opener = build\_opener(handler)req = Request(url, headers=DEFAULT\_HEADERS)response = opener.open(req, timeout=DEFAULT\_TIMEOUT)for item in cookie:print(item.name + " = " + item.value)response.close()

在示例程序中演示了如何获取cookie，并打印了cookie的name和value两项属性。通过实例可以看到每次执行http请求都会重新获取cookie，因此可以将我们的程序调整一下：执行第一次请求时使用我们通过浏览器获取的cookie，之后的每次请求都可以使用上次请求时获取的cookie。调整后的程序：

#!python
# encoding: utf-8
from http.cookiejar import MozillaCookieJar, CookieJar
from urllib.request import Request, build\_opener, HTTPCookieProcessor, urlopenDEFAULT\_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
DEFAULT\_TIMEOUT = 360def gen\_login\_cookie():cookie = MozillaCookieJar()cookie.load('cookies.txt', ignore\_discard=True, ignore\_expires=True)return cookiedef grab(cookie, url):req = Request(url, headers=DEFAULT\_HEADERS)opener = build\_opener(HTTPCookieProcessor(cookie))response = opener.open(req, timeout=DEFAULT\_TIMEOUT)print(response.read().decode("utf8"))response.close()def start(url1, url2):cookie = gen\_login\_cookie()grab(cookie, url1)grab(cookie, url2)if \_\_name\_\_ == '\_\_main\_\_':u1 = "https://user.qzone.qq.com/QQ号/myhome/friends"u2 = "https://h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend\_ship\_manager.cgi?uin=QQ号&do=2&rd=0.44948123599838985&fupdate=1&clean=0&g\_tk=515169388"start(u1, u2)

就这样。