1 目标

目标：
抓取今日头条美食美图，如下：

一些网页直接请求得到的HTML代码并没有在网页中看到的内容，因为一些信息是通过Ajax加载，并通过js渲染生成的，这时就需要通过分析网页的请求来获取想要爬取的内容。

直接请求得到的HTML代码并没有在网页中看到的内容：

右击空白处->审查->Network->勾选Preserve log->刷新网页：
点击XHR，再选中一个URL，查看请求的方法，发现是用get方法，所以使用requests库。

向下更新的过程中，作出url不断更新：

分析查找图集详细页的代码，来找到图片的url，这个图片url隐藏的比较深，都在JS代码中:

变量并不是在html代码里的，所以不能使用BeautifulSoup和PyQuery来解析了，只能通过正则表达式来解析。

2 流程框架

1. 抓取索引页内容：利用requests请求目标战点，得到索引页面HTML代码，返回结果。
2. 抓取详情页内容：解析返回结果，得到详情页的链接，并进一步抓取详情页的信息。
3. 下载图片与保存数据库：将图片下载到本地，并把页面信息及图片URL保存至MongoDB。
4. 开启循环及多线程：对多页内容遍历，开启多线程提取抓取速度。

3 实战

1 抓取索引页内容

看一下索引页的请求方式：

街拍界面更新了方式，了解了Ajax就行，后面写法同上一章相似，暂时不仔细研究。
旧版形式的详情。

4 整体代码

import  requests
from urllib.parse import urlencode
from requests.exceptions import RequestException
import json
from bs4 import BeautifulSoup
import re
from config import *
import  pymongo
import os
from hashlib import md5
from multiprocessing import Pool
from json.decoder import JSONDecodeError
from pathlib import Pathheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}
#声明mongodb数据库对象
client = pymongo.MongoClient(MONGO_URL,connect=False)
db = client[MONGO_DB]#请求索引页（索引页中包含着许多图集的url）
def get_page_index(offset,keyword):data = {#定义一个data字典，用于Ajax请求'offset': offset,'format': 'json','keyword': keyword,'autoload': 'true','count': '20','cur_tab': '3','from': 'gallery'}url='http://www.toutiao.com/search_content/?'+urlencode(data)try:response = requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:print('请求索引页出错')return None#传入索引页的html，解析出每个图集的url
def parse_page_index(html):try:#加入异常处理data = json.loads(html)#对html进行解析，转换为字典。if data and 'data' in data.keys():#data.keys()返回的是这个json的所有的键名，这里判断'data'在这些键名中for item in data.get('data'):#data对应还有许多值，遍历这些值yield item.get('article_url')#构造一个生成器，取出data中的每一个article_url对应的urlexcept JSONDecodeError:pass#请求每个图集的详情页
def get_page_detail(url):try:response = requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Noneexcept RequestException:print('请求详情页出错',url)return None#解析详情页，获取图集中每张图片的url
def parse_page_detail(html,url):soup = BeautifulSoup(html, 'lxml')# 用BeautifulSoup来提取title信息title = soup.select('title')[0].get_text()print(title)#下面提取json串，串中包含了图片信息images_pattern = re.compile('JSON.parse\("(.*?)"\),', re.S)#注意对括号进行转义result=re.search(images_pattern,html)if result:result = result.group(1).replace('\\', '')data = json.loads(result)#转换成json对象if data and 'sub_images' in data.keys():sub_images = data.get('sub_images')#每个sub_images都是一个字典，需要遍历它来提取url元素# 用一句话来构造一个list，把item赋值为sub_images的每一个子元素# 再取得sub_images的每一个item对象的url属性，完成列表的构建，这个列表名为images，里面是sub_images下所有的urlimages = [item.get('url') for item in sub_images]root_dir=create_dir('E:\spider\jiepai')download_dir = create_dir(root_dir/title)for image in images: download_image(download_dir,image)#通过循环把图片下载下来return {#以一个字典形式返回'title':title,'url':url,#这是当前详情页的url'images':images}#把url存储到数据库
def save_to_mongo(result):if db[MONGO_TABLE].insert(result):print('存储到MongoDB成功',result)return  Truereturn False#通过url来请求图片
def download_image(save_dir,url):print('正在下载',url)try:response = requests.get(url,headers=headers)if response.status_code == 200:save_image(save_dir,response.content)#content返回的是二进制内容，一般处理图片都用二进制流return response.textreturn Noneexcept RequestException:print('请求图片出错',url)return Nonedef create_dir(name):#根据传入的目录名创建一个目录，这里用到了 python3.4 引入的 pathlib 。directory = Path(name)if not directory.exists():directory.mkdir()return directorydef save_image(save_dir,content):file_path = '{0}/{1}.{2}'.format(save_dir,md5(content).hexdigest(),'jpg')if not os.path.exists(file_path):#如果文件不存在with open(file_path,'wb') as f :f.write(content)f.close()def main(offset):html=get_page_index(offset, KEYWORD)for url in parse_page_index(html):#获得每个图集的urlhtml=get_page_detail(url)#用某个图集的url来请求详情页if html:result=parse_page_detail(html,url)#解析详情页的信息if result:save_to_mongo(result)if __name__ == '__main__':groups = [x*20 for x in range(GROUP_START,GROUP_END+1)]#20,40,60...pool=Pool()pool.map(main,groups)