【小程序爬虫入门实战】使用Python爬取易题库

文章目录

1. 写在前面
2. 抓包分析

【🏠作者主页】：吴秋霖
【💼作者介绍】：擅长爬虫与JS加密逆向分析！Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作！
【🌟作者推荐】：对爬虫领域以及JS逆向分析感兴趣的朋友可以关注《爬虫JS逆向实战》《深耕爬虫领域》
未来作者会持续更新所用到、学到、看到的技术知识！包括但不限于：各类验证码突防、爬虫APP与JS逆向分析、RPA自动化、分布式爬虫、Python领域等相关文章

作者声明：文章仅供学习交流与参考！严禁用于任何商业与非法用途！否则由此产生的一切后果均与作者无关！如有侵权，请联系作者本人进行删除！

1. 写在前面

目前爬虫的领域是非常卷的！经常有很多小伙伴咨询如何学习、或者其他语言的开发者也想要研究学习。多终端采集的需求及要求在很多企业中都会涵盖。本期，用一个之前写的案例来说一下小程序爬虫的基础！小程序端接口如果没有加密的话。是非常简单的！考验的无非就是请求路径的规划，工程化爬虫程序的开发。以及抓包去分析一下需要爬取的数据接口，最后抓取解析持久化。今天，带来一个简单的小程序爬虫，没有任何加密与反爬虫措施，新手小白可以学习一下

当然，爬虫更多的可能不会是一次性采集，大多业务数据的需求都会有增量、更新等此类需求。这个就需要一些经验与技术栈的积累去构建一个7*24持续采集、实时监控、去重增量的爬虫项目

2. 抓包分析

首先，我们打开PC端微信中的小程序，然后搜索一下需要爬取的小程序。这里抓包工具的话大家自行选择即可，我这里使用的是Charles，配置的话很简单，网上的教程很多，大家自行搜索配置即可！

在这里插入图片描述

这个小程序的话接口是没有加密参数的，板块比较多我们就尝试抓取考点练习这个类目下的所有数据，点击这个板块可以看到会出现更多的章节，这个也我们可以理解为网站的列表页（如新闻类网站），直接抓包分析一下，如下所示：

在这里插入图片描述

如上抓包图，作者分别标记出了1～4的步骤流程，代表的意思就是想要抓取到完整的题目数据，那么就需要请求上面标记的4个接口，分别如下：

一级列表栏目
二级列表栏目
考题概览页面
考题解析页面

好的，现在我们先看第一个接口（一级栏目），接口路径study/getUnitlist，需要获取获取这个接口响应JSON数据中的unitid、knowPointList字段，用以请求二级栏目，你可以理解为这是一个唯一的ID，接口抓包数据跟请求参数提交分别如下所示：

data = {"sessionid": self.sessionid, # 小程序的Session、自行获取（固值）"uid": self.uid, # 同样固定的、抓包请求头内获取"courseid": "1543","type": "1"
}

在这里插入图片描述

拿到unitid、knowPointList字段后，我们开始构建下一次的请求，拿到题目的访问页面参数，请求接口路径study/getLastPaper，这个接口我们需要获取paperid字段来请求具体的试题，接口抓包数据跟请求参数提交分别如下所示：

data = {"sessionid": self.sessionid, # 小程序的Session、自行获取（固值）"uid": self.uid, # 同样固定的、抓包请求头内获取"courseid": "1543","type": "17","unitid": unitid, # 上面拿到的"market": "weixinapp_xxzx","kpid": kpid # 代表板块ID、每一个都是固定的
}

在这里插入图片描述

拿到paperid之后我们就可以拿到试题的具体内容了。这个接口的请求路径study/loadrecordpaper，我们只需拿list内的qid用来查看请求最终的试题解析内容，接口抓包数据跟请求参数分别如下所示：

data = {"sessionid": self.sessionid,"uid": self.uid,"paperid": paperid, # 上级接口拿的"courseid": "1543","unitid": unitid, # 一级接口拿到的、记得传递过来"type": "31","market": "weixinapp_xxzx","from": "weixinapp"
}

在这里插入图片描述

在上面我们拿到了试题的qid，就可以直接去请求题型解析接口，接口请求路径question/loadQuestion，从这个接口去获取完整的一个数据，它是包含题目、以及答案解析的，接口抓包数据跟请求参数分别如下所示：

data = {"sessionid": self.sessionid,"uid": self.uid,"courseid": "1543","unitid": unitid, # 一级接口内、记得传递"qid": qid, # 上级接口"paperid": paperid, # 二级接口内、记得传递"type": "17","market": "weixinapp_xxzx","videosource": ""
}

在这里插入图片描述

其实这个小程序的整个流程接口是比较多的，从列表进去到最终获取到题与解析答案需要多级接口去请求，在请求的过程中还需要携带之前接口响应数据中的某些字段。难度其实是没有的，就是需要在做的时候抓包分析后把接口、响应、请求拿下来捋一下！这样的话就清晰了，最终作者也是放上完整的爬虫请求代码，大家替换一下session跟uid就可以直接运行程序，完整代码如下所示：

# -*- coding: utf-8 -*-import time
import requests
from loguru import loggerclass YtkSpider(object):def __init__(self):self.headers = {"Host": "ytkapi.cnbkw.com","Accept": "*/*","User-Agent": "", #自行获取"Referer": "", #自行获取"Accept-Language": "zh-CN,zh-Hans;q=0.9"}self.sessionid = '' #自行获取self.uid = '' #自行获取self.count = 0def get_loadQuestion(self, qid, paperid, unitid, status=None):url = "https://ytkapi.cnbkw.com/question/loadQuestion"data = {"sessionid": self.sessionid,"uid": self.uid,"courseid": "1543","unitid": unitid,"qid": qid,"paperid": paperid,"type": "17","market": "weixinapp_xxzx","videosource": ""}response = requests.post(url, headers=self.headers, data=data).json()print(response)=    def loadrecordpaper(self, paperid, unitid):url = "https://ytkapi.cnbkw.com/study/loadrecordpaper"data = {"sessionid": self.sessionid,"uid": self.uid,"paperid": paperid,"courseid": "1543","unitid": unitid,"type": "31","market": "weixinapp_xxzx","from": "weixinapp"}response = requests.post(url, headers=self.headers, data=data).json()data_list = response.get('list', [])if data_list:for data in data_list:qid = data.get('qid', '')logger.info(f'获取题ID: {qid}')self.get_loadQuestion(qid, paperid, unitid, status=True) # 考点练习列表def getUnitlist(self):url = "https://ytkapi.cnbkw.com/study/getUnitlist"data = {"sessionid": self.sessionid,"uid": self.uid,"courseid": "1543","type": "1"}response = requests.post(url, headers=self.headers, data=data).json()unitlist = response.get('unitlist', [])for data in  unitlist:knowPointList = data.get('knowPointList', [])unitid = data.get('unitid', [])for kpid in knowPointList:knowPointId = kpid.get('knowPointId')self.getLastPaper(knowPointId, unitid)# 考点练习题            def getLastPaper(self, kpid, unitid):url = "https://ytkapi.cnbkw.com/study/getLastPaper"data = {"sessionid": self.sessionid,"uid": self.uid,"courseid": "1543","type": "17","unitid": unitid,"market": "weixinapp_xxzx","kpid": kpid}response = requests.post(url, headers=self.headers, data=data).json()paperid = response.get('paperid', '')if paperid:self.loadrecordpaper(paperid, unitid)else:logger.error(f'请导入题库: {response}')if __name__ == '__main__':obj = YtkSpider()obj.getUnitlist()