Python实战：使用DrissionPage库爬取高考网大学信息

上一篇文章，我刚入门 DrissionPage 爬虫库，使用这个库爬取了拉钩网关于 Python 的职位信息。

今天再使用 DrissionPage 爬虫库练习一个案例，爬取高考网大学信息。

本次爬取到2885个大学信息，包含大学名称、所在省、市、大学标签信息。

截图如下：

一、页面分析

目标网页是https://www.gaokao.cn/school/search

获取学校名称、所在省市、学婊标签信息。

二、分析思路

使用 DrissionPage 库打开目标网页

使用元素定位方法，定位到包含学校信息的 div

在 div 内继续定位学校名称、所在省市、标签这个信息

将信息存储到列表

翻页，到下一页重复爬取信息

翻完所有页，使用 pandas 将存有所有信息的列表转为 datafram

使用 pandas 将 datafram 保存为 csv 文件或者 excel 文件，或者写入数据库

三、开始写代码

1、打开网页

from DrissionPage import ChromiumPage
page = ChromiumPage()
page.get('https://www.gaokao.cn/school/search')

2、定位信息

# 定位包含学校信息的div
divs = page.eles('tag:div@class=school-search_schoolItem__3q7R2')
# 提取学校信息
for div in divs:# 提取学校名称school = div.ele('.school-search_schoolName__1L7pc')school_name = school.ele('tag:em')# 提取学校城市city = div.ele('.school-search_cityName__3LsWN')if len(city.texts()) == 2:city_level1 = city.texts()[0]city_level2 = city.texts()[1]elif len(city.texts()) == 1:city_level1 = city.texts()[0]city_level2 = ""else:city_level1 = ""city_level2 = ""# 提取学校标签tags = div.ele('.school-search_tags__ZPsHs')spans = tags.eles('tag:span')spans_list = []for span in spans:spans_list.append(span.text)

3、存储信息

# contents列表用来存放所有爬取到的大学信息
contents = []
# 信息存到contents列表
contents.append([school_name.text, city_level1, city_level2, spans_list])
# print(school_name.text, city_level1, city_level2, spans_list)

4、翻页

# 定位下一页，点击下一页
try:next_page = page.ele('. ant-pagination-next')next_page.click()
except:pass

5、滑动页面到底部

# 页面滚动到底部，方便查看爬到第几页
time.sleep(2)
page.scroll.to_bottom()

6、反爬措施

在编写爬虫代码时，要考虑反爬措施。不然就会遇到下面这种情况，服务器直接不给你返回数据了。

我设置的是每爬 1 次都暂停几秒，每爬 50 次暂停 1 分钟。

for i in tqdm(range(1, 146)):# 每爬50页暂停1分钟if i % 50 == 0:get_info()print("暂停1分钟")time.sleep(60)else:get_info()

7、保存数据到csv文件

import pandas as pd
def save_to_csv(data):# 保存到csv文件name = ['school_name', 'city_level1', 'city_level2', 'tags']df = pd.DataFrame(columns=name, data=data)df.to_csv(f"高考网大学信息{len(data)}条.csv", index=False)print("保存完成")

8、使用tqdm库显示进度

from tqdm import tqdm
for i in tqdm(range(1, 146)):# 每爬50页暂停1分钟if i % 50 == 0:get_info()print("暂停1分钟")time.sleep(60)else:get_info()

四、完整代码

通过定义函数，优化代码，整合成一个完整的代码。完整代码如下：

from DrissionPage import ChromiumPage
import pandas as pd
from tqdm import tqdm
import timedef get_info():global i# 页面滚动到底部，方便查看爬到第几页time.sleep(2)page.scroll.to_bottom()# 定位包含学校信息的divdivs = page.eles('tag:div@class=school-search_schoolItem__3q7R2')# 提取学校信息for div in divs:# 提取学校名称school = div.ele('.school-search_schoolName__1L7pc')school_name = school.ele('tag:em')# 提取学校城市city = div.ele('.school-search_cityName__3LsWN')if len(city.texts()) == 2:city_level1 = city.texts()[0]city_level2 = city.texts()[1]elif len(city.texts()) == 1:city_level1 = city.texts()[0]city_level2 = ""else:city_level1 = ""city_level2 = ""# 提取学校标签tags = div.ele('.school-search_tags__ZPsHs')spans = tags.eles('tag:span')spans_list = []for span in spans:spans_list.append(span.text)# 信息存到contents列表contents.append([school_name.text, city_level1, city_level2, spans_list])# print(school_name.text, city.text, spans_list)print("爬取第", i, "页，总计获取到", len(contents), "条大学信息")time.sleep(2)# 定位下一页，点击下一页try:next_page = page.ele('. ant-pagination-next')next_page.click()except:passdef craw():global ifor i in tqdm(range(1, 146)):# 每爬50页暂停1分钟if i % 50 == 0:get_info()print("暂停1分钟")time.sleep(60)else:get_info()def save_to_csv(data):# 保存到csv文件name = ['school_name', 'city_level1', 'city_level2', 'tags']df = pd.DataFrame(columns=name, data=data)df.to_csv(f"高考网大学信息{len(data)}条.csv", index=False)print("保存完成")if __name__ == '__main__':# contents列表用来存放所有爬取到的大学信息contents = []page = ChromiumPage()page.get('https://www.gaokao.cn/school/search')# 声明全局变量ii = 0craw()save_to_csv(contents)