案例一：使用DrissionPage抓取BOSS上的招聘信息

使用requests获取BOSS网站上的内容是非常困难的，但是通过网页自动化工具DrissionPage或者是Playwright或者是Seleenium是非常容易的，接下来我们就给出使用DrissionPage爬取BOSS网站python招聘的信息，仅供学习参考。

import time
from DrissionPage import Chromium
import pandas as pdpage = Chromium().latest_tab # 打开一个标签页，并让该标签页访问BOSS直聘
page.listen.start('https://www.zhipin.com/wapi/zpgeek/search/joblist.json') # 监听对应的能够返回数据的Ajax请求（监听可以放在访问页面之前也可以放在访问页面之后）
page.get('https://www.zhipin.com/yantai/?ka=header-home') # 访问BOSS直聘page.ele('xpath=//p[@class="ipt-wrap"]/input').input('python')
page.ele('xpath=//button[@class="btn btn-search"]').click()res = page.listen.wait() # 获取监听到的Ajax请求的响应
print('res:::',res.response.body)
joblist = res.response.body['zpData']['jobList']for i in range(10):next_btn = page.ele("xpath=//div[@class='options-pages']/a/i[@class='ui-icon-arrow-right']")next_btn_a = next_btn.parent().attr('class') # 取出next_btn标签父标签的class属性if 'disabled' not in next_btn_a:next_btn.click()time.sleep(2)print('爬虫中---')res = page.listen.wait()joblist += res.response.body['zpData']['jobList']else:print('爬虫结束')# 数据保存
df = pd.DataFrame(joblist)
df.to_excel('boss直聘.xlsx', index=False)page.close()

 在上述的程序中，我们使用DrissionPage种自带的监听技术获取Ajax相应数据。分析BOSS网站返回的数据，发现他是Ajax请求，当让页不可以使用监听技术，直接等待页面加载完毕之后定位元素所在的位置即可。

程序运行过程中可能会出现卡在某一个页面不动了，需要我们手动点击下一页（人工接管一下再程序接管）才可以正常运行。

案例二：使用DrissionPage破解瑞数

使用requests破解瑞数是非常困难的，我们接下来仍然使用DrissionPage获取相应的数据，本代码仅供大家参考学习。

from DrissionPage import Chromium,ChromiumOptions
import time,random# 定义一个方法用于获取某个网页的内容
def get_url_content(page): # 传入的对象是一个页面对象li_s = page.eles('xpath=//div[@class="pd0-20"]/ul/li')for li in li_s:title = li.ele('xpath=./a[@class="dy_title"]').text  # 取出标题content = li.ele('xpath=.//p[@class="neirong"]').text  # 取出内容print(title)print(content)print('==========================================')options = ChromiumOptions()
options.auto_port()browser = Chromium(options)
page = browser.latest_tabpage.get(url='https://sugh.szu.edu.cn/Html/News/Columns/7/Index.html',retry=3,timeout=15,interval=3)
get_url_content(page) # 获取第一页的page内容next_btn = page.ele('xpath=//a[@class="pagination_nextpage ui-state-default ui-corner-all"]')# 翻页爬取
while next_btn.attr('href'):next_btn.click()time.sleep(random.randint(3, 5))  # 设置一个等待网页加载的时间print('正在爬取下一页-----------------------------------------------------------------------------------')get_url_content(page)  # 获取下一页的page内容next_btn = page.ele('xpath=//a[@class="pagination_nextpage ui-state-default ui-corner-all"]')
print('爬虫结束')page.close()'''
pagination_nextpage ui-state-default ui-corner-all
pagination_lastpage ui-state-default ui-corner-all
'''