数据信息采集

洛哥爬虫【视频】 爱写爬虫

我爱扣脚

https://careers.pinduoduo.com/jobs#/

from DrissionPage import ChromiumPage, ChromiumOptions
def fetch_pinduoduo_jobs():# 创建ChromiumOptions对象co = ChromiumOptions()# 提供浏览器可执行文件的路径path = r'C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe'co.set_browser_path(path)# 创建ChromiumPage对象page = ChromiumPage(co)# 开始监听api_endpoint = '/api/recruit/position/list'page.listen.start(api_endpoint)# 访问目标页面page.get('https://careers.pinduoduo.com/jobs#/')# 等待并获取一个数据包res = page.listen.wait()if res:print(res._raw_body)for pagenum in range(2, 79):# 点击下一页按钮pagenumstr = f"x://a[text()='{pagenum}']"next_page_button = page.ele(pagenumstr)page.listen.start(api_endpoint)if next_page_button:next_page_button.click()# 重新监听并获取数据包res = page.listen.wait()if res:print(res._raw_body)page.wait(5)# 关闭浏览器page.close()
if __name__ == '__main__':fetch_pinduoduo_jobs()