批量爬取招聘网站【Boss直聘】上工作岗位的招聘信息

不管是学生还是工作的小伙伴，估计都对不同岗位工作几年的薪酬水平比较感兴趣。本文提供爬取招聘网站，获取某类工作招聘信息的实现逻辑和代码。具体的实施步骤是：明确爬取的招聘网站—确定爬取的工作城市—确定爬取的岗位—获取岗位的招聘子链接—获取岗位招聘信息。

本文以爬取Boss直聘在广州的风控建模岗为例，进行代码说明。如果需要爬别的城市其他工作岗位，直接把名称改一下即可。如有不熟悉爬虫的朋友，想了解某个工作岗位，可以在文后留言或私信我，在空余时间我可以帮忙实现一下。

文章目录

- 一、爬虫效果
- 二、导入库
- 三、登录Boss直聘网
- 四、完成工作城市切换
- 五、确定爬取的岗位
- 六、获取岗位的招聘子链接
- 七、获取不同子链接的岗位信息
- 八、封装成函数的全量代码

一、爬虫效果

先来看下本文代码实现效果，具体如下：

****************************************
招聘中
风控算法工程师（大模型，内容安全方向） 30-55K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金补充医疗保险定期体检全勤奖年终奖股票期权带薪年假员工旅游免费班车通讯补贴交通补助包吃节日福利住房补贴零食下午茶
====================
职位描述
微信扫码分享
举报
风控/安全策略经验
大模型
内容安全
岗位职责：
1、负责公司大模型内容安全、隐私安全等业务风险领域的治理方案和相关风控模型开发
2、针对不同的业务场景，选择合适的算法，进行训练和优化，推动算法落地并持续迭代
岗位要求：
1、本科以上学历，至少3年业务安全、内容安全等策略经验
2、有过隐私数据识别项目经验优先
3、对数据敏感，具有较强的逻辑思维和数据分析能力，掌握数据分析工具sql和excel等
4、熟悉数据科学、机器学习、社群挖掘的相关知识，有成功实践的算法项目
覃女士
3日内活跃
唯品会
·
招聘主管
****************************************
招聘中
风控算法工程师 25-50K·14薪
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
团建聚餐零食下午茶员工旅游带薪年假股票期权绩效奖金年终奖五险一金
====================
职位描述
微信扫码分享
举报
Python
岗位职责：
1、独立完成建模方案设计、模型开发及部署，运用各类算法开发包括营销响应、流失预警等营销模型及反欺诈规则、申请评分、额度模型、行为评分、催收评分等风险模型，并对现有模型进行优化完善；
2、配合商务进行客户需求沟通、方案讲解及咨询支持，对客户提出的业务痛点提供有效的解决方案及量化的决策建议；
3、充分了解客户业务端审批流程及风险表现，结合用户特征，制定或优化贷前、贷中及贷后风控策略；为客户提供用户分层筛选、差异化营销手段等策略建议；
4、根据客户需求，独立带领项目成员进行咨询项目的实施，包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报；
5、其他创新探索工作：深入挖掘用户行为序列数据，设计特征维度框架及指标体系结构，进行特征开发；探索如图算法等创新算法实践及应用，并进行充分工程验证后推广应用在已有业务中。
岗位要求：
1、本科及以上学历，数学、统计学、计算机等相关专业优先；6年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验；
2、至少能熟练使用Python/Spark/R其中一种分析及建模工具，数据挖掘及建模经验丰富，能够有效利用LR、XGBoost、LightGBM等机器学习算法以及神经网络等深度学习算法构建特征与模型；
3、对零售信贷市场、信贷产品形态有一定的认知度，对全生命周期风控管理流程有深刻的理解，并掌握各环节的风控要点及风控策略制定逻辑；
4、具备独立思考的能力，逻辑严谨，对数据敏感，善于发现. 探索并解决问题，自我驱动力强；
5、具备较强的抗压能力，踏实、勤奋、细心，愿意并乐于接受新尝试、新挑战，探索创新主动性强。
郭先生
3日内活跃
至久科技
·
运营总监
****************************************
招聘中
风控算法工程师 23-35K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
节日福利带薪年假股票期权年终奖定期体检五险一金
====================
职位描述
微信扫码分享
举报
Python
SQL
风控/安全策略经验
计算机相关专业
金融机构策略开发/建模经验
1、本科以上学历，计算机、统计学、人工智能等相关专业优先。
2、熟悉数据科学相关方法，可以将具体业务目标转化成技术目标、可以完成对实现项目增益目标所需要的数据分析挖掘、建模、A/B实验设置的整体方案设计，并可以为最终业务成效负责。
3、然悉多种主流算法：GBDT/ESMM/XGBO0T等，熟悉分布式计算框架，如Hadoop、Spark，至少掌握一种深度学习框架：TensorFlow。
4、有一定自动化建模、自学习等方面的相关经验，可以设计实现通过特征衍生自动挖掘关联表的有效特征信息，获取全面特征，有一定能力解决实际建模时：数据缺失、数据不平衡、小样本数据、特征抽取等相关瓶颈问题。
5、有财富领域/营销领域相关数据分析、建模领域实践项目经验优先
张女士
3日内活跃
同盾科技
·
HR
****************************************
招聘中
高级风控建模师 20-30K
广州 3-5年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金加班补助年终奖员工旅游通讯补贴交通补助节日福利零食下午茶团建聚餐带薪年假
====================
职位描述
微信扫码分享
举报
SQL
SAS
Java
消费金融行业
风控建模
风控模型
岗位职责
1、负责数据分析工作，挖掘数据价值，拟定各种业务主题的数据分析方案和流程；
2、根据业务目标，负责开发应用于贷前审批、贷中监控、贷后催收、反欺诈等业务的数学模型；
3、负责数据质量和模型性能监控体系搭建的相关工作；
深度挖掘用户数据，建立用户画像，设计风险评估模型，控制信贷风险。
任职要求:
1、本科及以上学历，3年以上相关行业工作经验，对风控有实际操作经验，理解风控策略和模型，熟悉策略分析的相关方法;
2、具有数据处理、分析或建模经验，具备消费金融行业从业经验者优先；
3、熟悉掌握SQL/SAS/R/Python/Java等至少一种数据分析工具或语言工具；
4、熟悉基础数据挖掘模型，如回归、决策树、SVM、神经网络等算法
5、文字能力及表达能力强，具备跨部门沟通能力，具备较强分析解决问题能力。
宾女士
刚刚活跃
智租
·
HR
****************************************
招聘中
3D原型建模 15-30K
广州 经验不限 学历不限
感兴趣 立即沟通
完善在线简历
新增附件简历
====================
职位描述
微信扫码分享
举报
动漫
游戏
3ds MAX
MAYA
不接受居家办公
机甲建模
优先条件：
1.美术绘画及设计专业优先、有本岗位3年以上工作经验优先。
2. 热爱机甲模玩，具备良好的团队精神和自我驱动力，高效的执行力；
3. 熟练使用Blender/ZBrush/3DsMax/等3D设计软件， 具备基础的3D全流程工作能力；
4. 具备良好的概念原画理解能力、造型能力以及高质量的机甲审美能力，能制作出符合项目要求的3D原型；
5. 会使用C4D卡通渲染的优先，擅长二次元动漫人型建模者优先 。
6. 面试简历中请附带几张作品。
加分项
有以下行业经验：游戏·玩具/礼品
任绿柳
刚刚活跃
东秀
·
人力资源部

为了篇幅不太长，影响阅读，以上只展示爬取的部分信息。其中和之间框起来的部分是同一个岗位的招聘信息。后续文章会用正则化处理，把以上内容处理成变量的形式，做一些统计分析展示，再分享给大家。

二、导入库

首先导入需要用到的库，具体如下：

import time
import random
from captcha import * 
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import wait
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from webdriver_manager.chrome import ChromeDriverManager
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC

如有未安装库的小伙伴，自行百度安装一下。

三、登录Boss直聘网

接着登录boss直聘网，代码如下：

browser = webdriver.Chrome(ChromeDriverManager().install())
#安装chrom
browser.maximize_window()
#最大化窗口
login_url = 'https://www.zhipin.com/chengshi/c101281000/?sid=sem_pz_bdpc_dasou_title'
#网址
browser.get(login_url)
#登录网址

登录后可看到如下页面：

在这里插入图片描述

如在爬虫过程中弹出来登录信息，可手动输入手机号获取验证码登录，不影响后续爬虫。

四、完成工作城市切换

接着通过xpath路径的方法完成城市切换，具体代码如下：

input_city_name =  '广州'
#输入查询城市
browser.find_element_by_xpath('//*[@id="header"]/div[1]/div[2]/p/span[2]').click()
time.sleep(5)
input_city_type = browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/input')
input_city_type.send_keys(Keys.CONTROL, 'a')
input_city_type.send_keys(input_city_name, Keys.ENTER)
browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/ul').click()
#完成城市切换

五、确定爬取的岗位

接着输入待爬取的岗位名称，具体代码如下：

input_job_name = '风控建模'
#输入查询岗位
input_job_type = browser.find_element_by_xpath('//*[@id="wrap"]/div[3]/div/div[1]/div[1]/form/div[2]/p/input')
input_job_type.send_keys(Keys.CONTROL, 'a')
input_job_type.send_keys(input_job_name, Keys.ENTER)
#time.sleep(5)

六、获取岗位的招聘子链接

接着写循环批量获取岗位的招聘子链接，具体代码如下：

all_herf = []
#获取对应图片下载地址
for i in range(1, 30+1):  try:  url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/ul/li[' +  str(i) + ']/div[1]/a'new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')all_herf.append(new_herf)  except:pass
print(len(all_herf))
browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/div/div/div/a[3]').click()
#点击第二页
time.sleep(5)
for j in range(2, 10+1):print('='*20)print(j)for i in range(1, 30+1): try:  url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/ul/li[' +  str(i) + ']/div[1]/a'new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')browser.implicitly_wait(10)print(new_herf)all_herf.append(new_herf)  except:print('error')passtry:browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/div/div/div/a[' + str(j+2) + ']').click()browser.implicitly_wait(10)#点击第i+2页time.sleep(5)except:pass

得到结果：

====================
2
https://www.zhipin.com/job_detail/862b2684454c16f31HB43d60GVVV.html?lid=2P6z2tRrD3q.search.31&securityId=sb823IMfa2aP6-N166iLkCZO9iDvJGeceV9E_VDzHqm1frLe5C0NABYiRghLnIisHw0XdWEC14Z5aUrr2UzBf8KGhRi0E2xwNIgyvoHmOS35CeoB5paLHn07nC6ou6Ki--n_30A34g~~&sessionId=
https://www.zhipin.com/job_detail/55529a9c8e3795df1Hd-3t65EltU.html?lid=2P6z2tRrD3q.search.32&securityId=eLJZLhIi0r4l0-Z1R95EnPCPd01nKr3xokUDpfX-bGPrF80Of-Ka9fvhIwGmLrSv65whzLSlsZl8Lo-RzV7swvugHkJXapUpkWUgElwqIVU9ghZlnF2g6UYZekQ62uuw9adRi-3S5u8~&sessionId=
https://www.zhipin.com/job_detail/d0777d8e2e566ac71HB_3tu6FFNW.html?lid=2P6z2tRrD3q.search.33&securityId=XPgyt1EsJAsHy-J1wN_m-RxCcvcFfVuRUKkOQF8n8H4RkxoJ8aloCKa38AqQaIlCM5QQkrtahVExlqgZy2mpO67FXaxpuqwRNv6gzk8eojQo4qR8VL_LHaWiua2bpbTQHkkK15d2jir_&sessionId=
https://www.zhipin.com/job_detail/b538f8e1fbfbff523ndz2tm_EFU~.html?lid=2P6z2tRrD3q.search.34&securityId=PBDTgHeQXUcnv-T1LHcMjpnB0NSZKcvqPCvU1msTHykXEeCEzuuUuoFNsxZrg_Jq-l2ldp5FsxlKDNzZUJYv7MeRZwRvUQ11xXWevUWBhnkuzPZx7X_Ex54Hi_Ofyo1h9yIw1XF4XSU~&sessionId=
https://www.zhipin.com/job_detail/f4736b6dc47274f61HB53N61GFBZ.html?lid=2P6z2tRrD3q.search.35&securityId=XCxrnpE8bB4t_-O1mj171JzRerXXF6m_xsIFhfWMl8ut1Q9j-igKVSJa55xtTrTFM8T0tBM7Ge7hFgMtWFFawAPqQ41dmbT5ctX9JCl0sgxWChlhA-2YRBh47KaQCZfvURsS2CBm&sessionId=
https://www.zhipin.com/job_detail/bbde140267b9f79b1Hd80t-8E1NV.html?lid=2P6z2tRrD3q.search.36&securityId=eEoAVYq6MKYOD-G1xdQoLoK9gTzOX6Wv0x1FDnTrWNGT-UuGG5WwZlxymqlTIOtbFgMJzjNhbN1trYHxohJ-f3JulYDyuj-awPC6WiPQzzq_Q3zfVwgmEFL5u3Dsu_s_mjaPLKTtUQ~~&sessionId=
https://www.zhipin.com/job_detail/4b159fb07dec04ee1HVy3NW_F1tT.html?lid=2P6z2tRrD3q.search.37&securityId=crIJTF-HIV8Ad-J1UEA5zlDlxT3roDtam0I7uYTcUuvos6LovkmUznD-C3_faugsjoLsN_w6bH3ldQ68S-OikF_3Yn4lFBwjfGPovpvaeWk2sl-VDTDp_JpfoW0q1Zzu3YxoslZCAWZT&sessionId=
https://www.zhipin.com/job_detail/72f421986f2ec9691Hd809i9EFRU.html?lid=2P6z2tRrD3q.search.38&securityId=QRpPvFJyLZ71O-D1f4FgN6-I4dJtZWS60fSP-MfbnibtsBQXOVec61RXK3RQYVHhygO-tFYcQMsiU4y83IvRL2KnVf6dsutqV8ionhDKMPozusxOohVL6aD5QybVPolD8BFcA-X4OA~~&sessionId=
https://www.zhipin.com/job_detail/e266a2f9ab5f09021HB53Nm9ElRU.html?lid=2P6z2tRrD3q.search.39&securityId=5WwM4koOyd6qm-Q1vre5lPqQ5IZNI6adPY_By2aIUwusOo1907GTzDnez9qEGaVKElK8P22Kdm2QD49b-lm46mxhyejB4QHnRliCwtZqkWJjXzIWVq3llS8H9H2jrc-NY7mMfc_LLN1Z&sessionId=
https://www.zhipin.com/job_detail/c80c68e7d3fd92191Hd-39--EFpQ.html?lid=2P6z2tRrD3q.search.40&securityId=5UNHkj67sNVcX-E1ocD2bsvUQg8qeerVjX0zSD5w8yq5ARAF1dpnxQV_6pEMASn1FrX4nNFeNmWYQeKI3mQE6_jV9o_T9ow0yS7odeknOzHunuwBTtDAWLv8ikAB47h_ftnOCU4MVfM~&sessionId=

由于篇幅有限，只截取了部分链接进行展示。

七、获取不同子链接的岗位信息

接着写循环批量获取不同子链接的岗位信息，具体代码如下：

for herf in all_herf[0:40]:print('*'*40)browser.get(herf)time.sleep(random.randint(2, 5))browser.implicitly_wait(10)job_yq = browser.find_element_by_xpath('//*[@id="main"]/div[1]/div/div').textprint(job_yq)print('='*20)zw_desc = browser.find_element_by_xpath('//*[@id="main"]/div[3]/div/div[2]/div[1]').textprint(zw_desc)

得到结果：

****************************************
招聘中
风控算法工程师（大模型，内容安全方向） 30-55K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金补充医疗保险定期体检全勤奖年终奖股票期权带薪年假员工旅游免费班车通讯补贴交通补助包吃节日福利住房补贴零食下午茶
====================
职位描述
微信扫码分享
举报
风控/安全策略经验
大模型
内容安全
岗位职责：
1、负责公司大模型内容安全、隐私安全等业务风险领域的治理方案和相关风控模型开发
2、针对不同的业务场景，选择合适的算法，进行训练和优化，推动算法落地并持续迭代
岗位要求：
1、本科以上学历，至少3年业务安全、内容安全等策略经验
2、有过隐私数据识别项目经验优先
3、对数据敏感，具有较强的逻辑思维和数据分析能力，掌握数据分析工具sql和excel等
4、熟悉数据科学、机器学习、社群挖掘的相关知识，有成功实践的算法项目
覃女士
3日内活跃
唯品会
·
招聘主管
****************************************
招聘中
风控算法工程师 25-50K·14薪
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
团建聚餐零食下午茶员工旅游带薪年假股票期权绩效奖金年终奖五险一金
====================
职位描述
微信扫码分享
举报
Python
岗位职责：
1、独立完成建模方案设计、模型开发及部署，运用各类算法开发包括营销响应、流失预警等营销模型及反欺诈规则、申请评分、额度模型、行为评分、催收评分等风险模型，并对现有模型进行优化完善；
2、配合商务进行客户需求沟通、方案讲解及咨询支持，对客户提出的业务痛点提供有效的解决方案及量化的决策建议；
3、充分了解客户业务端审批流程及风险表现，结合用户特征，制定或优化贷前、贷中及贷后风控策略；为客户提供用户分层筛选、差异化营销手段等策略建议；
4、根据客户需求，独立带领项目成员进行咨询项目的实施，包括方案设计、项目计划安排、实施过程管理、项目质量把控、报告撰写及交付汇报；
5、其他创新探索工作：深入挖掘用户行为序列数据，设计特征维度框架及指标体系结构，进行特征开发；探索如图算法等创新算法实践及应用，并进行充分工程验证后推广应用在已有业务中。
岗位要求：
1、本科及以上学历，数学、统计学、计算机等相关专业优先；6年以上银行、持牌消金、头部互金、金融科技公司模型及策略相关工作经验；
2、至少能熟练使用Python/Spark/R其中一种分析及建模工具，数据挖掘及建模经验丰富，能够有效利用LR、XGBoost、LightGBM等机器学习算法以及神经网络等深度学习算法构建特征与模型；
3、对零售信贷市场、信贷产品形态有一定的认知度，对全生命周期风控管理流程有深刻的理解，并掌握各环节的风控要点及风控策略制定逻辑；
4、具备独立思考的能力，逻辑严谨，对数据敏感，善于发现. 探索并解决问题，自我驱动力强；
5、具备较强的抗压能力，踏实、勤奋、细心，愿意并乐于接受新尝试、新挑战，探索创新主动性强。
郭先生
3日内活跃
至久科技
·
运营总监
****************************************
招聘中
风控算法工程师 23-35K
广州 5-10年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
节日福利带薪年假股票期权年终奖定期体检五险一金
====================
职位描述
微信扫码分享
举报
Python
SQL
风控/安全策略经验
计算机相关专业
金融机构策略开发/建模经验
1、本科以上学历，计算机、统计学、人工智能等相关专业优先。
2、熟悉数据科学相关方法，可以将具体业务目标转化成技术目标、可以完成对实现项目增益目标所需要的数据分析挖掘、建模、A/B实验设置的整体方案设计，并可以为最终业务成效负责。
3、然悉多种主流算法：GBDT/ESMM/XGBO0T等，熟悉分布式计算框架，如Hadoop、Spark，至少掌握一种深度学习框架：TensorFlow。
4、有一定自动化建模、自学习等方面的相关经验，可以设计实现通过特征衍生自动挖掘关联表的有效特征信息，获取全面特征，有一定能力解决实际建模时：数据缺失、数据不平衡、小样本数据、特征抽取等相关瓶颈问题。
5、有财富领域/营销领域相关数据分析、建模领域实践项目经验优先
张女士
3日内活跃
同盾科技
·
HR
****************************************
招聘中
高级风控建模师 20-30K
广州 3-5年 本科
感兴趣 立即沟通
完善在线简历
新增附件简历
...
五险一金加班补助年终奖员工旅游通讯补贴交通补助节日福利零食下午茶团建聚餐带薪年假
====================
职位描述
微信扫码分享
举报
SQL
SAS
Java
消费金融行业
风控建模
风控模型
岗位职责
1、负责数据分析工作，挖掘数据价值，拟定各种业务主题的数据分析方案和流程；
2、根据业务目标，负责开发应用于贷前审批、贷中监控、贷后催收、反欺诈等业务的数学模型；
3、负责数据质量和模型性能监控体系搭建的相关工作；
深度挖掘用户数据，建立用户画像，设计风险评估模型，控制信贷风险。
任职要求:
1、本科及以上学历，3年以上相关行业工作经验，对风控有实际操作经验，理解风控策略和模型，熟悉策略分析的相关方法;
2、具有数据处理、分析或建模经验，具备消费金融行业从业经验者优先；
3、熟悉掌握SQL/SAS/R/Python/Java等至少一种数据分析工具或语言工具；
4、熟悉基础数据挖掘模型，如回归、决策树、SVM、神经网络等算法
5、文字能力及表达能力强，具备跨部门沟通能力，具备较强分析解决问题能力。
宾女士
刚刚活跃
智租
·
HR

八、封装成函数的全量代码

最后，把全量代码封装到函数中，如需调用，更改城市和岗位名称即可，具体代码如下：

def grb_job(input_city_name, input_job_name):input_city_name =  input_city_name#输入查询城市input_job_name = input_job_name #输入查询岗位browser = webdriver.Chrome(ChromeDriverManager().install())#安装chrombrowser.maximize_window()#最大化窗口login_url = 'https://www.zhipin.com/chengshi/c101281000/?sid=sem_pz_bdpc_dasou_title'#网址browser.get(login_url)#登录网址browser.find_element_by_xpath('//*[@id="header"]/div[1]/div[2]/p/span[2]').click()time.sleep(5)input_city_type = browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/input')input_city_type.send_keys(Keys.CONTROL, 'a')input_city_type.send_keys(input_city_name, Keys.ENTER)browser.find_element_by_xpath('/html/body/div[5]/div[2]/div[2]/div[1]/div[2]/div/ul').click()#完成城市切换input_job_type = browser.find_element_by_xpath('//*[@id="wrap"]/div[3]/div/div[1]/div[1]/form/div[2]/p/input')input_job_type.send_keys(Keys.CONTROL, 'a')input_job_type.send_keys(input_job_name, Keys.ENTER)#time.sleep(5)all_herf = []#获取对应图片下载地址for i in range(1, 30+1):  try:  url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/ul/li[' +  str(i) + ']/div[1]/a'new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')all_herf.append(new_herf)  except:passtry:browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[2]/div/div/div/a[3]').click()browser.implicitly_wait(10)except:pass#点击第二页time.sleep(5)for j in range(2, 10+1):print('='*20)print(j)for i in range(1, 30+1): #print(i)#获取对应图片下载地址try:  url_xpath = '//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/ul/li[' +  str(i) + ']/div[1]/a'new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href')browser.implicitly_wait(10)print(new_herf)all_herf.append(new_herf)  except:print('error')passtry:browser.find_element_by_xpath('//*[@id="wrap"]/div[2]/div[2]/div/div[1]/div[1]/div/div/div/a[' + str(j+2) + ']').click()browser.implicitly_wait(10)#点击第i+2页time.sleep(5)except:passfor herf in all_herf[0:40]:try:print('*'*40)browser.get(herf)time.sleep(random.randint(2, 5))browser.implicitly_wait(10)job_yq = browser.find_element_by_xpath('//*[@id="main"]/div[1]/div/div').textprint(job_yq)print('='*20)zw_desc = browser.find_element_by_xpath('//*[@id="main"]/div[3]/div/div[2]/div[1]').textprint(zw_desc)except:passreturn all_herf
input_city_name = '深圳'
input_job_name = '风控建模'
all_herf = grb_job(input_city_name, input_job_name)
#调用语句
在上述代码中，工作城市为深圳，岗位为风控建模的招聘信息爬虫结果如下：https://www.zhipin.com/job_detail/1e846c40cc0ba4ed1nZ-3Nu0FFRZ.html?lid=2Ukx1ZhMcuq.search.237&securityId=KgeS5g7NN6Pe7-H1MKe4pg4DSlN-0ZwVzD9BmuOWh7cp53syjvSK7lbm_EDyXPR9RxBusjYZq5GdhsWdVPGFhaMs4wiUKJstJmG1UwWbqbzNbSkQ9E5i&sessionId=
https://www.zhipin.com/job_detail/cff0fd0f440096001XF63dy8FVZY.html?lid=2Ukx1ZhMcuq.search.238&securityId=4RIxII2Q829GU-u1FsNbq9lHNhyEOkwQEdx64PNE7lKiibb3eUEnvNiYi-Qdijh4iCm4wbFpJL3pd-PiILek09BnirEEMvJE6hUe2_NedykwPeipg_w~&sessionId=
https://www.zhipin.com/job_detail/d2acc94d6ae4cbdd1X180tu8FFFT.html?lid=2Ukx1ZhMcuq.search.239&securityId=JnZzKtn4YLy0N-G1noAdHTiJq-HEYzDcuVOFx4oows8V3zhp7eutknl35R_tOCWSrmk56kHAY6EKSJHfqietIiwidsUYWlAuaynvUeU3v25Fo9NY3ys~&sessionId=
https://www.zhipin.com/job_detail/550a2f188379fc101HV80tW7F1NS.html?lid=2Ukx1ZhMcuq.search.240&securityId=C9-zC3OUFF28--718ebaILvwKUDehFeO9FLCvN7lQYAHkOFiVjGbsqh-ejkVFv1MWRUjhAREVGec8eAywuIPDK1jD1j9a2k1sDXhKS5T1mziajPNmg~~&sessionId=
****************************************
招聘中
技术经理（风控） 40-60K·15薪
深圳 5-10年 本科
感兴趣 立即沟通
填写在线简历
上传附件简历
...
五险一金补充医疗保险定期体检年终奖带薪年假员工旅游节日福利零食下午茶
====================
职位描述
微信扫码分享
举报
Golang
Python
C++
1、负责对接业务需求，为业务提供风控策略并且落地，支撑公司业务健康发展；
2、深入理解业务场景，协助风控业务负责人，建立风险评估、监控、预警和防范机制；
3、负责制定针对性的风险管理策略，灵活运用大数据建模等方法，发现业务的趋势和特征，调整风险策略或模型；
4、负责建立风险监测指标体系，并进行关键指标日常监测，适时进行重大风险预警，提出防范和化解措施；
任职资格：
1、6年以上服务器开发经验，2年以上团队管理经验，本科或以上学历；
2、2年以上数据分析处理相关经验；
3、具备优秀的系统解构、抽象能力，熟练搭建大型复杂系统。
4、诚信、正直，具备优秀的分析与解决问题能力，较强的沟通与协调能力；强烈的责任心和团队合作意识。
林先生
刚刚活跃
迅雷网络
·
招聘负责人
****************************************
招聘中
高级风控算法工程师 25-40K·15薪
深圳 3-5年 本科
感兴趣 立即沟通
填写在线简历
上传附件简历
...
五险一金补充医疗保险意外险定期体检年终奖加班补助夜班补助节假日加班费法定节假日三薪带薪年假员工旅游餐补团建聚餐通讯补贴节日福利生日福利交通补助
====================
职位描述
微信扫码分享
举报
Python
深度学习算法
DNN
GBDT
数据挖掘
数据分析
岗位职责：
1.负责对接大数据工程师团队，特征开发，数据清洗；
2.负责保险风控模型的开发，测试，迭代；
3. 负责算法测的技术探索和实施
任职要求：
1.3年以上数据挖掘，机器学习建模实际项目经验。
2.有扎实的编程能力，大数据处理能力，精通sql, java, python等语言。
3.熟悉常见的数据挖掘方法，机器学习算法（DNN/GBDT/XGB/RF),能熟练进行算法的推导，实现和实际应用。
4.有较强的逻辑思维能力，具备很强的数据分析和解决问题能力，有较好的工程能力。
5.有较强的学习能力和好的工作态度，有良好的沟通能力，团队协作能力：
6. 加分项：有金融保险风控经验
杨女士
半年前活跃
丰图科技
·
HR

至此，应用Python批量爬取招聘网站中的岗位信息已讲解完毕，如想了解更多Python爬虫，可以翻看公众号中“学习Python”模块相关文章。

【部分群限时免费进】分群讨论学习Python、玩转Python、风控建模【29.9元进】、人工智能、数据分析相关问题，还提供练习数据资料、招聘内推信息、优秀文章、学习视频、公众号文章答疑，也可交流工作中遇到的难题。如需添加微信号19967879837，加时备注想进的群，比如学习python。

你可能感兴趣:
用Python绘制皮卡丘
批量获取绿色债券招募说明书
Python人脸识别—我的眼里只有你
Python画好看的星空图（唯美的背景）
【python爬虫】批量识别pdf中的英文，自动翻译成中文上
Python浪漫表白源码合集（爱心、玫瑰花、照片墙、星空下的告白）
一文囊括风控模型搭建(原理+Python实现)，持续更新。。。