HI，朋友们好
「爬虫职海录」第三期更新啦！
本栏目的内容方向会以爬虫相关的“岗位分析”和“职场访谈”为主，方便大家了解一下当下的市场行情。
本栏目持续更新，暂定收集国内主要城市的爬虫岗位相关招聘信息，有求职和跳槽打算的小伙伴们，可以多多关注。
本期为武汉篇！
新年伊始，传说中找工作、换工作的“金三银四”马上就要到了。
这次我也从招聘网站找来了200+份当前武汉的爬虫岗位JD，整理了数据并做了一定的分析。
目前在武汉或者以后打算在武汉发展的小伙伴可要搬好小板凳仔细看啦！
尽管武汉不在一线城市之列，但作为九省通衢的中部地区城市之首，我还是用北上广深杭来进行比较。
且武汉在校大学生近170W，居全国第一，每年都会产生大量的毕业生。
而这么多的毕业生，尤其是计算机专业，对爬虫岗感兴趣或者是打算从事爬虫岗的同学，是该留在武汉，还是流向发展更好的一线城市呢？
这时候拿武汉来与其他一线城市作比较得出的数据，对同学们就具有一定参考意义了。
（各大城市当前爬虫工程师岗位收入）
从上边可以看到，目前武汉的爬虫工程师们，平均收入为11207元，收入中位数是10500元。
同时我找来了武汉市统计局已公布的官方数据：2022年武汉市城镇单位在岗职工年平均工资103308元。(2023年数据尚未公布)
也就是月均8609元。假设按5％的年增速来看，那么2023年武汉市城镇在岗职工的平均月收入大致就是9039元左右。
武汉的爬虫岗薪资虽然低于北上广深杭，但毕竟是IT行业，还是跑的赢当地社会平均收入的。
工资较低的同时，生活成本也相对较低，这就看大家怎么取舍了。
（各大城市当前爬虫工程师岗位需求）
但爬虫岗的岗位数量，确实是远远落后。目前BOSS直聘上显示在招爬虫岗的公司不过百十家，初中高级的岗位共计也就两百左右。
所以若是想找到一份在薪资待遇、职业发展、通勤时间、工作强度各方面都符合自己要求的爬虫工作，还是比较不容易的！
下边我们再看看当下的实际招聘薪资。
（广州当前爬虫岗位招聘薪资）
招聘信息上挂出的薪酬，月薪大多在5~10K，10~15K这两个区间内，合计占据了全部爬虫岗的三分之二，这基本也代表了大部分爬虫工程师在初级岗和中级岗能拿到的薪资收入。
老样子，K哥在收集招聘信息时，顺便为大家整理了一些关键词，包括公司行业、公司规模、岗位title、技能标签、学历要求、福利待遇等方面，兄弟们可以瞅瞅。
（武汉爬虫岗位招聘信息词云图）
可以看到，“python”、“20~99人”、“本科”、“带薪年假”、“爬虫”、“大专”、“1~3年”这些词在招聘jd里高频出现，反映了大部分公司当前的招聘情况。
(这里提醒一下大家，武汉的公司也许加班没那么多，但双休和公积金缴纳情况，相当堪忧)
K哥锐评—城市&岗位
wu han
岗位情况：★★（2）
武汉的爬虫岗数量只有北京的1/8，也远低于其他一线城市，岗位竞争压力相对较大。
但另一方面，工作经验在3年内就符合条件的岗位占比达到三分之一，武汉对初级或者刚毕业的爬虫工程师还算友好。
薪酬水平：★★★（3）
武汉的爬虫岗工资是高于当地社会平均收入的，虽不及一线城市，但生活成本也相对较低，工作几年后能够拿到一份每月过万的薪水，生活是不至于过的太差的，还能稍有盈余。
城市魅力：★★★（3）
一方面武汉每年都会涌进大量的年轻人，还算是一座比较年轻化的城市。
另一方面武汉具有得天独厚的地理位置优势，不管你籍贯何处，回家都不会太远。
尽管收入和岗位并不占优，但也只是相对几座一线城市而言，况且并不是所有人能接受一线城市的压力和“内卷”。
综合得分：★★★★★★★★（8）
工资水平是选择城市&岗位的重要标准，但不会是唯一标准。
若你喜欢热情滚烫的风土人情，大江大湖的地理禀赋，那么武汉也许会适合你！
武汉丨爬虫岗位
（以下岗位为随机列举，信息来源——BOOS直聘）
01 集度
-1000-9999人
-互联网 AI 汽车
地址｜武汉洪山区国采中心T3
Spider工程师
15-25K·16薪
- 职位详情：
- 1.负责爬虫系统的架构设计与研发，管理分布式爬虫服务器，开发任务调度引擎；
- 2.负责指定网页或APP的定向爬取以及内容的抽取和去重等分析工作
- 3.负责爬虫核心算法的策略优化和研究，提升爬虫抓取效率和质量
- 任职要求：
- 1.熟悉Python/PHP/JavaScript等脚本语言中至少一种；
- 2.熟悉html/css/xpath等常用的web知识和正则表达式
- 3.有分布式爬虫系统的开发、架构经验，至少熟悉并使用过一种主流的爬虫架构，如Scrapy、Gocolly、Webmagic等优先；
- 4.熟悉Linux系统环境和Mysql、Redis、MongoDB等数据库。
- 其他：
- 上午09:30 - 下午06:30
- 双休、弹性工作
02 超越芯科技
-100~499人
-电子/半导体/集成电路
地址｜武汉洪山区铭丰大厦1510
python爬虫开发工程师
11-18K·13薪
- 职位详情：
- 1.负责相关网站、论坛、app的爬虫设计和开发，以及策略持续优化；
- 2.分析项目的可行性和数据采集方案，负责核心算法的策略优化研究，充分利用资源，避免限制；
- 3.参与开发数据采集程序，对目标站点/app进行结构化和非结构化数据数据分析，并对数据抓取，对各种目标数据进行信息提取、清洗、去重、整理及优化；
- 4.不断完善数据采集框架，对框架进行优化和改进；
- 5.参与数据分析处理流程、数据分析汇总报告的设计与开发；
- 6.优化和管理入库的数据。
- 任职要求：
- 1.专科及以上学历，计算机软件或相关专业，3年及以上python开发经验；
- 2.掌握爬取的各类实现方式和技术细节，包括不限于：熟悉常见的反爬策略、掌握网络协议分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
- 3.掌握tls指纹ja3,能够对抗akamai，PerimeterX，cloudflare风控优先；
- 4.掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式，熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端；
- 5.熟悉使用python主流爬虫框架，有分布式爬虫经验；
- 6.熟练掌握正则表达式、XPath等信息抽取技术；
- 7.熟悉Redis、Mysql、MongoDB等常用的数据库；
- 8.具有较强的分析和解决问题的能力；
- 9.具备良好的沟通能力和团队协作能力。
- 其他：
- 上午09:30 - 下午06:30
- 双休、不加班
03 乐薇
-100-499人
-互联网 电商
地址｜武汉江夏区东港科技产业园2号楼3楼
Python爬虫工程师
10-15K·13薪
- 职位详情：
- 1.参与公司爬虫系统的架构设计和开发；
- 2.监控和优化爬虫系统，提升性能和增强功能；
- 3.带领团队负责多平台信息抓取和大数据仓库维护；
- 4.解决实际工作中遇到的各种疑难杂症。
- 任职要求：
- 1.统招本科及以上学历；
- 2.3年以上Python爬虫经验；
- 3.熟悉多线程、反爬虫、验证码识并精通网页抓取原理及技术，熟练使用正则表达式、csspath、xpath等获取信息；
- 4.精通任一开源爬虫框架，如Scrapy、Nutch、DotnetSpider等；
- 5.熟悉掌握Mysql,Mongodb,Redis等常用数据库；
- 6.有海量主流电商平台数据爬取经验者优先，能迅速响应电商平台变动做规则调整。
- 其他：
- 8小时工作制，周末双休，无强制加班
- 五险一金，集体旅游
04 积善科技
-20~99人
-互联网
地址｜武汉洪山区国际企业中心
python爬虫开发工程师
8-13K·13薪
- 职位详情：
- 1. 负责分布式爬虫和数据采集系统开发；
- 2. 分析客户的爬虫场景，帮助客户提升爬虫成功率；
- 3. 对爬虫相关技术进行探索与应用：如js渲染抓取，反爬攻破等；
- 4. 参与公司业务平台的数据的挖掘和分析，协助进行客户画像和产品改进。
- 任职要求：
- 1. 计算机专业本科及以上学历，不低于两年的开发经验；
- 2. 熟练掌握Python，能使用django/Flask等常用框架进行项目开发；
- 3. 熟悉 Web 界面结构分析方法，能够从结构化和非结构化的数据中获取指定信息；
- 3. 熟悉TCP/IP、HTTP 等网络协议，熟悉 Linux 平台上的开发，熟练掌握 Python；
- 4. 熟悉 JS 加密逆向、验证码识别、代码混淆还原、Hook 等常见爬虫技术；
- 5. 有安卓逆向、反编译、TLS 指纹、浏览器指纹相关经验优先；
- 6. 有博客、github、csdn、知乎等展示代码和技术的优先考虑；
- 7. 有验证码识别、逆向处理经验优先；
- 8. 自我驱动，责任心强，执行力强，善于学习，能挑战自我不断追求卓越；
- 其他：
- 上午09:00 - 下午06:30 弹性工作时间
05 七枢星科技
-20-99人
-计算机软件
地址｜武汉武昌区万达尊B座704
爬虫工程师
20-35K·13薪
- 职位详情：
- 1.与爬虫系统的架构设计、核心模块(抓取调度，页面解析和结构化抽取，海量数据存储和读取等)开发，改进和提升爬虫效率；
- 2.攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库；
- 3.完善爬虫的技术指标体系，并基于指标迭代优化爬虫基础能力，指标体系中，全面性指标的建立，基于随机采样，估计系统总体目标信息；
- 4.技术难题攻关，解决实际开发过程碰到的各类问题。
- 任职要求：
- 1.计算机相关专业，本科以上学历；
- 2.熟练掌握Python、Webdriver；
- 3.有反反爬虫、解决无感验证码的经验；
- 4.解决过akamai、recaptcha等国内外知名的机器人防护框架的经验。
- 其他：
- 8:30-18:00（弹性十分钟）
- 五险一金、全勤奖
06 湖北航信
-500-999人
-信息安全
地址｜武汉市东西湖区网安大厦A座18楼
爬虫实习生
2-3K
- 职位详情：
- 1.熟悉爬虫原理，精通WebDriver、Selenium、requests
- 2.熟悉html、dom、xpath、正则表达式等常见的数据抽取技术
- 3.熟悉常见反爬措施
- 4.熟悉Python等数据处理模块例如pandas，numpy等
- 5.熟练使用MySQL、 MongDB或其他数据库
- 6.熟练使用python进行项目开发，有良好的编码习惯
- 7.良好的逻辑思维能力和沟通能力，善于分析问题/解决问题
ps：
1，文中出现的岗位JD，包括薪酬，工作时间、福利等情况，均为招聘单位公示，我只是做了收集，实际情况大家可以主动联系招聘方进行咨询。
2，文中出现的岗位基本为随机选取，只作为参考，并不代表K哥推荐，我并未收取任何单位以及个人的广告费，也不提供简历投递渠道。
3，文中出现的招聘信息截至发文，仍为在招状态，后期K哥不对相关信息的有效性负责。
4，关于爬虫&职场方面的内容，大家还希望看到哪些呢，欢迎多多向我提建议，也欢迎小伙伴们在评论区积极“吐槽”自己目前的公司。
