最近有读者在后台问，刚参加工作，想选一个职业方法，问我现在python很火，但是貌似就业机会不是很多，所以比较纠结现在到底是学python,go还是java. 所以我就想我们能不能用数据说话，看看python,go,java这三种热门语言，到底在市场上什么行情。

说到分析，那我们要先拿到数据，这次的数据还是来自我们的爬虫好伙伴，拉勾网，我们各抓取了这三种语言的市场行情数据来分析，话不多说，我们看看怎么去爬取数据和分析。

首先来说老套路，右击网页----->检查------>network抓包(因为拉勾网是异步加载)

1.requests请求数据

点击python搜索页，打开network抓包，我们看看下面的图片

我们可以看到这次的请求模式是post请求，而不是get请求，这点要注意，所以我们代码是请求页面的时候要使用requests.post来请求

这里还有一点要注意，我们看到post请求下面还有一条请求，我们可以看看，它是什么

可以看到这是一个get请求，可能我们会忽略这点，如果忽略了这个get请求，我们在后面的代码执行时会遇到麻烦，这是拉钩的一种反爬手段，我们如果采用原来的固定cookies(headers)信息去爬取数据的时候，可能只能爬个4-5页面就会出现下面的错误

{'status': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': 'xxxxxxx', 'state': 2402}

上面的错误看起来是因为IP地址被封导致的，但是一般IP地址被封，我们用网页也是打不开的，但是这里你可以试试用网上去访问页面，其实还是可以正常访问的，所以这里应该不是IP被封的问题，这里其实是拉钩的反爬机制，他是改变了你浏览器端的cookie信息，导致你访问不了，如果你再代码里还是用原来的老套路，cookie信息是定死的，那就着了他的道了。

这其实就是上面的get请求的作用，也就是说我们的cookie信息要在代码里是动态的，用上一次访问返回的cookie信息，进行当前的页面访问，那怎么从前一个url访问后拿取cookie呢，这就要用到requests.session了，另外referer也不能少的，少了一样可能都会出现操作太频繁的回复的，这里的referer其实就是你是从哪个页面跳转来的，我们要访问的URL是"https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false