拉勾网大数据相关岗位数据爬虫分析

拉勾网大数据相关招聘数据分析

观察对象:大数据相关岗位的招聘数据

观察时间:2016.3.28

数据来源:拉勾网

1、分析目的

眼下,大数据是一个非常热门的话题。受到非常多人的关注和追捧。其创造的相关职业也受到大家的青睐。但大数据相关职业到底是什么样。有怎么样的要求,有如何的待遇还不为多数人所知,为了更好的了解大数据相关职业要求及其福利待遇进行本次数据分析。

2、数据採集

1 数据来源:拉勾网,拉勾网是专业的互联网招聘平台,专注互联网职业机会,其数据具有代表性;

2 数据类型:json类型数据。

3 採集方法:python爬虫,输入的keyword为‘大数据’。所以採集的数据包含全部大数据相关的岗位数据。

4 数据量:一共採集到99页共条1476数据。

3、数据准备

本次採集的数据共1476条。每一条数据有个50变量。为了关注主要因素,在数据准备过程中将去除不必要的变量,因为数据量较多,对少数的存在缺失值的行也进行清除,又一次构造易于分析和作图的数据集。

4、数据分析

1. 大数据相关职业招聘信息在全国各城市分布情况的分析


    由各城市大数据招聘信息数量的分布可知。眼下大数据相关职业的招聘主要集中在北京、上海、广州、杭州、深圳这几个经济相对更发达的地区。尤其是首都北京,是这几个城市的3倍之多。出现这样的现象也不足为怪。毕竟大数据还是一个新型的产业,非常多二三线城市的传统企业和公司还处在观望之中。对于北京数量之多,个人觉得主要与国家政策、创业潮有关,毕竟是首都,能高速嗅觉到国家大力支持发展大数据的苗头。同一时候‘互联网+’的创业大潮也推进了各公司对大数据人才的渴求。

2. 大数据相关职业类型分析


    由大数据相关职业工作类型的分布可知。大数据技术人才最受欢迎,其次是产品和运营。有人说大数据科学家是会编程的统计学家。从该图能够看出这个‘编程的能力’以及处理、挖掘数据的能力还是占领重要因子的。而对于产品和运营。可能与近期讨论得非常火的‘人物画像’‘精细化运营’等有关,运用大数据的相关知识实现精准营销。当然。大数据在金融、市场销售等方面也逐渐受到重视,个人觉得这是一个趋势。毕竟大数据仅仅是一种手段。更重要的是怎样把大数据运用的各个行业。为行业服务。

3. 大数据相关职业招聘对技能要求的分析

上面讨论到大数据技术人才最受欢迎,再继续看看大数据到底对那种技能或那种语言和工具比較青睐。


由气泡分布图(圆圈越大。表示其重要程度越高)可知最受青睐的前10个大数据工具是Hadoop、Java、Spark、Hbase、Hive、Python、Linux、Strom、Shell编程、MySQL。

当中Hadoop和Spark都是分布式并行计算框架,眼下看来Hadoop占主导优势,Spark位居其后。但Spark有迎头赶上的趋势。Hadoop是由Java实现的,所以java排在其后也不奇怪。Hbase是一个开源的分布式的列式数据库,MySQL是一种开源的关系型数据库,Hive是一种数据仓库,Strom是一种流式处理框架。而Python/Shell是两种脚本编程语言,Linux是一个操作系统。

上面这个图假设看起来比較费劲,我们来看看以下这个图:


4. 大数据相关职业招聘对学历要求的分析


由上图可知大数据相关职业对学历的要求主要是本科以上,其次是大专,而对于学历高的硕士和博士貌似不太感冒。因为大数据主要对技术人才感兴趣,工作的实践性比較高。可能学历高的人才反而占不到优势。我们能够接着对照一下对工作经验的要求再做深入的分析。

5. 大数据相关职业招聘对工作经验的分析


由上图可知,大数据相关职业对有3-5年工作经验的人才最青睐,其次是1-3年和5-10年。对照上面对学历的要求可知。大数据相关职业确实是青睐有工作经验的本科生,而不是学历高但经验缺乏的硕士生和博士生。

6. 大数据相关职业的薪资分析


由图可知,大数据相关职业整体工资水平还是有较大的波动。但也主要集中在10k-30k的范围内。

我们看看不同工作类型的工资的分布情况:

由图可知金融行业相关的大数据职位的平均工资最高,当中产品、技术以及职能的平均工资相差不大。市场与销售、运营的工资相对较低,但平均工资也在10K以上。

总的来说,大数据相关职业的薪资水平随工作经历等存在一定的波动,但工资来说还是相对较高的。

7. 大数据相关职业的福利待遇分析


从有大数据人才招聘需求的公司提供的福利来看,当中最多的就是五险一金的基本保障、其次是带薪休假、弹性工作、双休、年终奖、绩效奖等。总的来说这些公司福利还算不错。但从这些数据里能够看出,相比于一些大的国企。这些公司对于解决户口等同学们关注得比較多的。没有提及。

8. 有大数据人才招聘需求的公司融资情况分析


从上图可知。有大数据人才招聘需求的公司中上市公司还是占领最大的比例,排在前面的几位也都是成长型或成熟型的融过资的公司。排在后面几位的公司除了一个成熟型D轮以上。其他要么没有融资,要么不须要融资,这里能够说明上市公司或刚拿到融资的成长型公司对于大数据人才的渴求更高。

5、结论

从面的分析,大致能够得出以下几个重要的结论:

a. 大数据还仅仅是北上广等经济发达城市发展得非常热的新型行业,二三线城市还有待发展,所以要找大数据相关的工作就去北上广吧。

b. 大数据相关工作岗位主要以技术、产品、运营为主,并且技术占领大半江山,而技术技能要求中主要以Hadoop/java/Spark/Hbase/Hive/Python/MySQL/Strom/shell等为主。所以才要从事大数据相关岗位不防从学习这些技能開始。

c. 大数据相关职业对学历的要求主要以本科为主,就算是大专学历也是非常受欢迎的,而博士和硕士却不受青睐,这是一个要求工作经验为住的行业,所以就算你学历不高。想从事大数据相关工作也是不成问题的;

d. 大数据相关工作岗位的薪资还是算比較高的,福利待遇方面也还不错,当中金融大数据人才的工资最高。

眼下招聘大数据人才的公司主要是以上市公司和成长型的融资公司为主。

6、有问题交流的能够关注Dataanswer大数据 http://www.dataanswer.top




转载于:https://www.cnblogs.com/llguanli/p/8450047.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/414692.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2018--20179215--《文献管理与信息分析》第三讲 英文数据库资源的发展趋势和利用...

《文献管理与信息分析》第三讲 英文数据库资源的发展趋势和利用 一、科研相关的文献资源有以下十大来源: 专利、会议论文、期刊、学位论文、科技报告、科技档案、产品资料、政府出版物、标准文献、图书。 二、数据库的使用 1.不同搜索引擎的差异: 覆盖的…

工作239:内容过长省略号失败 直接改的样式表

给元素加入以下样式: white-space:nowrap;overflow:hidden; text-overflow:ellipsis; 此外,还要注意给元素加上宽度: width:100px;

Android身份证识别demo,文字识别

百度云链接:https://console.bce.baidu.com/?fromai1#/aip/overview 1、1首先去百度文字识别创建应用,获取ak和sk 配置ak和sk 1、2 jniLibs文件夹复制过去 2、识别身份证信息方法: /**** 解析身份证图片** param idCardSide 身份证正反面*…

jq消除网页滚动条

网页有些时候需要能滚动的效果,但是不想要滚动条,我就遇到了这样的需求。自己用jq写了一个垂直滚动条。 纯css也可以实现 .box::-webkit-scrollbar{display:none} 但是edge和Firefox不兼容,自己想了一下只要监听滚轮事件,用jq写应…

5、Flutter 实现 ViewPager、bottomNavigationBar 界面切换

1、前言 首先我们想一下,如果在 Android 中实现 布局切换,通常的思路是: 做一个 viewpager一组 Fragment每个 Fragment 绑定一个 xml最后填充至 viewpager2、Flutter 实现 上边提到的用安卓原生做,思路是很明确,但是代…

Android 应用内实现导航页面,接入百度SDK内置导航,高德SDK内置导航

1、首先到百度地图开放平台创建应用,获取应用AK http://lbsyun.baidu.com/apiconsole/key 2、到百度语言平台创建应用,获取Secret Key和语言APP ID http://yuyin.baidu.com/app 3、到百度地图开放平台下载Android 导航SDK https://pan.baidu.com/s/1z…

6、Flutter Error waiting for a debug connection: ProcessException: adb did not report f(转)

1、错误信息 Error waiting for a debug connection: ProcessException: adb did not report forwarded port 2、解决方法 升级adb,其实是更新SDK Platform-Tools就可以了。 步骤:打开 Android SDK >>> SDK Tools 勾选 Android SDK Flatform-…

前端学习(2710):重读vue电商网站30之左侧菜单栏图标设计

我们想要的效果如下: 如何设计? 首先,我们可以在 data 中定义一个对象,对应于每一个菜单选项的 id 然后通过 for 循环遍历每一个菜单选项的 id即可。

Android运行时异常 couldn't find xx.so

Android 关于导入module,运行时错误 java.lang.UnsatisfiedLinkError: dalvik.system.PathClassLoader[DexPathList[[zip file "/data/app/com.txjifei.mapclient.liteapp-fp0FTs4C57uV3aLogQRvYA/base.apk"],nativeLibraryDirectories[/data/app/com.txj…

4、jeecg 笔记之 自定义显示按钮 (exp 属性)

1、需求 先看一下需求吧&#xff0c;我们希望 datagrid 操作栏中的按钮&#xff0c;可以根据条件进行动态显示。 2、实现 其实 jeecg 提供了一个属性 - exp &#xff0c;通过该属性即可实现。 <t:dgFunOpt funname"startInspect(id,mcaPhone)" exp"mcaStatus…

AngularJs自学心得

1.angularjs的SEO问题解决方案 我的前端用到angularjs&#xff0c;服务器用到nginx。 大体流程&#xff1a; nginx服务器检测到爬虫访问&#xff0c;跳转到专门的url&#xff0c;此url是angularjs已经渲染过后的页面。非常的简单。 a).首先是angularjs的渲染问题 angular添加一…

Android 人脸识别进行实名验证demo

实名验证简介&#xff1a;http://ai.baidu.com/docs#/Face-PersonVerify-V3/top 1、首先到百度云平台——人脸识别项创建应用 https://console.bce.baidu.com/?fromai1#/aip/overview 2、创建应用之后、下载SDK SDK链接&#xff1a;https://download.csdn.net/download/meix…

Hibernate 补充 ManyToOne、OneToMany、OneToOne的使用例

1、前言 Hibernate 为程序员提供一种级联操作&#xff0c;在编写程序时&#xff0c;通过 Hibernate 的级联功能可以很方便的操作数据库的主从表的数据&#xff0c;我们最常用的级联是级联保存和级联删除。2、ManyToOne | OneToMany 单词误导 当我们去试用的时候&#xff0c;首先…

移动端使用页尾文字使用绝对定位遇到input框会飘起来的处理方案

如下版权信息的样式在遇到input框的时候会跟随输入框其后 优雅的解决方式&#xff1a;&#xff08;定位遇上键盘飘窗解决&#xff09; mounted里面写上&#xff1a;var originalHeightdocument.documentElement.clientHeight || document.body.clientHeight; //console.info(&…