数学建模-基于LightGBM和BP神经网络的互联网招聘需求分析与预测

基于LightGBM和BP神经网络的互联网招聘需求分析与预测

整体求解过程概述(摘要)

  就业是民生之本,是发展之基,也是安国之策。2020 年新冠肺炎疫情的爆发,稳就业成为应对疫情、稳定社会的重要保障之一。随着数据新动能的发展,互联网招聘为招聘者和应聘者提供不限于时空的全局视角,因此本文从该角度出发对招聘者和应聘者需求进行统计分析预测,以期缓解就业难、招聘难的困境。
  本文基于近年来各在线招聘网站所发布的招聘数据并结合数据新动能下转型升级的三个金融行业、互联网行业、生产制造行业,采用 Pearson 相关系数检验初步筛选后运用灰色关联分析进一步进行指标筛选,最后对企业招聘中招聘者关注的浏览量运用 LightGBM 模型进行浏览量特征重要性分析,对就业形势中应聘者关注的薪资运用 BP 神经网络预测模型对于薪资进行预测,并进行模型精度对比,得出数据新动能下三个行业的薪资统计分析预测。
  经研究得出关于企业招聘浏览量,金融行业薪资水平,互联网行业薪资水平,生产制造行业薪资水平的影响因素及重要程度。基于以上分析结论,本文在互联网招聘市场中对招聘者与应聘者需求提出以下对策建议:第一,对于企业,招聘者应根据岗位浏览量合理设置招聘要求;第二,对于金融行业,应聘者应根据学历因素合理考虑就业地域;第三,对于互联网行业,应聘者应根据学历因素合理考虑公司性质;第四,对于生产制造行业,应聘者应根据公司所在地合理考虑公司性质。

问题分析

  基于当代数字经济大环境背景,面对当前互联网市场应聘者和招聘者需求不对称的现状,本文运用近年来各在线招聘网站所发布的招聘数据并结合数据新动能下转型升级的三个金融行业、互联网行业、生产制造行业,采用 Pearson 相关系数分析初步筛选后运用灰色关联分析进一步进行维度筛选,最后对企业招聘中招聘者关注的浏览量运用 LightGBM 模型进行特征重要性分析,对就业形势中应聘者关注的薪资运用 BP 神经网络预测模型对于薪资进行预测,并进行模型检验与修正,得出新动能下三个行业的薪资和浏览量的分析与预测。
在这里插入图片描述

指标的选取与数据的处理

  (一)数据来源
  本文数据通过对某数据平台的数据进行爬取,总共得到 1007894 条数据。数据预处理以 excel 为主,Python、R 为辅,完成原始数据去重区空以及数值转换等数据预处理工作之后进行分层随机抽样得到剩下 40000 条数据进行统计分析。对于异常值的处理,学历、职位、行业等因素使用删除异常值方法处理,经验年数、工资上下限因素使用计算平均值方法进行处理。分层抽样法,也叫类型抽样法。将总体单位按其属性特征分成若干类型或层,然后在类型或层中随机抽取样本单位。分层抽样法的特点是通过划类分层,增大了各类分层抽样中单位间的共同性,容易抽出具有代表性的调查样本。该方法适用于总体情况复杂,各单位之间差异较大,单位较多的情况。分层随机抽样的程序是把总体各单位分成两个或两个以上的相互独立且各具特点的完全的组,再从两个或两个以上的组中分别进行随机抽样。分组的标志或特点与所关心的总体特征相关。“所学非所用”不利于充分发挥人力资本的潜在价值(郭睿,2019),本文以学历作为属性特征进行分层,将不同学历分出不同层,按各学历占总数据的比例在每一层中随机抽样,得出 40000 条数据。
  并通过划分行业来分别选取每个行业中的指标进行分析预测,金融行业的发展是一个国家经济发展的重要支撑(高景文,2019),互联网行业则为数字化时代背景下一个重要的行业支撑(周蕴慧,2021),生产制造行业的转型升级也是当今时代面临的重大课题(江小涓,2020),这三个行业都对数据新动能背景下招聘与就业需求不对称的统计分析研究具有一定意义,因此本文选取这三种行业进行统计分析预测。
  而对于大多数互联网应聘者而言,薪资是众多被考虑因素中的重中之重,是其劳动回报的直接体现(Kristin L ,2018),对于企业而言,应聘者的薪资与其经营的利润以及成本是直接相关的关系。因此选取三个行业薪资平均值与其他指标进行分析。

  (二)指标选取
  1. Pearson 相关系数检验
  Pearson 相关系数是用协方差除以两个变量的标准差得到的,虽然协方差能反映两个随机变量的相关程度(协方差大于 0 的时候表示两者正相关,小于 0 的时候表示两者负相关),但是协方差值的大小并不能很好地度量两个随机变量的关联程度,对于标准化后的数据求欧氏距离平方并经过简单的线性变化,也就是Pearson 系数,我们一般用欧式距离来衡量向量的相似度,但欧式距离无法考虑不同变量间取值的差异。加之,Pearson 相关系数适用于高维度检验,而未经升级的欧式距离以及 cosine 相似度,对变量的取值范围是敏感的,在使用前需要进行适当的处理。因此在对变量间进行相关性检验时,本文优先采用 Pearson 相关系数检验去研究经验,学历,公司所在地,公司性质,职位分别和薪资平均值之间的相关关系,使用 Pearson 相关系数去表示相关关系的强弱情况。具体分析可知:
  ①金融行业:经验、学历、职位、公司所在地呈现显著性
在这里插入图片描述
  ②互联网行业:经验、学历、职位、公司所在地、公司性质呈现显著性
在这里插入图片描述
  ③生产制造行业:经验、学历、公司所在地、公司性质呈现显著性

在这里插入图片描述
  2. 灰色关联分析
  基于 Pearson 相关系数检验得出的结果,本文进一步对具有显著性的各个特征值进行选取。运用灰色关联分析对于研究指标进行进一步选取,研究各因素对薪资的影响大小关系,得出结果如下:
  ①金融行业:公司所在地、职位

在这里插入图片描述
  从上表可以看出:针对本次 4 个评价项,公司所在地的综合评价最高(关联度为:0.989),其次是职位(关联度为:0.670)。
  ②互联网行业:学历、公司性质
在这里插入图片描述
  从上表可以看出:针对本次 5 个评价项,学历的综合评价最高(关联度为:0.928),其次是公司性质(关联度为:0.909)。
  ③生产制造行业:公司所在地、公司性质

在这里插入图片描述
  从上表可以看出:针对本次 4 个评价项,公司所在地的综合评价最高(关联度为:0.959),其次是公司性质(关联度为:0.953)

模型的建立与求解整体论文缩略图

在这里插入图片描述
在这里插入图片描述

全部论文请见下方“ 只会建模 QQ名片” 点击QQ名片即可

程序代码:(代码和文档not free)

%% 网络测试
an=sim(net,inputn_test); %用训练好的模型进行仿真
test_simu=mapminmax('reverse',an,outputps); % 预测结果反归一化
error=test_simu-output_test; %预测值和真实值的误差
%%真实值与预测值误差比较
figure
plot(output_test,'bo-','linewidth',1.2)
hold on
plot(test_simu,'r*-','linewidth',1.2)
legend('期望值','预测值')
xlabel('测试样本编号'),ylabel('指标值')
title('BP 测试集预测值和期望值的对比')
set(gca,'fontsize',12)
igure
plot(error,'ro-','linewidth',1.2)
xlabel('测试样本编号'),ylabel('预测偏差')
title('BP 神经网络测试集的预测误差')
set(gca,'fontsize',12)
%计算误差
[~,len]=size(output_test);
SSE1=sum(error.^2);
MAE1=sum(abs(error))/len;
MSE1=error*error'/len;
RMSE1=MSE1^(1/2);
MAPE1=mean(abs(error./output_test));
r=corrcoef(output_test,test_simu); %corrcoef 计算相关系数矩阵,包括自相关和
互相关系数
R1=r(1,2); 
%% 初始化
clear
close all
clc
format short
%% 读取读取
data=xlsread('数据总.xlsx','Sheet1','A1:F18528'); %%使用 xlsread 函数读取 EXCEL
中对应范围的数据即可 
%输入输出数据
input=data(:,1:end-1); %data 的第一列-倒数第二列为特征指标
output=data(:,end); %data 的最后面一列为输出的指标值
N=length(output); %全部样本数目
testNum=50; %设定测试样本数目
trainNum=N-testNum; %计算训练样本数目
%% 划分训练集、测试集
input_train = input(1:trainNum,:)';
output_train =output(1:trainNum)';
input_test =input(trainNum+1:trainNum+testNum,:)';
output_test =output(trainNum+1:trainNum+testNum)';
%% 数据归一化
[inputn,inputps]=mapminmax(input_train,0,1);
[outputn,outputps]=mapminmax(output_train);
inputn_test=mapminmax('apply',input_test,inputps);
%% 获取输入层节点、输出层节点个数
inputnum=size(input,2);
outputnum=size(output,2);
disp('/')
disp('神经网络结构...')
disp(['输入层的节点数为:',num2str(inputnum)])
disp(['输出层的节点数为:',num2str(outputnum)])
disp(' ')
disp('隐含层节点的确定过程...')
%确定隐含层节点个数
%采用经验公式 hiddennum=sqrt(m+n)+a,m 为输入层节点个数,n 为输出层节点
个数,a 一般取为 1-10 之间的整数
MSE=1e+5; %初始化最小误差
transform_func={'tansig','purelin'}; %激活函数
train_func='trainlm'; %训练算法
for 
hiddennum=fix(sqrt(inputnum+outputnum))+1:fix(sqrt(inputnum+outputnum))+10
%构建网络
net=newff(inputn,outputn,hiddennum,transform_func,train_func);
% 网络参数
net.trainParam.epochs=1000; % 训练次数
net.trainParam.lr=0.01; % 学习速率
net.trainParam.goal=0.000001; % 训练目标最小误差
% 网络训练
net=train(net,inputn,outputn);
an0=sim(net,inputn); %仿真结果
mse0=mse(outputn,an0); %仿真的均方误差
disp([' 隐含层节点数为 ',num2str(hiddennum),' 时,训练集的均方误差为:
',num2str(mse0)])
%更新最佳的隐含层节点
if mse0<MSE
MSE=mse0;
hiddennum_best=hiddennum;
end
end
disp(['最佳的隐含层节点数为:',num2str(hiddennum_best),',相应的均方误差为:
',num2str(MSE)])
%% 构建最佳隐含层节点的 BP 神经网络
net=newff(inputn,outputn,hiddennum_best,transform_func,train_func);
% 网络参数
net.trainParam.epochs=1000; % 训练次数
net.trainParam.lr=0.01; % 学习速率
net.trainParam.goal=0.000001; % 训练目标最小误差
%% 网络训练
net=train(net,inputn,outputn);
%% 网络测试
an=sim(net,inputn_test); %用训练好的模型进行仿真
test_simu=mapminmax('reverse',an,outputps); % 预测结果反归一化
error=test_simu-output_test; %预测值和真实值的误差
%%真实值与预测值误差比较
figure
plot(output_test,'bo-','linewidth',1.2)
hold on
plot(test_simu,'r*-','linewidth',1.2)
legend('期望值','预测值')
xlabel('测试样本编号'),ylabel('指标值')
title('BP 测试集预测值和期望值的对比')
set(gca,'fontsize',12)
figure
plot(error,'ro-','linewidth',1.2)
xlabel('测试样本编号'),ylabel('预测偏差')
title('BP 神经网络测试集的预测误差')
set(gca,'fontsize',12)
%计算误差
[~,len]=size(output_test);
SSE1=sum(error.^2);
MAE1=sum(abs(error))/len;
MSE1=error*error'/len;
RMSE1=MSE1^(1/2);
MAPE1=mean(abs(error./output_test));
r=corrcoef(output_test,test_simu); %corrcoef 计算相关系数矩阵,包括自相关和
互相关系数
R1=r(1,2); 
disp(' ')
disp('/')
disp('预测误差分析...')
disp(['误差平方和 SSE 为: ',num2str(SSE1)])
disp(['平均绝对误差 MAE 为: ',num2str(MAE1)])
disp(['均方误差 MSE 为: ',num2str(MSE1)])
disp(['均方根误差 RMSE 为: ',num2str(RMSE1)])
disp(['平均百分比误差 MAPE 为: ',num2str(MAPE1*100),'%'])
disp(['相关系数 R 为: ',num2str(R1)])
%打印结果
disp(' ')
disp('/')
disp('打印测试集预测结果...')
disp([' 编号 实际值 预测值 误差'])
for i=1:len
disp([i,output_test(i),test_simu(i),error(i)])
end
全部论文请见下方“ 只会建模 QQ名片” 点击QQ名片即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/181244.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python与设计模式--责任链模式

23种计模式之 前言 &#xff08;5&#xff09;单例模式、工厂模式、简单工厂模式、抽象工厂模式、建造者模式、原型模式、(7)代理模式、装饰器模式、适配器模式、门面模式、组合模式、享元模式、桥梁模式、&#xff08;11&#xff09;策略模式、责任链模式、命令模式、中介者模…

LeetCode52. N-Queens II

文章目录 一、题目二、题解 一、题目 The n-queens puzzle is the problem of placing n queens on an n x n chessboard such that no two queens attack each other. Given an integer n, return the number of distinct solutions to the n-queens puzzle. Example 1: I…

用CHAT总结费曼学习法的关键

问CHAT&#xff1a;费曼学习法的关键 CHAT回复&#xff1a;费曼学习法是由著名物理学家理查德费曼所发明的一种学习方法&#xff0c;旨在以深入理解为目标&#xff0c;帮助自己学习新的知识和技能。 费曼学习法有四个关键步骤&#xff1a; 1. 学习&#xff1a;首先&#xff0…

阿里云服务器2核2G3M配置购买和续费同享99元1年,最后2天赶紧囤货

经济型e实例2核2G 3M固定带宽 40G ESSD Entry云盘&#xff0c;价格为99元1年&#xff0c;这款云服务器是阿里云在11月份推出的特价云服务器&#xff0c;不管是用户还是老用户&#xff0c;都觉得这个价格确实非常划算&#xff0c;但是有的用户觉得现在暂时没有使用云服务器的需求…

​LeetCode解法汇总1670. 设计前中后队列

目录链接&#xff1a; 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目&#xff1a; https://github.com/September26/java-algorithms 原题链接&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 描述&#xff1a; 请你设计一…

Es6笔记之箭头函数与解构赋值

目录 箭头函数 箭头函数 this 箭头函数与普通函数的区别 解构赋值 数组解构 对象解构 展开运算符 与 剩余运算符 箭头函数 箭头函数是一种声明函数的简洁语法&#xff0c;它与普通函数并无本质的区别&#xff0c;差异性更多体现在语法格式上。 <script>// const …

LLM大语言模型

大语言模型的定义 大语言模型&#xff08;英文&#xff1a;Large Language Model&#xff0c;缩写LLM&#xff09;&#xff0c;也称大型语言模型&#xff0c;是一种人工智能模型&#xff0c;旨在理解和生成人类语言。它们在大量的文本数据上进行训练&#xff0c;可以执行广泛的…

在Rust中处理命令行参数和环境变量

1.摘要 Rust的命令行和环境变量处理在标准库中提供了一整套实现方法, 在本文中除了探索标准库的使用方法之外, 也在不断适应Rust独有的语法特点。在本文中, 我们通过标准库函数的返回值熟悉了迭代器的使用方法, 操作迭代器精确控制保存的内容, 包括字符串和键值对的使用方法。…

美创科技受邀亮相第二届全球数字贸易博览会

11月23日-27日&#xff0c;由浙江省人民政府、商务部共同主办的第二届全球数字贸易博览会&#xff08;以下简称“数贸会”&#xff09;圆满落幕。围绕“国家级、国际性、数贸味”的目标定位&#xff0c;以“数字贸易 商通全球”为主题&#xff0c;数贸会重点展示数字贸易全产业…

伪原创工具,免费的5款伪原创工具

寻找一款合适的伪原创工具是提高写作效率的重要一环。在这里&#xff0c;我们为您推荐了五款不同特点的伪原创工具&#xff0c;并对它们进行了详细的测评。 第一款伪原创工具&#xff1a;147SEO改写 147SEO改写是一款强大的AI智能伪原创写作工具&#xff0c;具备多个模板供用…

亚马逊云科技 re:Invent 2023:科技前沿风向标

一、前言 亚马逊云科技 re:Invent 2023 已于内华达州的拉斯维加斯盛大举行。 re:Invent 2023 直播活动地址&#xff1a;https://webinar.amazoncloud.cn/reInvent2023/ 关注参加 re:Invent 大会你将有机会参与学习、交流&#xff0c;聆听专家演讲&#xff0c;并观看 Amazon …

物理层之三种数据交换方式(电路交换、报文交换、分组交换(数据报方式、虚电路方式))

学习的最大理由是想摆脱平庸&#xff0c;早一天就多一份人生的精彩&#xff1b;迟一天就多一天平庸的困扰。各位小伙伴&#xff0c;如果您&#xff1a; 想系统/深入学习某技术知识点… 一个人摸索学习很难坚持&#xff0c;想组团高效学习… 想写博客但无从下手&#xff0c;急需…

Linux端口流量统计

Ubuntu sudo apt-get install wiresharkCentOS sudo yum install wiresharkUDP端口统计 sudo tshark -i <interface> -f "udp port <port_number>" -a duration:60 -q -z conv,udp请将 替换为你的网络接口&#xff0c;<port_number> 替换为要监…

玻色量子对外合作

2023年 2023.7 首个央企量子云计算项目&#xff0c;中标&#xff01; 2023.6 勇闯“量子电力”新领域&#xff0c;玻色量子与清大科越达成战略合作 2023.5 玻色量子签约移动云“五岳”量子云计算创新加速计划&#xff01; 2023.3 “量子计算通信”&#xff01;玻色量子与…

Mysql基础(六)多表查询

版权申明&#xff1a;本文用于个人学习记录&#xff0c;学习课程为黑马程序员的mysql教程。如需获取官方的学习视频和文档资料&#xff0c;请至黑马程序员官方获取。下面附上教学视频的链接地址&#xff0c;向提供免费教学视频的老师致敬&#xff0c;学如逆水行舟&#xff0c;不…

ubuntu下如何查看.gz压缩包中的内容,以及grep过滤查找文件中的某些内容

1、查看压缩包file.gz中的全部内容 $ zcat file.gz 2、对一个.gz的压缩包解压缩 $ gunzip file.gz 3、过滤查找文件中的某些内容 $ grep "Hello" file.txt 注&#xff1a;我通常先解压&#xff0c;然后再grep 4、过滤查找文件中的内容&#xff0c;并显示其上下3行…

一维数组,逆序存放并输出【样例输入】20 30 10 50 40 90 80 70【样例输出】70 80 90 40 50 10 30 20

一维数组&#xff0c;逆序存放并输出 【样例输入】 20 30 10 50 40 90 80 70 【样例输出】 70 80 90 40 50 10 30 20 以下是使用C语言编写的将一维数组逆序存放并输出的示例代码&#xff1a; #include <stdio.h>void reverseArray(int arr[], int size) {int start…

算法基础之单调栈

单调栈 求左边最小最近的数的值 没有返回-1 将左边数存入栈(数组模拟) 若stk[tt] >x 说明大于当前值 tt– 利用栈的先进后出特性 能找到左边最近的 #include<iostream>using namespace std;const int N100010;int skt[N],tt;int main(){int n;cin>>n;for(in…

UE使用C++通过定时器启用和停用Tick

写在前面 PrimaryActorTick.bCanEverTick这个赋值为true也好&#xff0c;false也好&#xff0c;好像只能在构造函数里面起作用&#xff0c;应该就是当在构造函数里面执行 PrimaryActorTick.bCanEverTick true; 之后&#xff0c;UE会在BeginPlay阶段自动执行 PrimaryActorT…

JS splice的使用总结

JS splice的使用总结 JavaScript splice() 方法 JavaScript splice() 方法 直译&#xff1a;粘接 定义和用法&#xff1a; splice() 方法用于添加或删除数组中的元素。 这种方法会改变原始数组 参数 Values&#xff1a; 参数描述index必需。从何处添加/删除元素。该参数是开…