基于Flask的岗位就业可视化系统（一）

🌟欢迎来到 我的博客 —— 探索技术的无限可能！


🌟博客的简介（文章目录）

前言

  • 本项目综合了基本数据分析的流程，包括数据采集（爬虫）、数据清洗、数据存储、数据前后端可视化等

  • 推荐阅读顺序为：数据采集——>数据清洗——>数据库存储——>基于Flask的前后端交互，有问题的话可以留言，有时间我会解疑~

  • 感谢阅读、点赞和关注

开发环境

  • 系统：Window 10 家庭中文版。
  • 语言：Python（3.9）、MySQL。
  • Python所需的库：pymysql、pandas、numpy、time、datetime、requests、etree、jieba、re、json、decimal、flask（没有的话pip安装一下就好）。
  • 编辑器：jupyter notebook、Pycharm、SQLyog。
    （如果下面代码在jupyter中运行不完全，建议直接使用Pycharm中运行）

文件说明

在这里插入图片描述
本项目下面有四个.ipynb的文件，下面分别阐述各个文件所对应的功能：（有py版本 可后台留言）

  • 数据采集：分别从前程无忧网站和猎聘网上以关键词数据挖掘爬取相关数据。其中，前程无忧上爬取了270页，有超过1万多条数据；而猎聘网上只爬取了400多条数据，主要为岗位要求文本数据，最后将爬取到的数据全部储存到csv文件中。

  • 数据清洗：对爬取到的数据进行清洗，包括去重去缺失值、变量重编码、特征字段创造、文本分词等。

  • 数据库存储：将清洗后的数据全部储存到MySQL中，其中对文本数据使用jieba.analyse下的extract_tags来获取文本中的关键词和权重大小，方便绘制词云。

  • 基于Flask的前后端交互：使用Python一个小型轻量的Flask框架来进行Web可视化系统的搭建，在static中有css和js文件，js中大多为百度开源的ECharts，再通过自定义controller.js来使用ajax调用flask已设定好的路由，将数据异步刷新到templates下的main.html中。

技术栈

  • Python爬虫：（requests和xpath）
  • 数据清洗：详细了解项目中数据预处理的步骤，包括去重去缺失值、变量重编码、特征字段创造和文本数据预处理 （pandas、numpy）
  • 数据库知识：select、insert等操作，（增删查改＆pymysql） 。
  • 前后端知识：（HTML、JQuery、JavaScript、Ajax）。
  • Flask知识：一个轻量级的Web框架，利用Python实现前后端交互。（Flask）

一、数据采集（爬虫）

1.前程无忧数据爬虫

前程无忧反爬最难的地方应该就是在点击某个网页进入之后所得到的具体内容，这部分会有个滑动验证码，只要使用Python代码爬数据都会被监视到，用selenium自动化操作也会被监视

这里使用猎聘网站上数据挖掘的岗位要求来代替前程无忧

import requests
import re
import json
import time
import pandas as pd
import numpy as np
from lxml import etree

通过输入岗位名称和页数来爬取对应的网页内容

job_name = input('请输入你想要查询的岗位：')
page = input('请输入你想要下载的页数：')

浏览器伪装

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'
}
# 每个页面提交的参数，降低被封IP的风险
params = {'lang': 'c','postchannel': '0000','workyear': '99','cotype': '99','degreefrom': '99','jobterm': '99','companysize': '99','ord_field': '0','dibiaoid': '0'
}
href, update, job, company, salary, area, company_type, company_field, attribute = [], [], [], [], [], [], [], [], []

为了防止被封IP，下面使用基于redis的IP代理池来获取随机IP，然后每次向服务器请求时都随机更改我们的IP（该ip_pool搭建相对比较繁琐，此处省略搭建细节）
假如不想使用代理IP的话，则直接设置下方的time.sleep，并将proxies参数一并删除

proxypool_url = 'http://127.0.0.1:5555/random'
# 定义获取ip_pool中IP的随机函数
def get_random_proxy():proxy = requests.get(proxypool_url).text.strip()proxies = {'http': 'http://' + proxy}return proxies

使用session的好处之一便是可以储存每次的cookies，注意使用session时headers一般只需放上user-agent

session = requests.Session()
# 查看是否可以完成网页端的请求
session.get('https://www.51job.com/', headers = headers, proxies = get_random_proxy())

爬取每个页面下所有数据

for i in range(1, int(page) + 1):url = f'https://search.51job.com/list/000000,000000,0000,00,9,99,{job_name},2,{i}.html'response = session.get(url, headers = headers, params = params, proxies = get_random_proxy())# 使用正则表达式提取隐藏在html中的岗位数据ss = '{' + re.findall(r'window.__SEARCH_RESULT__ = {(.*)}', response.text)[0] + '}'# 加载成json格式，方便根据字段获取数据s = json.loads(ss)data = s['engine_jds']for info in data:href.append(info['job_href'])update.append(info['issuedate'])job.append(info['job_name'])company.append(info['company_name'])salary.append(info['providesalary_text'])area.append(info['workarea_text'])company_type.append(info['companytype_text'])company_field.append(info['companyind_text'])attribute.append(' '.join(info['attribute_text']))
#     time.sleep(np.random.randint(1, 2))

遍历每个链接，爬取对应的工作职责信息

可以发现有些页面点击进去需要进行滑动验证，这可能是因为频繁爬取的缘故，需要等待一段时间再进行数据的抓取，在不想要更换IP的情况下，可以选择使用time模块

for job_href in href:job_response = session.get(job_href)job_response.encoding = 'gbk'job_html = etree.HTML(job_response.text)content.append(' '.join(job_html.xpath('/html/body/div[3]/div[2]/div[3]/div[1]/div//p/text()')[1:]))time.sleep(np.random.randint(1, 3))

保存数据到DataFrame

df = pd.DataFrame({'岗位链接': href, '发布时间': update, '岗位名称': job, '公司名称': company, '公司类型': company_type, '公司领域': company_field, '薪水': salary, '地域': area, '其他信息': attribute})
df.head()

看一下爬到了多少条数据

len(job)

保存数据到csv文件中

df.to_csv('./51job_data_mining.csv', encoding = 'gb18030', index = None)

2.爬取猎聘网站数据

浏览器伪装和相关参数

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.47'
}
job, salary, area, edu, exp, company, href, content = [], [], [], [], [], [], [], []
session = requests.Session()
session.get('https://www.liepin.com/zhaopin/', headers = headers)

通过输入岗位名称和页数来爬取对应的网页内容

job_name = input('请输入你想要查询的岗位：')
page = input('请输入你想要下载的页数：')

遍历每一页上的数据

for i in range(int(page)):url = f'https://www.liepin.com/zhaopin/?key={job_name}&curPage={i}'time.sleep(np.random.randint(1, 2))response = session.get(url, headers = headers)html = etree.HTML(response.text)for j in range(1, 41):job.append(html.xpath(f'//ul[@class="sojob-list"]/li[{j}]/div/div[1]/h3/@title')[0])info = html.xpath(f'//ul[@class="sojob-list"]/li[{j}]/div/div[1]/p[1]/@title')[0]ss = info.split('_')salary.append(ss[0])area.append(ss[1])edu.append(ss[2])exp.append(ss[-1])company.append(html.xpath(f'//ul[@class="sojob-list"]/li[{j}]/div/div[2]/p[1]/a/text()')[0])href.append(html.xpath(f'//ul[@class="sojob-list"]/li[{j}]/div/div[1]/h3/a/@href')[0])

每页共有40条岗位信息

遍历每一个岗位的数据

for job_href in href:time.sleep(np.random.randint(1, 2))# 发现有些岗位详细链接地址不全，需要对缺失部分进行补齐if 'https' not in job_href:job_href = 'https://www.liepin.com' + job_hrefresponse = session.get(job_href, headers = headers)html = etree.HTML(response.text)content.append(html.xpath('//section[@class="job-intro-container"]/dl[1]//text()')[3])

保存数据

df = pd.DataFrame({'岗位名称': job, '公司': company, '薪水': salary, '地域': area, '学历': edu, '工作经验': exp, '岗位要求': content})
df.to_csv('./liepin_data_mining.csv', encoding = 'gb18030', index = None)
df.head()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/7812.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ChatGPT-Next-Web漏洞利用分析（CVE-2023-49785）

ChatGPT-Next-Web漏洞利用分析（CVE-2023-49785）

1. 漏洞介绍 ​ 日常网上冲浪，突然粗看以为是有关Chat-GPT的CVE披露出来了，但是仔细一看原来是ChatGPT-Next-Web的漏洞。漏洞描述大致如下：（如果有自己搭建了还没更新的速速修复升级防止被人利用，2.11.3已经出来了&am…
阅读更多...
个人IP打造孵化运营产业链商业计划书

个人IP打造孵化运营产业链商业计划书

【干货资料持续更新，以防走丢】 个人IP打造孵化运营产业链商业计划书 部分资料预览 资料部分是网络整理，仅供学习参考。 PPT共90页（完整资料包含以下内容） 目录 个人IP运营方案： 1. 个人IP定位与构建 1.1 人格画像构…
阅读更多...
《Python编程从入门到实践》day21

《Python编程从入门到实践》day21

# 昨日知识点回顾 设置背景颜色 在屏幕中央绘制飞船 # 今日知识点学习 12.5 重构：方法_check_events()和_update_screen() 12.5.1 方法_check_events() import sys import pygame from Settings import Settings from Ship import Shipclass AlienInvasion:"…
阅读更多...
基于FPGA的累加器及数码管显示VHDL代码Quartus仿真

基于FPGA的累加器及数码管显示VHDL代码Quartus仿真

名称：基于FPGA的累加器及数码管显示VHDL代码Quartus仿真（文末获取） 软件：Quartus 语言：VHDL 代码功能： 累加器及数码管显示 1、可以通过按键输入1~9 2、数字输入后进行累加，将累加结果显示…
阅读更多...
【计算机科学速成课】笔记三

【计算机科学速成课】笔记三

文章目录 17.集成电路真空管时代晶体管时代集成电路时代印刷电路板时代光刻时代 17.集成电路 Over the past six episodes, we delved into software, 过去 6 集我们聊了软件 \N 从早期编程方式到现代软件工程 from early programming efforts to modern software engineerin…
阅读更多...
部署YUM仓库以及NFS共享服务

部署YUM仓库以及NFS共享服务

YUM仓库部署 一.YUM概述 YUM仓库源是一种软件包管理工具，用于在Linux系统上安装、更新和删除软件包。YUM仓库源包含了软件包的元数据信息和实际的软件包文件。用户可以通过配置YUM仓库源，从中下载和安装软件包。 常见的YUM仓库源包括： 本…
阅读更多...
截图工具Snipaste：不仅仅是截图，更是效率的提升

截图工具Snipaste：不仅仅是截图，更是效率的提升

在数字时代，截图工具已成为我们日常工作和生活中不可或缺的一部分。无论是用于工作汇报、学习笔记，还是日常沟通，一款好用的截图工具都能大大提升我们的效率。今天，我要向大家推荐一款功能强大且易于使用的截图软件——Snipaste。…
阅读更多...
强大的禄得可转债自定义因子轮动系统完成，可转债三低为例子

强大的禄得可转债自定义因子轮动系统完成，可转债三低为例子

经过几天的测试终于完成了可转债自定义因子轮动，超过1000行的源代码 我提供了服务器的数据支持自动api下载，我给大家维护数据 网页 http://120.78.132.143:8023/ 录得数据支持http://120.78.132.143:8023/lude_data_app api数据支持，我提供…
阅读更多...
Vulnhub项目：ICA: 1

Vulnhub项目：ICA: 1

1、靶机介绍 靶机地址：ICA: 1 ~ VulnHub 2、渗透过程 首先，部署好靶机后，进行探测，发现靶机ip和本机ip，靶机ip156，本机ip146。 然后查看靶机ip有哪些端口，nmap一下。 出现22、80、3306端口&a…
阅读更多...
【C#】.net core 6.0 MVC返回JsonResult显示API接口返回值不可被JSON反序列化

【C#】.net core 6.0 MVC返回JsonResult显示API接口返回值不可被JSON反序列化

欢迎来到《小5讲堂》 这是《C#》系列文章，每篇文章将以博主理解的角度展开讲解。 温馨提示：博主能力有限，理解水平有限，若有不对之处望指正！ 目录 背景API接口接口代码请求失败原因排查调通效果 常见返回类型相关文章 …
阅读更多...
并行执行的概念—— 《OceanBase 并行执行》系列 一

并行执行的概念—— 《OceanBase 并行执行》系列 一

From 产品经理： 这是一份姗姗来迟的关于OceanBase并行执行的系统化产品文档。 自2019年起，并行执行功能已被许多客户应用于多种场景之中，其重要性日益凸显。然而，遗憾的是，我们始终未能提供一份详尽的用户使用文档&…
阅读更多...
VMware下Ubuntu的安装教程

VMware下Ubuntu的安装教程

文章目录 一、Ubuntu如何下载1.下载官方地址https://ubuntu.com/2.点选Ubuntu服务器版本3.点击下载Ubuntu服务器版本iso镜像二、VMware安装Ubuntu服务器系统1.创建虚拟机2.选择下载好的Ubuntu服务器镜像3.创建安装完成三、Ubuntu Server如何设置1.Ubuntu Server没有中文所以全都…
阅读更多...
突破AI迷雾：英特尔携手星环科技打造向量数据库革新方案，直降大模型幻觉

突破AI迷雾：英特尔携手星环科技打造向量数据库革新方案，直降大模型幻觉

去年爆火的大模型，正在从百模大战走向千行百业落地应用。不过行业数据规模有限，企业数据隐私安全的要求等等因素，都让行业大模型的准确率面临挑战。近期发布的《CSDN AI 开发者生态报告》数据显示，“缺乏数据/数据质量问题”在大模…
阅读更多...
Pycharm远程同步的mapping与sync

Pycharm远程同步的mapping与sync

用Pycharm进行项目远程部署的时候会遇到两个同步文件，一个是点击 tools—>deployment—>configration——>mapping 一个是链接虚拟环境的时候会有一个sync，那么这两种同步有什么区别呢？ 区别就是，2包括1，要用…
阅读更多...
常见错误以及如何纠正它们

常见错误以及如何纠正它们

团队和关键结果目标 (OKR) 之间的关系是深刻且至关重要的。总而言之，一切都应该是相互关联的。正如《团队的智慧》一书中所强调的： 在团队中，没有什么比每个成员对共同目标和一组相关绩效目标的承诺更重要的了，而团队对此负有共同…
阅读更多...
【热门话题】实用Chrome命令：提升前端开发效率的利器

【热门话题】实用Chrome命令：提升前端开发效率的利器

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要，勿增实体" 文章目录 实用Chrome命令：提升前端开发效率的利器引言目录1. 快速打开Chrome …
阅读更多...
Django调用MTP服务器给指定邮箱发送邮件

Django调用MTP服务器给指定邮箱发送邮件

Django调用MTP服务器发送邮箱 邮箱的激活链接含有用户数据不能直接发送需要对其进行加密 发送邮箱是借助SMTP服务器进行中转 一. 配置SMTP服务中的邮箱信息以及激活链接 1. 配置邮箱权限 打开网易邮箱设置点击POP3 开启选项 注 : 在打开的过程中会弹出授权密码一点要保存 …
阅读更多...
C++ 递归函数

C++ 递归函数

一 递归函数 递归函数(Recursive Function）即自调用函数，即在函数体内有直接或间接地自己调用自己的语句。 大多数递归函数都能够用非递归函数代替。 例如：求两个整数a,b的最大公约数。 算法描述： 大多数递归函数都能用非递归…
阅读更多...
Angular中组件之间的传值

Angular中组件之间的传值

Angular中组件之间的传值 文章目录 Angular中组件之间的传值前言一、父亲向儿子传值二、儿子向父亲传值三、爷爷向孙子传值四、兄弟之间的传值 前言 Angular的组件是构成应用的基础单元，它们封装了HTML模板、TypeScript代码以及CSS样式，以实现特定的功能…
阅读更多...
rag-embeddings基础流程

rag-embeddings基础流程

什么是检索增强的生成模型 LLM 固有的局限性 LLM 的知识不是实时的LLM 可能不知道你私有的领域/业务知识 检索增强生成 RAG（Retrieval Augmented Generation）顾名思义，通过检索的方法来增强生成模型的能力。 类比：你可以把这个…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023