大数据技术在民生资金专项审计中的应用

一、应用背景

目前，针对审计行业，关于大数据技术的相关研究与应用一般包括大数据智能采集数据技术、大数据智能分析技术、大数据可视化分析技术以及大数据多数据源综合分析技术。其中，大数据智能采集数据技术是通过网络爬虫或者WebService接口实现跨部门在线数据交互；大数据的多数据源综合分析技术是目前审计领域应用大数据比较成熟和主流的内容，它是通过对采集来的各行、各业、各类大数据，采用数据查询等常用方法或其他大数据技术方法进行相关数据的综合比对和关联分析，从而可以发现更多隐藏的审计线索。本文以大数据智能采集数据技术和大数据多数据源综合分析技术为例，设计大数据审计案例。

二、方案设计

本次以失业保险基金专项审计为案例，设计大数据审计方案，由下图可以看出，大数据审计的流程是：首先广泛采集不同原始数据；原始数据存在噪声、异常值、缺失值等问题，所以需要对原始数据预处理，方便后面数据分析；接着根据业务需求，选择合适的数据分析模型，数据量大的话可以选择MySQL、oracle、SqlServer等SQL语言对数据进行查询分析，数据量小的话可以选择excel常用的内嵌函数，技术是服务项目的，能解决项目问题的技术就是好技术；最后根据数据分析结果发现审计疑点。
在这里插入图片描述

三、数据采集、预处理

在民生资金审计项目中，要根据审计实施方案明确数据采集范围。失业保险基金审计项目需要采集的数据有业务数据和外部关联数据。业务数据包含相关政策法规、公示公告信息、领取失业补助金明细表、技能提升补贴明细表等，这些数据由被审计单位提供，也可以通过网络爬虫的方式获取政策法规、公示公告等文本信息。外部关联数据包含社保缴费记录、死亡信息、移民境外数据、被判刑收监执行数据等，这些数据包含一些敏感信息，难以直接采集，有的信息需要逐条从相关信息系统查询，给大数据审计工作带来阻力。

1、网络爬虫应用背景

在这里插入图片描述

2、什么是网络爬虫

网络爬虫是一种自动化程序，可以从互联网上抓取数据。爬虫通过HTTP协议与互联网上的服务器进行通信，获取HTML页面或者其他格式的数据。这些数据可以用于各种用途，例如搜索引擎、数据挖掘、舆情监测等。

3、Java中的网络爬虫框架

 Java中有很多优秀的网络爬虫框架，例如Jsoup、HttpClient、WebMagic等。本文将以WebMagic为例，介绍如何使用Java编写一个简单的网络爬虫程序。

4、WebMagic介绍

 WebMagic是一个基于Java开发的分布式网络爬虫框架。它提供了简单易用的API接口，可以方便地进行定制化开发。WebMagic支持多线程下载和分布式处理，并且支持解析HTML、XML和JSON等多种页面格式。

5、WebMagic的基本使用

①、定义一个爬虫类，实现PageProcessor接口，并重写其process方法。②、在process方法中，编写抓取逻辑，包括解析页面、提取数据等操作。③、使用WebMagic提供的选择器(Selector)工具，可以通过CSS选择器、XPath等方式来定位页面元素。④、利用Page对象提供的方法，获取页面数据，并保存到自定义的数据结构中。⑤、在抓取逻辑完成后，将数据输出到文件、数据库或其他目标。

6、具体Java代码实现

package com.nzsjj.service;import com.nzsjj.entity.Title;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Selectable;import java.util.List;
import java.util.Random;/*** 功能：PageProcessor负责解析页面，抽取有用信息，以及发现新的链接* 作者：郝xx* 单位：xxx审计局*/@Service("sxsProcessor")
public class SXSProcessor implements PageProcessor {private Logger logger = LoggerFactory.getLogger(this.getClass());//xx县人民政府网网址static String URL="http://www.xxx.gov.cn/xwzx/gsgg/index.shtml";public String getURL(){return URL;}//抓取网站的相关配置，包括编码、抓取间隔、重试次数等private Site site=Site.me()// 设置字符编码集.setCharset("utf-8")// 设置线程休眠时间.setSleepTime(new Random().nextInt(20)*1000)// 设置Http连接重试次数.setRetryTimes(3);//process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑@Overridepublic void process(Page page) {String urlNum=null;//获取页面页数if (URL.contains("index_")){urlNum=URL.substring(URL.indexOf("index_")+6,URL.indexOf("index_")+7);}else {urlNum="0";}logger.info("爬取南漳县人民政府网公示公告栏第"+(Integer.valueOf(urlNum)+1)+"页类容");//解析页面内容List<Selectable> nodes = page.getHtml().xpath("//div[@class='content-news']").nodes();for (Selectable node:nodes) {//通过Xpath解析信息分析xx县人民政府网公示公告模块信息//文章名称String titleName = node.xpath("//h3[@class='ellipsis']/a/text()").get();//文章的详细网址String titleUrl=node.xpath("//a/@href").get();//发布时间String time=node.xpath("//span[@class='time']/text()").get();if (titleName==null
//                    || !titleName.contains("技能提升补贴")
//                    || !titleName.contains("稳岗")
//                    || !titleName.contains("失业保险")){continue;}Title title = new Title();title.setTitleName(titleName);title.setTitleUrl(titleUrl);title.setTime(time);logger.info(title.toString());}//页数加一Integer pageIndex=Integer.valueOf(urlNum)+1;//停止爬虫的条件if(pageIndex>100) return;//替换掉url中的页数if (URL.contains("index_")){URL = URL.replace(URL.substring(URL.indexOf("index_"),URL.length()),"index_"+String.valueOf(pageIndex)+".shtml");}else {URL = URL.replace(URL.substring(URL.indexOf("index"),URL.length()),"index_"+String.valueOf(pageIndex)+".shtml");}//跳转下一页page.addTargetRequest(URL);}/*** 返回site对象* site是站点配置 使用Site，me()创建site对象* @return*/@Overridepublic Site getSite() {return site;}
}

7、数据分析之前为什么要对原始数据进行预处理？

原始数据往往存在噪声、异常值、缺失值等问题，这些问题会对数据分析结果产生负面影响。通过数据预处理，可以除去噪声和异常值，填补缺失值，提高数据质量。

  • 原始数据

在这里插入图片描述

  • 预处理后的数据
    在这里插入图片描述

四、数据分析

基于多数据源综合分析技术的失业保险基金大数据审计原理就是根据被审计单位提供的受补人员明细，与医保局、社保局、民政、公安等部门数据进行综合分析，从而发现相关审计线索，在此基础上，通过进一步的延伸取证，最终获得审计证据。其原理如图一所示，具体步骤如下：
以相关政策法规为依据 ，将领取失业保险金的人员明细与社保数据、民政数据、公安数据等关联对比分析，判断失业人员领取失业保险金补助的条件是否符合，领取补贴月数是否合规。

  • SQL:
select * from 失业保险金受补明细表,社保数据
where 失业保险金受补明细表.身份证号=社保数据.身份证号
and 失业保险金受补明细表.身份证号=民政数据.身份证号
and  ……
  • EXCEL: vlookup函数

五、应用效果

在审计项目实施过程中，数据组成员根据大数据审计方案，采用网络爬虫方式采集非结构化数据（文本数据），爬虫能够获取全面的获取数据，提高了数据的精准性，同时节约人力和时间，大大提升了工作效率。根据项目具体实施情况，制定合适的数据分析模型，帮助审计人员快速发现审计疑点，在本次失业保险基金专项审计项目中，发现多个审计疑点，其中，苏某、赵某、王某三人在就业期间领取就业补助金，涉及金额共计27,000元。

六、应用特点

  • 优点

    网络爬虫采集数据快速、精准，审计人员操作简单，节省了人力、时间；制定大数据多数据源综合分析技术能够帮助审计人员快速发现审计疑点，缩小审计范围，提高了工作效率。

  • 缺点
    该爬虫程序访问受限。由于该程序部署在本地电脑，只有电脑开机并启动程序时审计人员才能访问该程序。其次，外围数据访问受限，不利于数据关联分析。

七、推广建议

在数据采集过程中。为了使网络爬虫技术更好的应用于审计项目中，需要计算机人员了解审计业务经常需要访问的网站，并对不同的网站进行分析设计出特有的爬虫程序，该程序可根据用户输入的网址选择特定的爬虫方式，这样就扩大了该项技术的应用范围，提高审计工作效率。
在数据应用过程中，审计部门是数据需求的主动方，数据拥有方处于被动配合的地位。想要更好的实现大数据多数据源综合分析技术，需要拥有者和使用者首先进行协商，然后由数据拥有方按照自身的责任和义务对所管理的数据进行业务功能归类，供数据需求方调用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/597401.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Docker无法启动Postgresql容器

Docker无法启动Postgresql容器

目录 问题描述解决问题 问题描述 拉取了一个Postgresql14.2的镜像&#xff0c;在docker run创建并运行容器之后使用docker ps发现容器没有跑起来&#xff0c;再次使用docker start也没跑起来。 docker run -d --name mypg -v psql-data:/var/lib/postgresql/data -e POSTGRES…
阅读更多...
Python random模块（获取随机数）常用方法和使用例子

Python random模块（获取随机数）常用方法和使用例子

嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 random.random random.random()用于生成一个0到1的随机符点数: 0 < n < 1.0 random.uniform random.uniform(a, b)&#xff0c;用于生成一个指定范围内的随机符点数&#xff0c;两个参数其中一个是上限&#xff0c;一…
阅读更多...
2023-我的CSDN创作之旅

2023-我的CSDN创作之旅

1.博客内容与数量 2023年共发表博客59篇&#xff0c;内容主要集中在GIS&#xff0c;空间分析等领域 主要内容有&#xff1a; networkx学习 Geospatial Data Science Geocomputation ESDA in PySal SHAP Spatial Data Analysis BikeDNA 以下是对这几个章节主要内容的简…
阅读更多...
html+css 对input的使用以及详解

html+css 对input的使用以及详解

表单 form标签主要用于收集用户信息&#xff0c;对表单结果的处理和发送 使用场景&#xff1a;登录页面、注册页面、搜索区域 form属性描述action规定当提交表单时向何处发送表单数据method规定用于发送表单数据的 HTTP 方法name规定表单的名称target规定在何处打开 action …
阅读更多...
矩阵式键盘按键值的数码管显示实验

矩阵式键盘按键值的数码管显示实验

#include<reg51.h> //包含51单片机寄存器定义的头文件 sbit P14P1^4; //将P14位定义为P1.4引脚 sbit P15P1^5; //将P15位定义为P1.5引脚 sbit P16P1^6; //将P16位定义为P1.6引脚 sbit P17P1^7; //将P17位定义为P1.7引脚 unsigned char code Tab[ ]…
阅读更多...
CTF-PWN-栈溢出-高级ROP-【SROP】

CTF-PWN-栈溢出-高级ROP-【SROP】

文章目录 linux信息处理2017 360春秋杯 smallest检查源码思路第一次要执行ret时的栈执行write函数时修改rsp到泄露的栈地址上去 输入/bin/sh并sigreturn调用系统调用回忆exp注意一个离离原上谱的地方 参考链接 SROP(Sigreturn Oriented Programming) 于 2014 年被 Vrije Univer…
阅读更多...
简单多状态dp问题(打家劫舍Ⅱ)

简单多状态dp问题(打家劫舍Ⅱ)

通过分类谈论&#xff0c;将环形的问题&#xff0c;转化成两个线性的 “ 打家劫舍Ⅰ ” 1.状态表示 2.状态转移方程 3.初始化 f[ 0 ] nums[ 0 ] g[ 0 ] 0 4.填表顺序 从左往右填表&#xff0c;两个表一块填 5.返回值 max( f[ n-1 ] , g [ n - 1 ] )
阅读更多...
【Bug】Android BottomNavigationView 图标黑色色块问题

【Bug】Android BottomNavigationView 图标黑色色块问题

最近在研究Android Jetpack组件&#xff0c;在使用Navigation配合底部导航栏时&#xff0c;发现一个奇怪的问题&#xff0c;如下&#xff1a; 说明&#xff1a;图标来源于Iconfont开源图标库 我的第三个图标变成了一个黑色色块&#xff0c;这个问题前两天我遇见过&#xff0c…
阅读更多...
.NetCore部署微服务（一）

.NetCore部署微服务（一）

目录 前言 什么是微服务 微服务的优势 微服务的原则 创建项目 在Docker中运行服务 客户端调用 简单的集群服务 前言 写这篇文章旨在用最简单的代码阐述一下微服务 什么是微服务 微服务描述了从单独可部署的服务构建分布式应用程序的体系结构流程&#xff0c;同时这些…
阅读更多...
C# 使用Microsoft消息队列(MSMQ)

C# 使用Microsoft消息队列(MSMQ)

写在前面 Microsoft Message Queuing (MSMQ) 是在多个不同的应用之间实现相互通信的一种异步传输模式&#xff0c;相互通信的应用可以分布于同一台机器上&#xff0c;也可以分布于相连的网络空间中的任一位置。 使用消息队列可以实现异步通讯&#xff0c;无需关心接收端是否在…
阅读更多...
海康威视摄像头+服务器+录像机配置校园围墙安全侦测区域入侵侦测+越界侦测.docx

海康威视摄像头+服务器+录像机配置校园围墙安全侦测区域入侵侦测+越界侦测.docx

一、适用场景 1、校园内&#xff0c;防止课外时间翻越围墙到校外、从校外翻越围墙到校内&#xff1b; 2、通过服务器摄像头的侦测功能及时抓图保存&#xff0c;为不安全因素提供数字化依据&#xff1b; 3、网络录像机保存监控视频&#xff0c;服务器保存抓拍到的入侵与越界&am…
阅读更多...
UI自动化Selenium iframe切换多层嵌套

UI自动化Selenium iframe切换多层嵌套

IFRAME是HTML标签&#xff0c;作用是文档中的文档&#xff0c;或者浮动的框架(FRAME)。iframe元素会创建包含另外一个文档的内联框架(即行内框架)。 简单来说&#xff0c;就像房子内的一个个房间一样&#xff1b;你要去房间里拿东西&#xff0c;就得先开门&#xff1b; 如上图…
阅读更多...
出现 No such instance field: ‘XXXX‘ 的解决方法

出现 No such instance field: ‘XXXX‘ 的解决方法

目录 1. 问题所示2. 原理分析3. 解决方法1. 问题所示 作为一个全栈的开发玩家，需要调试前后端的数据传输，方便发现问题所在！ 在debug整个项目的时候，检查传输数据的时候，发现前端可以传输，但是后端一直拿不到 出现如下问题：No such instance field: parentModel 截图…
阅读更多...
UI5与后端的文件交互（四）

UI5与后端的文件交互（四）

文章目录 前言一、后端开发1. 新建管理模板表格2. 新建Function&#xff0c;动态创建文档 二、修改UI5项目1.Table里添加下载证明列2. 实现onClickDown事件 三、测试四、附 前言 这系列文章详细记录在Fiori应用中如何在前端和后端之间使用文件进行交互。 这篇的主要内容有&…
阅读更多...
Leetcode的AC指南 —— 字符串/卡码网：55. 右旋字符串

Leetcode的AC指南 —— 字符串/卡码网：55. 右旋字符串

摘要&#xff1a; Leetcode的AC指南 —— 字符串/卡码网&#xff1a;55. 右旋字符串。题目介绍&#xff1a;字符串的右旋转操作是把字符串尾部的若干个字符转移到字符串的前面。给定一个字符串 s 和一个正整数 k&#xff0c;请编写一个函数&#xff0c;将字符串中的后面 k 个字…
阅读更多...
灸哥问答：数据结构对软件开发的作用

灸哥问答：数据结构对软件开发的作用

在软件开发的浩瀚海洋中&#xff0c;数据结构如同一座坚固的灯塔&#xff0c;为开发者指明方向&#xff0c;确保他们在构建复杂系统时不会迷失。数据结构不仅仅是编程的基础&#xff0c;更是高效、稳定、可扩展软件的核心。 一、提升算法效率 数据结构与算法紧密相连&#xf…
阅读更多...
antd——a-date-picker——日期的限制功能——js基础积累

antd——a-date-picker——日期的限制功能——js基础积累

antd——a-date-picker——日期的限制功能——js基础积累 禁用日期一、限制只能选明天及之后的日期&#xff08;今天不可选中&#xff09;二、限制只能选今天及之后的日期&#xff08;今天可选中&#xff09;三、限制只能选昨天及之前的日期&#xff08;今天不可选中&#xff0…
阅读更多...
Java业务功能并发问题处理

Java业务功能并发问题处理

业务场景&#xff1a; 笔者负责的功能需要调用其他系统的进行审批&#xff0c;而接口的调用过程耗时有点长&#xff08;可能长达10秒&#xff09;&#xff0c;一个订单能被多个人提交审批&#xff0c;当订单已提交后会更改为审批中&#xff0c;不能再次审批&#xff08;下游系…
阅读更多...
05-微服务-RabbitMQ-概述

05-微服务-RabbitMQ-概述

RabbitMQ 1.初识MQ 1.1.同步和异步通讯 微服务间通讯有同步和异步两种方式&#xff1a; 同步通讯&#xff1a;就像打电话&#xff0c;需要实时响应。 异步通讯&#xff1a;就像发邮件&#xff0c;不需要马上回复。 两种方式各有优劣&#xff0c;打电话可以立即得到响应&am…
阅读更多...
canvas设置文字阴影

canvas设置文字阴影

查看专栏目录 canvas示例教程100专栏&#xff0c;提供canvas的基础知识&#xff0c;高级动画&#xff0c;相关应用扩展等信息。canvas作为html的一部分&#xff0c;是图像图标地图可视化的一个重要的基础&#xff0c;学好了canvas&#xff0c;在其他的一些应用上将会起到非常重…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023