主数据管理案例-某政务

1、 背景介绍及难点分析

       近年来,我国在大数据发展方面持续发力,取得了明显成效。但也要看到,目前我国大数据发展还存在“孤岛化”“碎片化”等问题,无序参与过度与创新参与不足并存,导致大数据资源配置统筹不,部门间缺乏有效互动,开放的大数据平台缺失,大数据的应有作用尚未充分发挥出来。

        目前某省政府 70 多个省级部门拥有和管理的数据, 如典型的公安、交通、医疗、 卫生、就业、社保、地理、 文化、教育、科技、环境、金融、 统计、气象等数据, 呈现数量巨大,结构复杂,类型众多特点。 但各部门却各自为战、 独立建设, 即使在省级部门内部也是垂直和水平并存。无法有效支撑某省政府“群众办事百项堵点疏解行动”和实现“一网通办”的信息化建设目标。

        各部门数据问题突出表现如下:

        (1) 各部门信息化差异大: 信息化程度差, 老旧数据多; 各部门信息系统建设自成一体、数据融合困难。

        (2) 缺乏统一数据标准、 无细化技术规范: 数据格式五花八门, 信息获取困难; 数据模型差异大; 同样的数据往往有多个来源, 缺乏准确的数据识别和指标定义, 造成数据口径不一致,统计指标差异大。

        (3) 数据保护主义严重, 数据资源分散: 受到部门利益以及相关法律、法规与行政管理体制等约束,各部门对各自业务数据有很强的保护意识,各局委办自成一体,信息孤岛情况严重;数据资源分散在不同的部门的业务系统中,没有实现资源有效的汇集整合,更难以实现整合数据价值点挖掘,支撑决策分析。

        (4) 数据权限设定难, 数据安全风险大: 数据所有者理解难, 导致数据审批流程难以确认; 数据汇集后,无端到端的安全保证。

2、 建设过程

        政务主数据管理立足于对政务信息化的深刻理解, 依托于成熟、先进的主数据管理解决方案,全面梳理识别出全省范围内的主数据,建立起有某省特色的主数据管理体系,为政府职能转变升级,打造透明、阳光、责任政府,以及响应国家层面的政务大数据公开和数据驱动创新创业的大格局保驾护航。具体实现如下:

        (1) 制定统一的数据标准,技术规范。 严格遵循数据标准规范,在数据治理过程中,稽核数据质量,针对问题数据形成数据工单,下发数据提供者,不断提升提供者提交的数据规范性。

        (2) 实现政务数据资源共享。 打破信息孤岛,变“群众跑腿”为“信息跑路”,变“群众来回跑”为“部门协同办”,变被动服务为主动服务,快速实现政府部门间跨地区、跨层级的信息共享, 强化业务协同应用。

        (3) 丰富的政务应用:利用数据开展大数据分析,辅助政府在政府治理、 服务民生和产业发展等方面做智慧决策。

        (4) 立体的安全保障

        ⚫ 数据管理安全:统一管理策略融入数据流, 每个环节都需要嵌入数据安全管理和数据安全策略的执行。

        ⚫ 数据隐私保护:基于用户授权、白名单( 敏感用户)提供差异化的隐私策略, 提供覆盖整个数据生命周期的隐私保护。

        ⚫ 数据开放安全:数据资源安全分级、 开放策略制定、 数据授权机制以及安全合规。

(5) 安全分析:职能监测、威胁预测、智能响应以及安全态势分析。

        某省主数据管理实现方案如下图所示: 具体实现根据实现方案, 从以下几个方面进行:

 (1) 主数据识别和采集

        ⚫ 主数据识别、 标准化: 依据某省政务活动的需要, 编制某省自然人、社会法人基础库的数据元标准和通用代码标准, 以规范自然人、法人主数据管理工作的开展。

        ⚫ 主数据采集: 按照对主数据的共享的时效性要求, 可采用两种方案进行。

(2) 主数据清洗和转换

        ⚫ 非实时数据: 对于非实时数据,首先进入归集库,在归集库中存放和原始数据一致的镜像。 归集库的数据需通过一定的清洗(如剔重、 过滤无效数据等)和转换(如代码、数据格式转换等) 后, 形成符合技术和业务标准的数据进入中心库, 以作为省大数据中心对外共享开放的最原始数据。清洗和转换可通过 ETL 工具实现。

        ⚫ 实时数据: 实时数据因其低延时的要求,需使用实时流数据处理方法进行数据的清洗和转换后,直接进入中心库。

(3) 基础库建设和服务

        ⚫ 基础库建设: 政府数据来源广、共享需求大,如果对数据只做识别、集成、 质量管理等操作, 无法实现主数据的高效、高质共享。 因此, 需依据业务需求,对采集来的主数据进行逻辑数据模型设计、整合打通数据,来减少数据冗余、提高数据的访问效率。

        ⚫ 数据服务: 自然人和法人基础库的数据, 可通过 API 接口的方式对外提供服务。 API 网关可提供 API 快速开发和部署、 负载均衡、流量控制、接口日志、接口服务质量管理等功能。 各委办局使用统一的接口协议和数据标准进行自然人、法人主数据的访问。

(4) 数据治理

        数据治理目标如下:

        1. 建立全省统一的自然人、法人库数据标准, 并进行统一的管理、维护和查询引用;

        2. 通过数据质量管理系统落实数据标准的落地, 持续推进全省主数据数据质量的改进;

        3. 通过元数据管理为主数据管理的各个数据处理阶段提供数据标准、数据映射关系和数据规则的描述,保障主数据管理的数据质量。

3、 建设成果

        因政府的特殊性, 某省政府主数据管理与其它行业的主数据管理,存在许多的差异。在某省政府主数据管理解决方案中, 针对某省的特点, 因地制宜地采取了对应的措施。

        ⚫ 坚决推行“一数一源”,对于每一项主数据, 依据各级机构的行政职能和业务属性来准确识别数据来源。 发生数据不一致、冲突时,以数据源的数据为准。 (如自然人基本信息:自然人的身份证、姓名、性别等数据来源于公安, 婚姻来源于民政,学历、 教育信息来源于教育部门。 )

        ⚫ 对于省垂直的系统,优先从省厅局获取数据, 地市数据作为参考,对于地市水平的系统,优先从地市获取数据,省厅局数据作为参考。

        ⚫ 在“一数一源”基础上, 使用上下级机构或平行机构的数据和数源单位进行主数据的交叉核对, 以提高自然人、法人主数据的及时性、准确性。

        数据管理治理平台整体流程如下图所示。

           本平台除主数据管理外,还涉及到共享交换、目录、 共享网站、 统一维护管理平台、 ETL 等系统。所有系统在客户侧的入口都是共享网站, 因此主数据管理系统需和共享网站进行集成,通过共享网站单点登陆进行账号安全认证,并将问题数据工单推送到统一维护管理平台。平台同事也确保了数据安全。 自然人、法人的许多信息涉及到个人隐私、商业机密等,在共享时需要高度保证数据的安全性, 以防止非法窃听、信息涉密等。 本项目对敏感信息做了事前、 事中、 事后三个阶段安全保障。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/40940.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】list容器

1.list基本概念 2.list构造函数 #include <iostream> using namespace std;#include<list> //链表list容器构造函数//输出list链表 void printList(const list<int>& L) {for (list<int>::const_iterator it L.begin(); it ! L.end(); it){cout &…

STM32入门学习之定时器PWM输出

1.脉冲宽度调制PWM(Pulse Width Modulation)是利用微处理器的数字输出来对模拟电路进行控制的一种非常有效的技术。PWM可以理解为高低电平的占空比&#xff0c;即输出高电平时间与低电平时间的比值。PWM的应用是否广泛&#xff0c;比如在步进电机的控制中&#xff0c;可以通过P…

【MySQL系列】-回表、覆盖索引真的懂吗

【MySQL系列】-回表、覆盖索引真的懂吗 文章目录 【MySQL系列】-回表、覆盖索引真的懂吗一、MYSQL索引结构1.1 索引的概念1.2 索引的特点1.3 索引的优点1.4 索引的缺点 二、B-Tree与BTree2.1 B-Tree2.2 BTree2.3 B-Tree 与BTree树的区别2.4 那么为什么InnoDB的主键最好要搞成有…

【软件测试】接口测试工具APIpost

说实话&#xff0c;了解APIpost是因为&#xff0c;我的所有接口相关的文章下&#xff0c;都有该APIpost水军的评论&#xff0c;无非就是APIpost是中文版的postman&#xff0c;有多么多么好用&#xff0c;虽然咱也还不是什么啥网红&#xff0c;但是不知会一声就乱在评论区打广告…

【力扣每日一题】2023.8.14 合并二叉树

目录 题目&#xff1a; 示例&#xff1a; 分析&#xff1a; 代码&#xff1a; 题目&#xff1a; 示例&#xff1a; 分析&#xff1a; 给我们合并两棵二叉树&#xff0c;合并的方式就是把对应位置的节点的值相加&#xff0c;最后把合并后的二叉树的根节点返回出去。 这类二…

一文看尽R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD详解

一文看尽R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD详解 以下六篇文章总结详细&#xff1a; 1. 一文读懂目标检测&#xff1a;R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD 2. 【深度学习】R-CNN 论文解读及个人理解 3、R-CNN论文详解 4、一文读懂Faster RCNN 5、学一百遍都…

JAVA基础知识(六)——异常处理

异常 一、异常概述与异常体系结构二、常见异常三、异常处理机制一&#xff1a;try-catch-finally四、异常处理机制二&#xff1a;throws五、手动抛出异常&#xff1a;throw六、用户自定义异常类七、开发中如何选择使用try-catch-finally还是使用throws八、如何看待代码中的编译…

goland插件推荐Rider UI Theme Pack

推荐一个goland配色插件Rider UI Theme Pack&#xff0c;里面自带visual assist配色&#xff0c;配色截图如下&#xff1a; 直接在plugins里面进行搜索或者在插件home page下载后进行安装&#xff0c; 然后按照下图进行设置即可。 此插件还适用于Jetbrains旗下的Clion和Pycharm…

WX1860- ngbe-1.2.5 xdp程序在路由模式下,使用iperf工具测试数据包不转发,用jmeter可以

本地验证时重定向iperf包有出现calltrace错误&#xff0c;经推断&#xff0c;系统PAGE_SIZE<8k时可能出现&#xff08;getconf PAGE_SIZE指令可查看&#xff09;&#xff0c;按下图将ngbe_main.c的2350行ngbe_rx_bufsz改为ngbe_rx_pg_size可修复。其次&#xff0c;需要将加载…

Linux多线程【初识线程】

✨个人主页&#xff1a; 北 海 &#x1f389;所属专栏&#xff1a; Linux学习之旅 &#x1f383;操作环境&#xff1a; CentOS 7.6 阿里云远程服务器 文章目录 &#x1f307;前言&#x1f3d9;️正文1、什么是线程&#xff1f;1.1、基本概念1.2、线程理解1.3、进程与线程的关系…

分布式事务与解决方案

一、什么是分布式事务 首先我们知道本地事务是指事务方法中的操作只依赖本地数据库&#xff0c;可保证事务的ACID特性。而在分布式系统中&#xff0c;一个应用系统被拆分为多个可独立部署的微服务&#xff0c;在一个微服务的事务方法中&#xff0c;除了依赖本地数据库外&#…

【深入理解ES6】块级作用域绑定

1. var声明及变量提升机制 提升&#xff08;Hoisting&#xff09;机制&#xff1a;通过关键字var声明的变量&#xff0c;都会被当成在当前作用域顶部生命的变量。 function getValue(condition){if(condition){var value "blue";console.log(value);}else{// 此处…

代码随想录算法训练营第三十六天 | 435. 无重叠区间,763.划分字母区间,56. 合并区间

代码随想录算法训练营第三十六天 | 435. 无重叠区间&#xff0c;763.划分字母区间&#xff0c;56. 合并区间 435. 无重叠区间:eyes:题目总结:eyes: 763.划分字母区间:eyes:题目总结:eyes: 56. 合并区间:eyes:题目总结:eyes: 435. 无重叠区间 题目链接 视频讲解 给定一个区间的…

并发编程系列-Semaphore

Semaphore&#xff0c;如今通常被翻译为"信号量"&#xff0c;过去也曾被翻译为"信号灯"&#xff0c;因为类似于现实生活中的红绿灯&#xff0c;车辆是否能通行取决于是否是绿灯。同样&#xff0c;在编程世界中&#xff0c;线程是否能执行取决于信号量是否允…

8.10 用redis实现缓存功能和Spring Cache

什么是缓存? 缓存(Cache), 就是数据交换的缓冲区,俗称的缓存就是缓冲区内的数据,一般从数据库中获取,存储于本地代码。 通过Redis来缓存数据&#xff0c;减少数据库查询操作; 逻辑 每个分类的菜品保存一份缓存数据 数据库菜品数据有变更时清理缓存数据 如何将商品数据缓存起…

p-级数的上界(Upper bound of p-series)

积分判别法-The Integral Test https://math.stackexchange.com/questions/2858067/upper-bound-of-p-series https://courses.lumenlearning.com/calculus2/chapter/the-p-series-and-estimating-series-value/ 两个重要级数&#xff08;p级数和几何级数&#xff09; ht…

WPF显示初始界面--SplashScreen

WPF显示初始界面–SplashScreen 前言 WPF应用程序的运行速度快&#xff0c;但并不能在瞬间启动。当第一次启动应用程序时&#xff0c;会有一些延迟&#xff0c;因为公共语言运行时&#xff08;CLR&#xff09;首先需要初始化.NET环境&#xff0c;然后启动应用程序。 对于WPF中…

高忆管理:股票T+0交易是什么意思?t+0交易有什么好处?

股票的买卖准则有很多种&#xff0c;T0买卖便是其中之一。那么股票T0买卖是什么意思&#xff1f;t0买卖有什么优点&#xff1f;高忆管理也为大家预备了相关内容&#xff0c;以供参考。 股票T0买卖是什么意思&#xff1f; T0买卖准则是指出资者当天买入的股票能够在当天卖出&am…

SpringBoot 异步、邮件任务

异步任务 创建一个Hello项目 创建一个类AsyncService 异步处理还是非常常用的&#xff0c;比如我们在网站上发送邮件&#xff0c;后台会去发送邮件&#xff0c;此时前台会造成响应不动&#xff0c;直到邮件发送完毕&#xff0c;响应才会成功&#xff0c;所以我们一般会采用多线…

神经网络基础-神经网络补充概念-03-逻辑回归损失函数

概念 逻辑回归使用的损失函数通常是"对数损失"&#xff08;也称为"交叉熵损失"&#xff09;或"逻辑损失"。这些损失函数在训练过程中用于衡量模型预测与实际标签之间的差异&#xff0c;从而帮助模型逐步调整权重参数&#xff0c;以更好地拟合数…