业务数据治理体系化实施流程学习总结

目录

一、业务数据治理实施流程

步骤 1:发现问题和制定目标

步骤 2:针对问题进行拆解,设计可衡量的指标

步骤 3:制定解决SOP和检查研发标准规范

步骤 4:推广运营,以拿结果为核心目标

步骤 5:总结沉淀方法论,迭代认知

二、治理体系化思考

(一)治理体系化定义分析

(二)建设思路与体系框架

建设思路

体系框架

体系框架建设

(三)体系框架落地实施方案

三、治理体系化实践:标准化

四、治理体系化实践:数字化

五、治理体系化实践:系统化

六、思考

参考文章和链接


一、业务数据治理实施流程

数据治理的实施流程是一个基于业务数据治理标准框架的标准化操作流程,用于解决具体数据问题。

步骤 1:发现问题和制定目标

在这一步骤中,业务数据治理团队需要以业务数据开发团队的视角出发,从服务业务、遵守数据研发规范和收集用户反馈的角度,全面发现和收集相关需要解决的问题。同时,制定的目标应具备可实现性,确保它们是可量化和可测量的。这一过程可能包括:

  • 与业务团队密切合作,了解他们的需求和挑战。
  • 定期收集用户反馈和建议。
  • 确保目标与组织整体战略一致。

步骤 2:针对问题进行拆解,设计可衡量的指标

一旦问题被确定,团队需要对问题进行详细的拆解,设计可衡量的指标。通过元数据的采集建设,实现对这些指标的监控和度量。这一过程可能包括:

  • 对问题进行分解,识别关键的度量维度。
  • 建立元数据框架,确保数据可追溯和可靠。
  • 设计可衡量进度和成功的指标。

步骤 3:制定解决SOP和检查研发标准规范

对于衡量出的具体问题,制定相关的解决SOP(标准操作流程),并检查相应的研发标准规范是否完善。通过事前、事中、事后三个阶段,建设或完善相应的工具化解决问题的能力。这一过程可能包括:

  • 制定详细的解决问题的标准操作流程(SOP)。
  • 检查并更新研发标准规范,确保其与问题的解决方案一致。
  • 引入工具和技术,以支持问题的识别和解决。

步骤 4:推广运营,以拿结果为核心目标

这一步骤的核心目标是推广运营,确保实施过程中取得可衡量的结果。根据问题的重要程度,制定规划,关注解决过程是否与用户利益发生冲突,控制好节奏。这一过程可能包括:

  • 制定推广运营计划,确保解决方案得到广泛采纳。
  • 针对不同角色采用差异化的策略,确保整个团队的协同作战。
  • 监控解决过程,及时调整和优化方案。

步骤 5:总结沉淀方法论,迭代认知

最后一步是总结并沉淀方法论,通过迭代认知,持续探索问题的最优解,优化治理方案和能力。这一过程可能包括:

  • 汇总实施过程中的经验教训,形成治理的最佳实践。
  • 迭代认知,不断优化流程和工具。
  • 持续培训和发展团队成员,确保他们能够适应不断变化的数据治理环境。

通过这一套流程,数据治理团队能够更规范地处理数据问题,确保实施的高质量和可持续性。该流程的总结内容主要学习于业务数据治理体系化思考与实践 - 美团技术团队。

二、治理体系化思考

数据治理是一个极为复杂的综合性问题。唯有构建一套标准的业务数据治理体系,才能确保数据治理在各个环节如现状评估、目标制定、流程规范建设、治理监控管理、能力建设、执行效率、效果评价等方面有效地落地。

通过构建这样一套业务数据治理体系,我们可以更全面、系统地应对不同业务生命周期阶段的挑战,确保数据治理的有效性和可持续性。这种体系化思考将有助于建立一个更加健壮和灵活的数据治理框架,使其能够适应不断变化的业务和技术环境。

(一)治理体系化定义分析

数据治理体系化是指在数据管理和治理领域建立一套系统性、全面的组织和操作体系,包括管理体系、方法体系、评价体系、标准体系、工具体系等核心要素。其目标是持续为数据治理实施提供支持,类似于电商公司搭建销售、产品、供给、物流、人力等体系以服务用户的过程。

(二)建设思路与体系框架

建设思路

以团队数据治理目标为核心导向,设计实现目标需要的相关能力组合,并根据组织要求,实施过程的问题反馈,持续不断地迭代完善,最终实现数据治理的愿景。

体系框架

  • 管理层: 制定组织保障流程规范、职责设计、奖惩措施,确保数据治理的顺利启动和运转。

  • 标准层: 设定各类研发标准规范、解决方案标准SOP,为数据治理提供技术规范和事前解决方案的依据,降低数据故障问题发生量。

  • 能力层: 完善数字化的基于元数据的问题度量能力,以及问题工具化检测和解决的系统化能力,为数据治理实施提供科学性、高质量和高效率的支持。

  • 执行层: 设定动作,根据具体目标对各治理域问题进行事前约束、事中监控、事后治理,确保目标的全面性和深度达成。

  • 评价层: 基于指标的问题监控、健康度评价体系和专项评估报告,评价治理收益及效果,是推进治理过程监控和结果检验的关键抓手。

  • 愿景: 制定长期的治理目标,指导数据管治持续朝着最终目标发展,提供发展方向和动力。

体系框架建设

业务数据治理体系框架是针对数据治理工作整体做的顶层方案设计,框架定义好了业务线数据治理是什么、怎么做、做什么、用什么工具以及达成什么目标。拉齐各方对业务数据治理的认知,标准化治理路径方法和组成部分,指导数据治理有序、有效地进行。

(三)体系框架落地实施方案

通过标准化数据化系统化3大部分能力建设及运营,来实现数据管治体系框架的落地,并应用在数据治理问题的解决中,最终拿到可量化的结果。

三、治理体系化实践:标准化

数据治理标准化是企业进行数据资产管理的关键突破口和重要手段,一系列政策、法规、规划需要转化为标准和制度才能有效落地。数据治理标准化既有利于建立健全各种数据管理工作机制、完善业务流程,又有利于提升数据质量,保障数据安全合规使用,释放数据价值。

四、治理体系化实践:数字化

数字化工作,通过对数据生命周期各环节进行抽象和描述,构建整个数据开发工作的准确视图。

建设思路:通过对数据生命周期进行类比业务数仓建设中对业务对象的抽象和描述,建设元数据对象并构建元数据数仓和治理指标体系。这一框架主要包含元数据仓库、指标体系、数据资产等级,以及基于元数据仓库的各个数据应用。利用元数据驱动数据治理及日常团队管理,避免过多依赖经验解决问题,更好地服务业务。

五、治理体系化实践:系统化

数据百品-管治中心治理平台是美团内部的数据治理产品,通过集资产管理、问题分析监控、自动化治理、过程追踪、结果评价等功能于一体,实现了一站式、全覆盖的数据治理平台。该平台的理念是通过"管+治"相结合,从管理者及研发人员的视角对数据、人效等问题进行全面监控,为提升数据质量提供强有力的支撑。

六、思考

业务数据治理目标的制定

  • 明确业务需求:确保业务数据治理目标与业务需求紧密相连,关注业务价值的实现。
  • 可量化的目标:确保目标具有可量化性,能够通过指标或关键绩效指标(KPI)进行度量。

问题发现和目标制定

  • 全面的问题发现:从多个角度出发,包括业务、规范、用户反馈等,全面发现与业务数据相关的问题。
  • 目标的可实现性:确保制定的目标在当前业务和技术条件下是可实现的,避免过于理想化。

问题拆解和指标设计

  • 指标的可衡量性:设计能够客观度量问题和目标达成情况的指标,避免主观判断。
  • 元数据的关键性:借助元数据,将指标与具体数据资产、流程等关联,深入理解问题的来源。

解决SOP的制定和工具化

  • 全面性的解决方案:确保解决SOP(Standard Operating Procedure)覆盖问题的全面性,包括事前、事中、事后的各个阶段。
  • 工具化的支持:将解决SOP工具化,提高问题解决的效率,减少人工干预。

推广运营

  • 关注用户利益:确保问题解决过程不会与用户利益发生冲突,关注用户体验。
  • 阶段性推广:根据问题的重要程度,有计划地进行推广,避免一次性解决所有问题。

总结沉淀方法论

  • 迭代认知:将数据治理看作一个学习和持续改进的过程,不断迭代认知,适应业务和技术的变化。
  • 方法论的建立:将成功的经验和方法总结为方法论,为团队提供指导和规范。

参考文章和链接

  1. 业务数据治理体系化思考与实践 - 美团技术团队
  2. 李向阳、孙天云,《数据治理:业务价值的创造者》,电子工业出版社
  3. 杨涛,《数据治理:业务数据湖管理与治理》, 机械工业出版社
  4. 高洪岩、韩晓静,《大数据治理与架构实践》,电子工业出版社

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/193545.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

navicat某些表为什么不按主键排序

不知道大家注没注意过navicat的这种情况 为什么不是按主键排序呢 我们来全表扫描看下他的执行计划 explain select * from orsql3; 可以发现不是全表扫描而是索引树扫描,由此得知了共性,不按主键顺序排序的表,肯定是在二级索引上就保存着全部…

计算机网络体系的形成

目录 1、开放系统互连参考模型OSI/RM 2、两种国际标准 3、协议与划分层次 4、网络协议的三要素 5、划分层次 (1)文件发送模块使两个主机交换文件 (2)通信服务模块 (3)接入网络模块 6、分层带来的好…

pytorch 模型量化quantization

pytorch 模型量化quantization 1.workflow1.1 PTQ1.2 QAT 2. demo2.1 构建resnet101_quantization模型2.2 PTQ2.3 QAT 参考文献 pytorch框架提供了三种量化方法,包括: Dynamic QuantizationPost-Training Static Quantization(PTQ&#xff0…

随心玩玩(十)git

写在前面:研究生一年多了,一直浑浑噩噩的,在深度学习的泥潭挣扎了好久,终于走出了精神内耗的泥潭…好久没有写博客了,决定重新捡起来…记录一下学习吧~ 之前写了一篇git的博客,【github 从0开始的基本操作…

Ubuntu 22.04安装mysql-server 8.0.34(使用bundle.tar)

《Ubuntu 20.04 使用mysql-server_8.0.31-1ubuntu20.04_amd64.deb-bundle.tar安装MySQL 8.0.31》是我以前写的博客。 https://downloads.mysql.com/archives/community/是社区版的官网,可以选择版本下载。 sudo wget -c https://downloads.mysql.com/archives/ge…

【数据库原理】函数依赖、三范式、视图、事务、数据库设计(概念、逻辑、物理结构设计,实施)、数据流图、数据字典、存储过程、触发器、备份与还原【我统统拿下!】

函数依赖 函数依赖是关系数据库中的重要概念,用于描述关系中属性之间的依赖关系。 在关系数据库中,如果关系 R 中的某个属性或属性组的值能够唯一确定关系中其他属性的值,那么我们就说这个属性或属性组对其他属性具有函数依赖关系。 举个例…

分享84个节日PPT,总有一款适合您

分享84个节日PPT,总有一款适合您 84个节日PPT下载链接:https://pan.baidu.com/s/1TSIGR8ZIytnTKmQRa0rGnw?pwd6666 提取码:6666 Python采集代码下载链接:采集代码.zip - 蓝奏云 学习知识费力气,收集整理更不易…

ADC欠采样以及应用案例

欠采样与其优劣 ADC(Analog-to-Digital Converter)的欠采样是指在信号的采样过程中,采样频率低于被采样信号的最高频率的情况。这意味着采样率不足以捕捉到信号的完整信息,而是以较低的频率对信号进行采样。 欠采样在某些特定情…

使用Java语言实现变量互换

一、 java运算 通过异或运算符实现两个变量的互换 import java.util.Scanner;public class ExchangeValueDemo {public static void main(String[] args){try (Scanner scan new Scanner(System.in)) {System.out.println("请输入A的值:");long A sca…

分割YooChoose数据集为YooChoose1/4、YooChoose1/64

目的 源YooChoose数据集十分庞大,有上千万级别的数据,在测试验证模型性能时加载起来十分费劲。 脚本思路 使用数据集中session_id作为滤网对源数据进行过滤,过滤出2百万个不同的session_id作为训练集。 具体步骤 (1)…

TA-Lib学习研究笔记(二)——Overlap Studies上

TA-Lib学习研究笔记(二)——Overlap Studies 1. Overlap Studies 指标 [BBANDS, DEMA, EMA, HT_TRENDLINE, KAMA, MA, MAMA, MAVP, MIDPOINT, MIDPRICE, SAR, SAREXT, SMA, T3, TEMA, TRIMA, WMA]2.数据准备 get_data函数参数(代码&#x…

javaee实验:文件上传及截器的使用

目录 文件上传ModelAttribute注解实验目的实验内容实验过程项目结构编写代码结果展示 文件上传 Spring MVC 提供 MultipartFile 接口作为参数来处理文件上传。 MultipartFile 提供以下方法来获取上传的文件信息:  getOriginalFilename 获取上传的文件名字&#x…

HttpRunner自动化测试之响应中文乱码处理

响应中文乱码: 当调用接口,响应正文返回的中文是乱码时,一般是响应正文的编码格式不为 utf-8 导致,此时需要根据实际的编码格式处理 示例: 图1中 extract 提取title标题,output 输出 title 变量值&#x…

【Unity动画】状态机中层的融合原理与用法详解

1. 状态机概念介绍 在Unity中,动画状态机(Animator State Machine)是一种强大的工具,用于控制游戏对象的动画行为。动画状态机由多个动画状态Animation和过渡条件Transition、层组成!而层(Layers&#xff…

中序和前/后序遍历构造二叉树———通用做法

1. 前序和中序遍历 **思路:我们每一次一定可以根据递归确定根节点是哪个,就是前序第一个数,然后找中序遍历这个点,看左子树有几个节点,右子树有几个节点,然后就可以根据节点个数,递归左子树和右…

Swing程序设计(7)JPane面板,滑动面板

文章目录 前言一、JPane面板,滑动面板是什么?二、实操展示 1.JPane面板2.JScrollPane面板总结 前言 该篇博客介绍Java的Swing程序中JPane面板以及,滑动面板的使用。面板的使用,各个组件在不同的面板上被不同地摆放,让插…

Rust 语言:认识 Rust

本心、输入输出、结果 文章目录 Rust 语言:认识 Rust前言Rust的特点Rust LOGO Rust 在IT行业的应用前景Rust 是一门系统级编程语言相关链接花有重开日,人无再少年实践是检验真理的唯一标准 Rust 语言:认识 Rust 编辑:简简单单 Onl…

【ArcGIS Pro微课1000例】0039:制作全球任意经纬网的两种方式

本文讲解在ArcGIS Pro中制作全球任意经纬网的两种方式。 文章目录 一、生成全球经纬网矢量1. 新建地图加载数据2. 创建经纬网矢量数据二、布局生成经纬网1. 新建布局2. 创建地图框2. 创建经纬网一、生成全球经纬网矢量 以1:100万比例尺地图分幅为例,创建经差6、维差4的经纬网…

51. N 皇后

题目介绍 按照国际象棋的规则,皇后可以攻击与之处在同一行或同一列或同一斜线上的棋子。 n 皇后问题 研究的是如何将 n 个皇后放置在 nn 的棋盘上,并且使皇后彼此之间不能相互攻击。 给你一个整数 n ,返回所有不同的 n 皇后问题 的解决方案…

Tektronix泰克示波器

一、what’s the oscilloscope? 【ref】https://www.tek.com.cn/blog/what-is-an-oscilloscope 二、基础知识 1、带宽:100Mhz;采样率:2.5GS/s 1GS/s指的是采样率,前面大写的S是sample采样的意思 后面的s是秒 也就是示波…