数据治理-元数据管理

概念

        元数据是关于数据的数据,元数据对于数据管理和数据使用来说是必不可少的。所有大型组织都会产生和使用大量的数据,在整个组织中,不同的人拥有不同层面的数据知识,但没有人知道关于数据的一切。因此,必须将这些信息记录,否则组织可能会丢失关于自身的宝贵知识,元数据管理提供了获取和管理组织数据的主要方法。如果没有元数据,组织可能根本无法管理其数据。要实现数据驱动,组织必须先实现元数据驱动。

元数据管理的目标包括

  1. 记录和管理与数据相关的业务术语的知识体系,以确保人们理解和使用数据内容的一致性;
  2. 收集和整合来自不同来源的元数据,以确保人们了解来自组织不同部门的数据之间的相似和差异;
  3. 确保元数据的质量、一致性、及时性和安全;
  4. 提供标准途径,使元数据使用者可以访问元数据;
  5. 推广或强制使用技术元数据标准,以实现数据交换。

元数据管理的原则

  1. 组织承诺
  2. 战略
  3. 企业视角
  4. 潜移默化
  5. 访问
  6. 质量
  7. 审计
  8. 改进

元数据的类型

        元数据通常有三种类型:业务元数据、技术元数据和操作元数据;

  1. 业务元数据是实体、属性的非技术名称和定义、属性的数据类型和其他特征,如范围描述、计算公式、算法和业务规则、有效的阈值及其定义;其中包括业务规则、转换规则、计算公式和推导公式;数据质量规则和检核结果;数据的更新计划;数据溯源和数据血缘;数据的安全/隐私级别
  2. 技术元数据提供有关数据的技术细节、存储数据的系统以及在系统内和系统之间数据流转过程的信息。技术元数据包括:物理数据库表名和字段名,访问权限,数据CRUD规则,物理数据模型,包括数据表名、键和索引,ETL作业详细信息,源到目标的映射文档;数据学院文档;程序和应用的名称和描述;恢复和备份规则;
  3. 操作元数据描述了处理和访问数据的细节;其中包括批处理程序的作业执行日志,操作日志;备份、保留、创建日期、灾备恢复预案、数据归档、保留规则和相关归档文件、清洗标准、数据共享规则和协议。

ISO/IEC 11179元数据注册标准

        ISO的元数据注册标准ISO/IEC 11179提供了用于定义元数据注册的框架,旨在基于数据的精确定义,从数据元素开始,实现元数据驱动的数据交换。

业务术语表

        业务术语表的作用是记录和存储组织的业务概念、术语、定义以及这些术语之间的关系,业务术语表应用程序的构建需要满足三个核心用户的功能需求;

  1. 业务用户
  2. 数据管理专员
  3. 技术用户

数据字典

        数据字典定义数据集的结构和内容,通常用于单个数据库、应用程序或数据仓库,在数据模型的开发过程中,会解释许多关键业务流程、关系和术语。数据字典可以帮助组织确保此信息不会完全丢失,以及在生产部署之后逻辑模型与物理模型保持一致。

元数据的架构形式

        集中式元数据架构、分布式元数据架构、混合式元数据架构。

        集中式元数据架构优点是:

  1. 高可用性,因为它独立于元系统;
  2. 快速的元数据检索,因为存储库和查询功能在一起;
  3. 解决了数据库结构的问题,使其不受第三方或商业系统特有属性的影响;
  4. 抽取元数据可进行转换、自定义或使用其他源系统中的元数据进行补充,提高了元数据的质量;

        集中式元数据架构缺点是:

  1. 必须使用复杂的流程确保元数据源头的更改能够快速同步到存储库中;
  2. 维护集中式存储库的成本可能很高;
  3. 元数据的抽取可能需要自定义模块或中间件;
  4. 验证和维护自定义代码会增加内部IT人员和软件供应商要求;

  分布式元数据架构优点是:

  1. 元数据总是尽可能保持最新且有效;
  2. 查询是分布式的,可能会提高相应和处理的效率;
  3. 来自专有系统的元数据请求仅限于查询处理,而不需要详细了解专有数据结构,因此最大限度地减少了实施和维护所需的工作量;
  4. 自动化元数据查询处理的开发可能更简单,只需要很少的人工干预;
  5. 减少了批处理,没有元数据复制或同步过程;

分布式元数据架构缺点是:

  1. 无法支持用户定义或手动插入的元数据项,因为没有存储库可以放置这些添加项
  2. 需要通过统一的,标准化的展示方式呈现来自不同系统的元数据;
  3. 查询功能受源系统可用性的影响;
  4. 元数据的质量完全取决于源系统。

        混合元数据架构结合了集中式和分布式架构的特性,元数据仍然直接从源系统移动到集中式存储库,但存储库设计仅考虑用户添加的元数据、重要的标准化的元数据以及通过自手工来源添加的元数据。

        元数据综合解决方案由以下功能需求点组成;

  1. 更新频率;
  2. 同步情况;
  3. 历史信息;
  4. 访问权限;
  5. 存储结构;
  6. 集成要求;
  7. 运维要求;
  8. 管理要求;
  9. 质量要求;
  10. 安全要求;

元数据的质量控制活动

  1. 质量保证;
  2. 数据更新频率;
  3. 缺失元数据报告;
  4. 未更新的元数据报告;

元数据管理的几个一般原则描述了管理元数据质量的方法

  1. 责任,认识到元数据通常通过现有流程产生,因此流程的执行者对元数据的质量负责;
  2. 标准,制定、执行和审计元数据标准,简化集成过程,并且适用;
  3. 改进,建立反馈机制保障用户可以将不准确的或已过时的元数据通知元数据管理团队

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/61702.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

(数学) 剑指 Offer 39. 数组中出现次数超过一半的数字 ——【Leetcode每日一题】

❓ 剑指 Offer 39. 数组中出现次数超过一半的数字 难度:简单 数组中有一个数字出现的次数超过数组长度的一半,请找出这个数字。 你可以假设数组是非空的,并且给定的数组总是存在多数元素。 示例 1: 输入: [1, 2, 3, 2, 2, 2, 5, 4, 2] 输…

matlab使用教程(26)—常微分方程的求解

1.求解非刚性 ODE 本页包含两个使用 ode45 来求解非刚性常微分方程的示例。MATLAB 提供几个非刚性 ODE 求解器。 • ode45 • ode23 • ode78 • ode89 • ode113 对于大多数非刚性问题,ode45 的性能最佳。但对于允许较宽松的误差容限或刚度适中的问题&…

DataLoader的使用

示例代码: import torchvision from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter# 准备的测试数据集 test_data torchvision.datasets.CIFAR10("./dataset", trainFalse, transformtorchvision.transforms.…

控制goroutine 的并发执行数量

goroutine的数量上限是1048575吗? 正常项目,协程数量超过十万就需要引起重视。如果有上百万goroutine,一般是有问题的。 但并不是说协程数量的上限是100多w 1048575的来自类似如下的demo代码: package mainimport ( "fmt" "ma…

2023-08-31力扣每日一题-姜汁水题

链接&#xff1a; 1761. 一个图中连通三元组的最小度数 题意&#xff1a; 选择两两相连的三个点&#xff0c;要求度最小 解&#xff1a; 什么暴力hard 实际代码&#xff1a; #include<bits/stdc.h> using namespace std; int minTrioDegree(int n, vector<vect…

使用 Nginx 搭建文件下载服务器

文章目录 一、基础环境二、适用场景三、方法和步骤四、其他说明 版权声明&#xff1a;本文为CSDN博主「杨群」的原创文章&#xff0c;遵循 CC 4.0 BY-SA版权协议&#xff0c;于2023年8月27日首发于CSDN&#xff0c;转载请附上原文出处链接及本声明。 原文链接&#xff1a;http…

CXL 内存交织(Memory Interleaving)

&#x1f525;点击查看精选 CXL 系列文章&#x1f525; &#x1f525;点击进入【芯片设计验证】社区&#xff0c;查看更多精彩内容&#x1f525; &#x1f4e2; 声明&#xff1a; &#x1f96d; 作者主页&#xff1a;【MangoPapa的CSDN主页】。⚠️ 本文首发于CSDN&#xff0c…

Web后端开发(请求响应)上

请求响应的概述 浏览器&#xff08;请求&#xff09;<--------------------------(HTTP协议)---------------------->&#xff08;响应&#xff09;Web服务器 请求&#xff1a;获取请求数据 响应&#xff1a;设置响应数据 BS架构&#xff1a;浏览器/服务器架构模式。…

uniapp项目实战系列(3):底部导航栏与头部导航栏的配置

目录 系列往期文章&#xff08;点击跳转&#xff09;uniapp项目实战系列(1)&#xff1a;导入数据库&#xff0c;启动后端服务&#xff0c;开启代码托管&#xff08;点击跳转&#xff09;uniapp项目实战系列(2)&#xff1a;新建项目&#xff0c;项目搭建&#xff0c;微信开发工具…

33、Flink之hive介绍与简单示例

Flink 系列文章 1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接 13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的ta…

微信小程序使用本地存储方法wx.setStorageSync()和wx.getStorageSync()

微信小程序的本地存储可以使用wx.setStorageSync()和wx.getStorageSync()方法实现 使用wx.setStorageSync()方法可以将数据以键值对的方式存储到本地存储中&#xff1a; wx.setStorageSync(demo, demo123);获取数据&#xff1a;使用wx.getStorageSync()方法可以从本地存储中获…

「MySQL-05」MySQL Workbench的下载和使用

目录 一、MySQL workbench的下载和安装 1. MySQL workbench介绍 2. 到MySQL官网下载mysql workbench 3. 安装workbench 二、创建能远程登录的用户并授权 1. 创建用户oj_client 2. 创建oj数据库 3. 给用户授权 4. 在Linux上登录用户oj_client检查其是否能操作oj数据库 三、使用…

OpenCV(六):多通道分离与合并

目录 1.多通道分离split() 2.多通道合并merge() 3.Android JNI demo 1.多通道分离split() void cv::split ( InputArray m, OutputArrayOfArrays mv &#xff09; m:待分离的多通道图像。 mv:分离后的单通道图像&#xff0c;为向量vector形式。 2.多通道合并merge…

C++ 友元

朋友可访问自己的东西&#xff0c;大概就这么个意思。即某类的友元类可访问该类的所有变量以及函数&#xff0c;或友元函数可以访问该类的变量以及函数&#xff0c;在朋友眼中没有任何隐藏&#xff0c;可谓时赤裸相对&#xff0c;肝胆相照&#xff0c;生生挚友。 注意&#xf…

聊聊检索增强,LangChain一把梭能行吗?

背景 ChatGPT诞生之初&#xff0c;大家仿佛从中看到了未来&#xff1a;可以拿着大语言模型&#xff08;LLM&#xff09;这把锤子&#xff0c;锤遍业务上的钉子。其中最被看好的场景&#xff0c;莫过于搜索&#xff0c;不仅是微软、谷歌、百度这样的大公司将LLM用到自己的搜索业…

ROS2学习(一):Ubuntu 22.04 安装 ROS2(Iron Irwini)

文章目录 一、ROS2(Iron Irwini)介绍二、ROS2(Iron Irwini)安装1.设置编码2.使能代码库3.安装ROS2 Iron 三、ROS2测试四、ROS2卸载 一、ROS2(Iron Irwini)介绍 官方文档 Iron Irwini版本支持的平台如下&#xff1a; 二、ROS2(Iron Irwini)安装 1.设置编码 sudo apt update…

利用python爬取谷歌趋势某个关键词的每日搜索次数

大家好&#xff0c;我是带我去滑雪&#xff01;本期尝试利用python爬取谷歌趋势某个关键词的每日搜索次数。 目录 1、什么是谷歌趋势&#xff1f; 2、爬取谷歌趋势的搜索次数有何用&#xff1f; 3、代码如何实现&#xff1f; (1&#xff09;导入相关模块 &#xff08;2&a…

Java实现根据关键词搜索京东商品列表数据方法,当当API接口(jd.item_search)申请指南

要通过京东网的API获取商品列表数据&#xff0c;您可以使用京东开放平台提供的接口来实现。以下是一种使用Java编程语言实现的示例&#xff0c;展示如何通过京东开放平台API获取商品列表&#xff1a; 首先&#xff0c;确保您已注册成为当当开放平台的开发者&#xff0c;并创建…

Windows安装单节点Zookeeper

刚学习Dubbo&#xff0c;在Centos7中docker安装的zookeeper3.7.1。然后在启动provider时一直报错&#xff0c;用尽办法也没有解决。然后zookeeper相关的知识虽然以前学习过&#xff0c;但是已经忘记的差不多了。现在学习dubbo只能先降低版本使用了&#xff0c;之后再复习zookee…

spring cloud新版本使用loadbalancer替代Ribbon

Nacos 2021 不再集成 Ribbon&#xff0c;建议使用spring cloud loadbalancer 引入 一、简单使用 引入依赖spring cloud loadbalancer <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-loadbalancer<…