【华为数据之道学习笔记】10-3 摆脱传统手段的数据管理方式

智能数据管理是数据工作的未来

        在以传统方式对数据实施管理和治理的过程中,数据工作者和业务方都需要投入相当多的人力和资源,才能达成管理目标,其中的艰辛,相信各位业内人士都深有体会。而随着智能大数据时代的到来,各行各业都看到了摆脱传统工作方式的希望。在数据工作方面更是如此,因为我们的工作对象天然具有极高的数字化程度、极具规模的体量、强大的内生关联度,我们更需要应用智能化、数字化的新方法来提升工作效率和效果,借助于数据挖掘、机器学习、数据可视化等方法来更深入地了解海量、数据更加透明、可知、易用。

内容级分析能力提供资产全景图

        举个例子,初步完成数据的架构工作并构建了企业级的数据湖之后,我们就可以基于多维数据特征的可视化分析技术,对数据质量进行内容级分析,采用特征工程方法,建立数据内容的多维模型,在高维空间进行多维度聚类,利用可视化投影技术在二维平面进行渲染展示。与传统的表格式数据展示不同,这种基于内容解析的数据资产智能分析会有诸多强大的应用场景,全景展示所有已经进入企业数据湖的表字段及其关系结构只是其中最为直接和显而易见的应用。

属性特征启发主外键智能联接

         数据表之间的主外键关系是ER模型中的重要组成部分,蕴含了对后续数据加工利用有重大价值的信息。然而,出于对性能等因素的考量,很多实现场景并未将这一信息传递到数据供应链的下一阶段,造成重要信息丢失,给数据管理带来了不小的困扰。传统IT系统及其开发造成的这一困境,是否可以利用先进的数据分析技术予以弥补乃至解决呢?我们观察到,在全景图中若干个属性字段投影位置重叠,表明它们的数据指纹几乎一致,很有可能是可以做主题连接的主外键。基于这一启发,辅以对主外键关系存在诸多属性约束的条件的帮助,通过实验证实,我们可以以很高的准确率重建已经丢失的主外键关系,加速主题连接的连接发挥更大的业务价值。

质量缺陷预发现

        数据质量话题,在前面已经有专门章节论述,这里不再赘述。我们想补充的是,除了已有的基于规则对质量的方方面面进行有尺度的微观管控和宏观治理之外,我们也可以利用大数据分析方法,进行介观层面的分析管理。之所以称之为介观层面,是因为通过大数据分析与可视化方法,我们可以以极快的速度在宏观和微观之间切换,以前所未有的人机交互的方式观察数据分布和异常,从而在很大程度上提升管理水平和效率。简单来说,比如我们观察到,相似类型的数据通常呈聚集状态,远离数据群的属性节点则往往需要质量人员的更多关注。

算法助力数据管理

        另外,我们可以利用基于密码学的资产指纹技术来更好地管理数据架构。由于大量数据表中含有相同或相似的字段,且判断两张数据表是否同源比较耗时,因此我们对每张数据表的字段名进行快速编码,实现数据表快速比对判重,而不受表中各字段排列顺序影响。我们已经为物理级数据资产建立了数据架构指纹库,支持快速查询、资产去重、篡改发现、资产比对。

    随着计算能力的不断提升和智能算法的不断优化,我们越来越能够对数据的实质内容而不仅仅是元数据进行深入分析。相信在不久的将来,我们会看到越来越多的智能数据分析算法应用于企业内部的数据管理和治理任务中,让我们数据工作者从繁重的数据处理分析中解管理的本质问题,既能下沉到数据里触摸到落地的细节,又能上升到整个全景把握好宏观趋势。

数字道德抵御算法歧视

        基于数据的算法因其黑盒的特性而在某种程度上诱导人类让出了自己的决策权,我们应该如何重建数据空间里的信任关系呢?数据道德准则的建立迫在眉睫。我们需要对数据流程上的各个环节所受的影响进行分类,谨慎评估潜在的道德和伦理风险,充分测试、模拟和评估数据系统,提高算法模型的透明度,遵循最佳实践进行数据分享。采集数据之前要取得知情同意,对数据匿名化的能力和限度有充分认知,从而有效地保护数字道德不受到我们自己亲手构建的系统的伤害。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/597557.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

# [NOIP2015 普及组] 扫雷游戏#洛谷

题目背景 NOIP2015 普及组 T2 题目描述 扫雷游戏是一款十分经典的单机小游戏。在 n n n 行 m m m 列的雷区中有一些格子含有地雷(称之为地雷格),其他格子不含地雷(称之为非地雷格)。玩家翻开一个非地雷格时&#…

14.两数之和

题目 class Solution {public int[] twoSum(int[] nums, int target) {int[] ret {-1,-1};for(int i0;i<nums.length;i) {for(int ji1;j<nums.length;j) {if(nums[i] nums[j] target) {ret[0] i;ret[1] j;}}}return ret;} }

uniapp 无限级树形结构面包屑、单选-多选、搜索、移除功能插件,基于【虚拟列表】高性能渲染海量数据,加入动态高度、缓冲区

hyq-tree-vtw 无限级树形结构面包屑、单选-多选、搜索、移除功能 示例项目 单选-user 单选-任意一项 多选-关联下级 多选-任意一项 已选择数据弹框 说明 本插件需要使用uni-popup、uni-transition用于已选择数据弹框&#xff0c;因此需要有这些依赖,请自行导入本插件基于【虚…

企业培训系统开发:构建灵活高效的学习平台

企业培训系统的开发在当今数字化时代是至关重要的。本文将介绍一些关键技术和代码示例&#xff0c;以帮助您构建一个灵活、高效的企业培训系统。 1. 技术选型 在开始企业培训系统的开发之前&#xff0c;首先需要选择合适的技术栈。以下是一个基本的技术选型示例&#xff1a;…

Python(wordcloud):根据文本数据(.txt文件)绘制词云图

一、前言 本文将介绍如何利用python来根据文本数据&#xff08;.txt文件&#xff09;绘制词云图&#xff0c;除了绘制常规形状的词云图&#xff08;比如长方形&#xff09;&#xff0c;还可以指定词云图的形状。 二、相关库的介绍 1、安装相关的库 pip install jieba pip i…

编程语言的未来:探索技术进步的轨迹

编程语言的未来&#xff1a;探索技术进步的轨迹 随着科技的飞速发展&#xff0c;编程语言在计算机领域中扮演着至关重要的角色。它们是软件开发的核心&#xff0c;为程序员提供了与机器沟通的桥梁。然而&#xff0c;未来的技术进步将如何影响编程语言的走向呢&#xff1f;让我…

Linux——使用KVM命令集管理虚拟机

一、KVM基本功能管理 1&#xff09;查看命令帮助 [rootlucky ~]# virsh -h2&#xff09;查看KVM的配置文件存放目录&#xff08;rhel7.1.xml是虚拟机系统实例的配置文件&#xff09; [rootlucky ~]# ls /etc/libvirt/qemu autostart networks rhel7.1.xml3&#xff09;查看…

git使用 笔记2

新建代码库 在当前目录新建一个Git代码库 $ git init 新建一个目录&#xff0c;将其初始化为Git代码库 $ git init [project-name] 下载一个项目和它的整个代码历史 $ git clone [url] 配置 显示当前的Git配置 $ git config --list 编辑Git配置文件 $ git config -e…

HTTP和TCP代理原理及实现,主要是理解

Web 代理是一种存在于网络中间的实体&#xff0c;提供各式各样的功能。现代网络系统中&#xff0c;Web 代理无处不在。我之前有关 HTTP 的博文中&#xff0c;多次提到了代理对 HTTP 请求及响应的影响。今天这篇文章&#xff0c;我打算谈谈 HTTP 代理本身的一些原理&#xff0c;…

C++完成Query执行sql语句的接口封装和测试

1、在LXMysql.h 创建Query执行函数 //封装 执行sql语句 if sqllen 0 strlen获取字符长度bool Query(const char*sql,unsigned long sqllen0); 2、在LXMysql.cpp编写函数 bool LXMysql::Query(const char* sql, unsigned long sqllen){if (!mysql)//如果mysql没有初始化好{c…

使用qtquick调用python程序

一. 内容简介 使用qtquick调用python程序 二. 软件环境 2.1vsCode 2.2Anaconda version: conda 22.9.0 2.3pytorch 安装pytorch(http://t.csdnimg.cn/GVP23) 2.4QT 5.14.1 新版QT6.4,&#xff0c;6.5在线安装经常失败&#xff0c;而5.9版本又无法编译64位程序&#xf…

UE4 4.21使用编辑器蓝图EditorBlueprint方法

在UE4 4.21中&#xff0c;编辑器蓝图&#xff08;Editor Blueprint&#xff09;是一个强大的工具&#xff0c;允许开发者扩展和自定义Unreal编辑器的功能。通过编辑器蓝图&#xff0c;我们可以创建自定义的工具和功能&#xff0c;以优化开发流程。 本教程将指导您如何在UE4 4.…

几种vue后台管理框架介绍

几种vue后台管理框架介绍 1. vue-element-admin2. RuoYi3. iview-admin4. D2Admin5. vue-admin-beautiful6. el-admin7. vue3element-plus 【毒蘑菇】8. Django-Vue-Admin基于djangovue前后端分离开箱即用框架9. vue3-element-admin 1. vue-element-admin 推荐指数&#xff1a…

【LeetCode-剑指offer】--19.验证回文串II

19.验证回文串II 方法&#xff1a;双指针 首先考虑如果不允许删除字符&#xff0c;如何判断一个字符串是否是回文串。常见的做法是使用双指针。定义左右指针&#xff0c;初始时分别指向字符串的第一个字符和最后一个字符&#xff0c;每次判断左右指针指向的字符是否相同&#…

技术学习|CDA level I 多维数据透视分析

对基于多源表的结构数据进行商业智能分析&#xff0c;可以帮助决策者从多个不同业务角度对业务行为结果进行观测&#xff0c;进而帮助决策者全面、精确地定位业务问题&#xff0c;实现商业洞察的相关内容。通过商业智能分析产出的分析成果被统称为商业智能报表&#xff0c;简称…

ubuntu创建pytorch-gpu的docker环境

文章目录 安装docker创建镜像创建容器 合作推广&#xff0c;分享一个人工智能学习网站。计划系统性学习的同学可以了解下&#xff0c;点击助力博主脱贫( •̀ ω •́ )✧ 使用docker的好处就是可以将你的环境和别人的分开&#xff0c;特别是共用的情况下。本文介绍了ubuntu环境…

4.快速实现增删改查,模糊查询功能

打开springboot项目&#xff0c;在com.example下建包common,在common下新建Result.java 4.1封装统一的返回数据结构 1.在Result.java中编写如下代码&#xff1a; private static final String *SUCCESS*"0"; private static final String *ERROR*"-1"; p…

智能穿戴时代 | 米客方德SD NAND的崭新优势

SD NAND在智能穿戴上的优势 SD NAND是一种可以直接焊接在智能穿戴设备主板上的存储芯片&#xff0c;其小型化设计有助于紧凑设备尺寸&#xff0c;同时提供可靠的嵌入式存储解决方案。 这种集成设计减少了空间占用&#xff0c;同时确保设备在高度活动的环境中更为稳定。SD NAND…

[足式机器人]Part2 Dr. CAN学习笔记-动态系统建模与分析 Ch02-3流体系统建模

本文仅供学习使用 本文参考&#xff1a; B站&#xff1a;DR_CAN Dr. CAN学习笔记-动态系统建模与分析 Ch02-12课程介绍电路系统建模、基尔霍夫定律 流量 flow rate q q q m 3 / s m^3/s m3/s 体积 volume V V V m 3 m^3 m3 高度 heigh h h h m m m 压强 pressure p p p …

【Java】CompletableFuture使用方法

背景 CompletableFuture是Java 8中引入的一个类&#xff0c;它实现了Future和CompletionStage接口&#xff0c;用于表示异步计算的结果。使用CompletableFuture可以方便地编写异步编程的代码&#xff0c;并且可以链式地组合多个异步操作。 接口 CompletableFuture实现了Future…