人工智能技术在数据治理中的一些思考

        随着企业信息化系统的快速建设,以及物联网的规模化的应用,企业数据规模快速增长,与之同时企业数据的治理模式仍然以传统的治理方式为主,ChatGPT等人工智能的崛起正深刻改变着数据治理的思路,如何将AI技术引入企业数据治理中,提升数据治理水平和数据质量,赋能企业发展,是后续数据治理研究和探索的主要方向,抛转引玉。

一、企业数据治理面临的三个挑战

       首先企业对体系化的数据治理方案有着迫切的需求,希望通过数据治理解决企业在数据质量、数据融合、数据应用中由于数据的原因造成的影响;其次是期望通过科学的治理方案,解决数据治理难题,数据赋能,降本增效;最后是在技术层面,通过模式创新,如引入AI技术等,建成企业可迭代的、长效的数据治理底座,提升数据治理水平,确保数据的质量、安全性和合规性,同时提高数据的可用性和业务价值。

二、人工智能大发展背景下数据治理的三点思考

        人工智能模型通用性的增强和交互方式的简化、实施成本的降低,可以预见人工智能将在数据治理中发挥更为重要的作用,让人工智能成为智能伙伴,为数据治理策略的制定提供更为智能化、科学化的建议,让数据治理将逐渐向人工智能主导、人工辅助的模式演进,实现更高效、自适应的数据管理。

其一、从企业全局视角通盘规划基于人工智能的数据治理体系

        数据治理要在传统的模式下有创新与突破,不能只关注数据的收集和存储,而是要从数据的采集、入库、治理、应用、调整和退网等数据全生命周期规划数据治理体系,数据治理的范围不再局限于属性与实体关联关系等传统的数据对不对、全不全、准不准的治理思路,而是进一步借助AI人工智能的能力从数据视角挖掘数据对生产的驱动力。

(1)数据采集方面,对实时数据质量进行监控,借助AI分析实时数据质量,提前发现并纠正数据质量问题,把好数据采集关;通过智能化采集策略,利用AI技术识别和收集捕获多源数据,如图像、音频、图片等,提升数据收集效率。

(2)数据入库方面,依托元数据管理能力,利用AI追踪和管理数据的元信息,提高数据可理解性和可发现性。建设自动化入库能力,利用AI优化支撑数据入库,自动进行清洗、去重和标准化,确保数据入库的高质量和一致性、自动化。

(3)数据治理方面,探索智能化质量管理方法,AI分析数据,识别和修复潜在的数据质量问题,确保数据的准确性和完整性。在安全与隐私方面,利用AI识别潜在的安全风险和隐私问题,并制定智能安全策略,确保数据合规性、安全性。

(4)数据应用方面,借助AI技术进行数据智能分析与挖掘,提供深度洞察和预测性分析;利用AI为用户提供个性化的数据应用建议,提高数据的实际应用价值。

(5)数据退网方面,利用AI自动识别和清理不再需要的数据,确保数据退网的高效和安全;借助AI进行数据退网的合规性审计,确保符合相关法规和政策。

        数据治理要全覆盖,坚持应用驱动数据质量提升,促进应用与数据的融合发展,理顺数据在生产全流程中的顺畅流动,通过人工智能技术提升、数据质量赋能企业发展。

        典型的应用场景如对运营商网络资源数据全生命周期的体系化治理方案,从网络资源规划、建设、入网、调度以及退网全程端到端,通过在各个治理维度中针对性的引入AI人工智能力能,预期可大幅度提升数据质量,进而提升网络利用率,识别网络隐患与风险,并有效保障网络运维与业务开通可靠运行。

其二、数据治理模式采用传统、人工智能相融合的治理模式,重点突破。

        人工智能对数据治理的影响越来越明显,这是行业的共识。如何提高了人工智能在数据治理中的应用并发挥更大的作用,使数据治理逐渐转向人工智能主导,人工辅助的模式。

        高质量的数据一直是人工智能成功的先决条件和瓶颈,但随着人工智能的发展,AIGC的出现减少了对大量数据样本的需求,形成数智反向融合的趋势,使得人工智能能够更好地理解、处理和分析海量的数据,从而减轻了人工处理工作量。随着模型通用性的增强和交互方式的简化,人工智能在数据治理中的作用将进一步扩大。

        企业数据治理中,通过典型的人工智能应用场景,重点突破后,进而全面推动人工智能在数据治理中的应用。

        结合运营商资源业务场景,举例说明人工智能在数据治理中的具体应用场景。

        在数据采集阶段,通过提供现场照片和视频,使用深度学习神经网络技术,如Yolo模型等,智能识别图片、视频等素材中的网络资源现场信息,进而自动识别入库。通过语音识别,结合大模型技术,采集语音上报的信息关入库。

        异常数据监测和检测技术,可以用于最难识别和治理的资源数据场景,如资源属性与关联关系都是正确的,但数据本身却是异常的,以前此类数据主要靠人工识别,但通过如支持向量机、K-Means等聚类算法,通过对数据进行分类、分割与异常检测,可以较好的解决上面的难题。

        网络资源规划方面,规划人员需要更多的预测规划资源的使用趋势,以便更合理的规划资源,满足在指定时间段内的资源需求。对于此类需求,可以通过对相似资源数据建立回归模型,如Linear Regression、Logistic Regression等,来预测资源数据使用趋势,满足对网络更合理的规划。

        对于海量网络资源数据检索方面,通过使用朴素贝叶斯,对资源中的文本信息进行分类、标注和检索,达到数据的快速检索目标。

        针对具体的场景和具体的数据,需要有针对性的选择最合理的模型与算法,达到数据治理的目标,也可以使用多种算法,综合、横向联动评估,提升数据治理水平。

第三、通过人工智能建设长效的数据治理机制

        人工智能支撑下的数据治理,通过这种治理模式的创新,如引入AI技术等,逐步建成企业可迭代的、长效的数据治理底座,提升数据治理水平,提高数据的可用性和业务价值。

        首先,通过引入AI技术,企业可以实现对大规模数据的自动化处理和分析。AI技术可以帮助企业识别和纠正数据中的错误或异常,从而提高数据的质量。此外,AI还可以用于实时监控数据的安全性和合规性,及时发现并应对潜在的风险。

        其次,通过建立可迭代的数据治理底座,企业可以持续改进和优化数据治理流程。随着业务的发展和技术的变化,数据治理的需求也会不断变化。因此,企业需要建立一个灵活的数据治理框架,能够快速适应新的需求和挑战。

        另外,通过提高数据的可用性和业务价值,企业可以更好地利用数据来支持决策和创新。数据的价值在于其被有效利用的能力。通过建立高效的数据管道和数据分析平台,企业可以更快速地获取和利用数据,从而为业务提供更准确的洞察和支持。

        总之,通过引入AI技术等创新模式,企业可以建立一个可迭代的、长效的数据治理底座,提升数据治理水平,确保数据的质量、安全性和合规性,同时提高数据的可用性和业务价值。这将为企业带来更好的竞争优势和发展机会。

        综上,在面对企业新的数据治需求和传统治理模式的局限性时,引入AI技术成为提升数据治理水平和数据质量的重要途径。通过将AI技术应用于企业数据治理中,可以实现自动化、智能化的数据处理和分析,从而提高数据的准确性和可靠性。同时,AI技术还可以帮助企业发现潜在的数据风险和异常情况,提前进行预警和干预,保障数据的安全性和合规性。因此,探索如何将AI技术引入企业数据治理中,并将其与传统的数据治理方式相结合,是推动企业发展的重要方向。只有不断提升数据治理水平和数据质量,才能更好地利用数据为企业发展赋能,迎接未来的挑战。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/206964.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++新经典模板与泛型编程:用成员函数重载实现std::is_convertible

用成员函数重载实现is_convertible C标准库中提供的可变参类模板std::is_convertible,这个类模板的主要能力是判断能否从某个类型隐式地转换到另一个类型,返回的是一个布尔值true或false。例如,一般的从int转换成float或从float转换成int&am…

使用Plex结合cpolar搭建本地私人媒体站并实现远程访问

文章目录 1.前言2. Plex网站搭建2.1 Plex下载和安装2.2 Plex网页测试2.3 cpolar的安装和注册 3. 本地网页发布3.1 Cpolar云端设置3.2 Cpolar本地设置 4. 公网访问测试5. 结语 1.前言 用手机或者平板电脑看视频,已经算是生活中稀松平常的场景了,特别是各…

剧本杀小程序搭建:打造线上剧本杀新体验

剧本杀是一款以角色扮演为主的游戏,一度成为了年轻人的最喜爱的社交游戏。在剧本杀市场需求下,剧本杀规模也迅速上升。今年第一季度,剧本杀市场规模环比增长47%,市场整体消费水平逐渐呈上升趋势。 随着剧本杀的不断发展&#xff…

echarts绘制一个环形图2

其他echarts&#xff1a; echarts绘制一个环形图 echarts绘制一个柱状图&#xff0c;柱状折线图 echarts绘制一个饼图 效果&#xff1a; 组件代码&#xff1a; <template><div class"wrapper"><div ref"doughnutChart2" id"dough…

ORACLE数据库实验总集 实验六 SQL 语句应用

一、 实验目的 &#xff08;1&#xff09; 掌握数据的插入&#xff08;INSERT&#xff09;、 修改&#xff08;UPDATE&#xff09; 和删除&#xff08;DELETE&#xff09; 操作。 &#xff08;2&#xff09; 掌握不同类型的数据查询&#xff08;SELECT&#xff09; 操作。 二、…

阿里滴滴之后,腾讯视频也崩了!网友追问:下一个是谁?

继滴滴“崩了”一夜后&#xff0c;刚过去不到一周时间&#xff0c;互联网“崩了”连续剧又迎来了续集。 就在刚刚&#xff0c;也是晚间时分&#xff0c;网友曝出腾讯视频崩了&#xff0c;不能追剧了。接着&#xff0c;腾讯视频官方便现身回应&#xff0c;坐实了传闻。 还是同…

JVM虚拟机:如何查看JVM初始和最终的参数?

本文重点 在前面的课程中&#xff0c;我们学习了如何查看当前程序所处于的xx参数&#xff0c;本文再介绍一种如何参看JVM的xx参数&#xff1f; 查看JVM的所有初始化参数 方式一&#xff1a;java -XX:PrintFlagsInitial 方式二&#xff1a;java -XX:PrintFlagsInitial -versio…

【自学篇】Python篇-第一天温度转换

1、规则 输入 华氏度 转换为 摄氏度 输入 摄氏度 转换为 华氏度 转换公式&#xff1a; 华氏度 摄氏度 * 1.8 32 摄氏度 &#xff08;华氏度32 &#xff09;/1.8 2、python代码 TempStr input() if TempStr[-1] in [F,f]:print("转换后的温度值&#xff1a;{:.2f}C&…

浅谈Elasticsearch备份和恢复

Elasticsearch 备份和恢复功能 Elasticsearch 是一个分布式搜索和分析引擎&#xff0c;广泛应用于各种场景&#xff0c;如日志分析、全文搜索和实时数据处理。在使用 Elasticsearch 时&#xff0c;数据的安全和可用性至关重要。本文将详细讲解 Elasticsearch 的备份和恢复功能…

Uncle Maker: (Time)Stamping Out The Competition in Ethereum

目录 笔记后续的研究方向摘要引言贡献攻击的简要概述 Uncle Maker: (Time)Stamping Out The Competition in Ethereum CCS 2023 笔记 本文对以太坊 1 的共识机制进行了攻击&#xff0c;该机制允许矿工获得比诚实同行更高的挖矿奖励。这种名为“Uncle Maker”的攻击操纵区块时间…

mysql数据库中int字段长度,即int(1)和int(10)的区别

1.起因 为什么想起来看这个问题&#xff0c;是最近有同事问mysql的init类型的字段长度的问题&#xff0c;他问int(1)和int(10)是什么意思&#xff0c;是字段长度越大&#xff0c;能存储的数字越大么&#xff1f;咋一问&#xff0c;还有点懵&#xff0c;从惯性思维来看&#xf…

React 中虚拟DOM是什么,为什么需要它?

注意&#xff1a;本节主要讲React中的虚拟DOM&#xff0c;但是虚拟DOM并不是React中特有的内容。 1. React 中虚拟 DOM是什么&#xff1f; 虚拟DOM是对真实DOM的描述&#xff0c;虚拟DOM是JS对象&#xff0c;实际上就是 JSX 通过 babel 转换成 React.createElement()&#xff…

8.3 C++11对Unicode的支持

一、C11对Unicode的支持 在C98中&#xff0c;引入wchar_t对Unicode支持&#xff0c;但是后来由于不同平台下wchar_t的宽度并不相同(8,16,32位)&#xff0c;导致可移植性受到影响。因此从C11开始引入了char16_t、char32_t以及原有的char&#xff0c;分别存储utf16&#xff0c;u…

边缘端部署的典型目标识别网络

边缘端&#xff08;Edge&#xff09;部署深度学习目标检测网络通常涉及到在资源受限的设备上执行模型推断。这里有一些边缘端部署深度学习目标检测网络的常见策略和技术&#xff1a; 轻量化模型&#xff1a; 选择或设计轻量级的深度学习模型&#xff0c;例如MobileNet、Squeez…

来自OpenAI的官方解释:ChatGPT中的GPTs与Assistants API的区别是什么?有什么差异?

本文原文来自DataLearnerAI的官方网站&#xff1a; 来自OpenAI的官方解释&#xff1a;ChatGPT中的GPTs与Assistants API的区别是什么&#xff1f;有什么差异&#xff1f; | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051701996595465 OpenAI发布的产…

图解算法数据结构-LeetBook-查找01_第一个只出现一次的字符

某套连招动作记作仅由小写字母组成的序列 arr&#xff0c;其中 arr[i] 第 i 个招式的名字。请返回第一个只出现一次的招式名称&#xff0c;如不存在请返回空格。 示例 1&#xff1a; 输入&#xff1a;arr “abbccdeff” 输出&#xff1a;‘a’ 示例 2&#xff1a; 输入&…

3D Web轻量引擎HOOPS Communicator如何实现对大模型的渲染支持?

除了读取轻松外&#xff0c;HOOPS Communicator对超大模型的支持效果也非常好&#xff0c;它可以支持30GB的包含70万个零件和3.5亿个三角面的Catia装配模型&#xff01; 那么它是如何来实现对大模型的支持呢&#xff1f; 我们将从以下几个方面与大家分享&#xff1a;最低帧率…

python核心阶段(五)—— 面向对象三大特性

1.封装 概念&#xff1a;封装主要是指将一些属性和相关方法封装在一个对象中&#xff0c;对外隐藏内部具体实现细节 作用&#xff1a;1&#xff09;使用起来更加方便&#xff0c;类似于提供了一个工具箱 2&#xff09;保证数据的安全&#xff08;设置私有属性&#xff09; 3&am…

高精度加法,减法,乘法,除法(下)(C语言)

前言 上一篇博客我们分享了高精度加法&#xff0c;减法,这一期我将为大家讲解高精度乘法和高精度除法。那让我们开始吧&#xff01; 对加法和减法感兴趣的话就点我 文章目录 1&#xff0c;乘法2&#xff0c;除法3&#xff0c;尾声 1&#xff0c;乘法 让我们想想我们平时做数学…

openpyxl读取Excel文件忽略单元格公式仅读取所显示的值

目录 前言解决方案先不加&#xff1a;看读取信息加上参数&#xff1a;看读取信息完整代码 前言 我们在读取Excel文件时&#xff0c;假如某行或者某列是利用公式生成的&#xff0c;但是我们在利用openpyxl进行读取时&#xff0c;发现读取到的是公式&#xff0c;而非显示的值 解…