数据治理能解决AI疲劳问题吗?

这篇文章强调了AI疲劳开始的两个阶段,并介绍了数据质量报告等数据治理措施如何能够推动构建值得信赖和健壮的模型。

数据治理和AI疲劳听起来像是两个不同的概念,但两者之间有着内在的联系。为了更好地理解它,让我们从它们的定义开始。

数据治理

长期以来,它一直是数据行业的核心焦点。

Google说得很好——“数据治理是你为确保数据安全、私有、准确、可用和可用所做的一切,它涉及制定适用于如何收集、存储、处理和处置数据的内部标准——数据政策。”

正如这一定义所强调的那样,数据治理是关于管理数据——准确地说,是驱动AI模型的引擎。

既然数据治理和AI之间的联系的初步迹象已经开始显现,让我们将其与AI疲劳联系起来。尽管这个名字暴露了它,但强调导致这种疲惫的原因确保了这个术语在整个帖子中的一致使用。

AI疲劳

由于公司、开发人员或团队面临的挫折和挑战,AI疲劳开始出现,经常导致AI系统的价值实现或实施失败。

它主要始于对AI能力的不切实际的期望。对于AI等复杂技术,关键利益攸关方不仅需要与AI的能力和可能性保持一致,还需要与其局限性和风险保持一致。

谈到风险,道德通常被认为是事后的想法,导致放弃不符合规定的AI倡议。

你一定想知道数据治理在导致AI疲劳方面的作用——这是本文的前提。

这就是我们接下来要去的地方。

AI疲劳大致可分为部署前和部署后。让我们首先关注部署前的工作。

部署前

将概念验证(PoC)升级到部署的因素有很多,例如:

  • 我们在努力解决什么问题?
  • 为什么现在就确定优先顺序会成为一个紧迫的问题?
  • 有哪些数据可用?
  • 它首先是ML——可解的吗?
  • 数据有规律吗?
  • 这种现象可以重演吗?
  • 哪些额外数据会提升模型的性能?

一旦我们评估了使用ML算法可以最好地解决问题,数据科学团队就会执行探索性的数据分析。在这个阶段揭示了许多底层数据模式,突出了给定数据是否包含丰富的信号,它还有助于创建工程特征,以加快算法的学习过程。

接下来,团队构建第一个基线模型,通常会发现它的性能没有达到可接受的水平。一款输出像掷硬币一样好的车型不会增加任何价值,这是构建ML模型时的首批挫折之一,也就是经验教训。

公司可能会从一个业务问题转移到另一个业务问题,从而导致疲劳。尽管如此,如果底层数据没有携带丰富的信号,任何AI算法都无法建立在它的基础上,该模型必须从训练数据中学习统计关联,以对看不见的数据进行概括。

部署后

尽管经过训练的模型在验证集上显示了有希望的结果,但根据合格的业务标准,例如70%的精度,如果模型在生产环境中不能充分发挥作用,仍然可能会出现疲劳。

这种类型的AI疲劳被称为部署后阶段。

无数原因可能会导致性能下降,而糟糕的数据质量是困扰该模型的最常见问题,它限制了模型在缺少关键属性的情况下准确预测目标反应的能力。

考虑在训练数据中只有10%缺失的基本特征之一,现在生产数据中50%的时间变为空,从而导致错误预测,这样的迭代和确保模型一致执行的努力会让数据科学家和业务团队感到疲惫,从而削弱人们对数据管道的信心,并使项目投资面临风险。

数据治理是关键

稳健的数据治理措施对于解决这两种类型的AI疲劳至关重要。鉴于数据是ML模型的核心,信号丰富、无错误和高质量的数据是ML项目成功的必要条件。解决AI疲劳问题需要高度关注数据治理。因此,我们必须严格工作,确保正确的数据质量,为构建最先进的模型和提供值得信赖的业务见解奠定基础。

数据质量

数据质量是蓬勃发展的数据治理的关键,也是机器学习算法成功的关键因素。公司必须在数据质量方面进行投资,例如向数据消费者发布报告。在数据科学项目中,想想当质量不佳的数据进入模型时会发生什么,这可能会导致性能不佳。

只有在错误分析期间,团队才能识别数据质量问题,当这些问题被发送到上游修复时,最终会导致团队之间的疲劳。

显然,这不仅仅是花费的努力,而且在正确的数据开始输入之前,还会损失大量的时间。

因此,始终建议从源头修复数据问题,以防止此类耗时的迭代。最终,发布的数据质量报告暗示数据科学团队(或任何其他下游用户和数据消费者)了解传入数据的可接受质量。

如果没有数据质量和治理措施,数据科学家将因数据问题而不堪重负,从而导致导致AI疲劳的不成功模型。

结束语

这篇文章强调了AI疲劳开始的两个阶段,并介绍了数据质量报告等数据治理措施如何能够推动构建值得信赖和健壮的模型。

通过数据治理建立坚实的基础,公司可以构建成功和无缝的AI开发和采用的路线图,灌输热情。

为了确保这篇文章全面概述了应对AI疲劳的各种方法,我还强调了组织文化的作用,组织文化与数据治理等其他最佳实践相结合,将使数据科学团队能够更快、更快地建立有意义的AI贡献。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/641317.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JS 将字符串‘10.3%‘ 经过运算加2转换为 ‘12.3%‘

文章目录 需求分析 需求 已知 字符串 a ‘10.3%’,现需将转换为 字符串’12.3%’ 分析 去掉百分号,将字符串转换为数字 const aNumber parseFloat(10.3%); const resultNumber aNumber 2;将结果转换为带百分号的字符串 const resultString re…

【算法题】67. 二进制求和

题目 给你两个二进制字符串 a 和 b ,以二进制字符串的形式返回它们的和。 示例 1: 输入:a "11", b "1" 输出:"100" 示例 2: 输入:a "1010", b "1011" 输出…

【OpenCV】P1 开发环境搭建

目录 OpenCV 简介OpenCV 安装*Windows* 下载安装*Macos* 下载安装*Ubuntu* 下载安装 OpenCV is the word’s biggest computer vision library. It’s open source, contains over 2500 algorithms and is operated by the non-profit Open Source Vision Foundation. – From …

灰度图像的自动阈值分割

第一种:Otsu (大津法) 一、基于cv2的API调用 1、代码实现 直接给出相关代码: import cv2 import matplotlib.pylab as pltpath r"D:\Desktop\00aa\1.png" img cv2.imread(path, 0)def main2():ret, thresh1 cv2.…

springboot项目之微信小程序授权登陆

引言 现实工作中小程序微信授权是最常见的需求,多少情况根据文档说明来基本上能够获取微信用户的openid。由于政策的改变,获取不到 微信头像和昵称,需要前端上传相关信息。 实战 简洁的两三行代码即可实现 PostMapping("wxMinReg"…

【CentOS】Linux 在线帮助文档命令:help、man 命令与文档汉化

目录 1、Linux 的命令行模式 2、help 命令 3、man 命令 4、man 命令输出文档汉化 注:本文档使用 Linux 版本为 CentOS 7.9 [swadianlocalhost ~]$ cat /etc/centos-release CentOS Linux release 7.9.2009 (Core) 1、Linux 的命令行模式 一般情况下&#xff0…

喜讯 | 华院计算摘得“2023大数据产业年度创新技术突破”奖

2024年1月17日, 由数据猿和上海大数据联盟主办,上海市经济和信息化委员会、上海市科学技术委员会指导的“第六届金猿季&魔方论坛——大数据产业发展论坛”在上海市四行仓库举行。论坛以“小趋势大未来”为主题,围绕大数据产业的各个领域展…

关于C# 使用 sqlite 映射实体类笔记

1、安装SQLite 在 nuget 搜索 System.Data.SQLite 安装2、在 app.conifg 文件中添加如下信息 <provider invariantName"System.Data.SQLite" type"System.Data.SQLite.EF6.SQLiteProviderServices, System.Data.SQLite.EF6" />解决问题&#xff1a;…

MySQL-SQL-DQL

DQL-介绍 DQL-语法 基本查询 1、查询多个字段 2、设置别名 3、去除重复记录 条件查询 1、语法 2、条件 聚合函数 1、介绍 2、常见的聚合函数 3、语法 分组查询 1、语法 2、where与having区别 排序查询 1、语法 2、排序方式 分页查询 1、语法 DQL-执行顺序

ubuntu 安装protobuf

apt 安装 sudo apt install protobuf-compiler 编译安装 – 方式1 资料链接&#xff1a;ubuntu环境 安装ncnn_ubuntu ncnn_jbyyy、的博客-CSDN博客 git clone https://github.com/google/protobuf.git cd protobuf git submodule update --init --recursive ./autogen.sh …

LeetCode59 螺旋矩阵 II

螺旋矩阵 II 循环不变量的应用 给你一个正整数 n &#xff0c;生成一个包含 1 到 n2 所有元素&#xff0c;且元素按顺时针顺序螺旋排列的 n x n 正方形矩阵 matrix 。 示例 1&#xff1a; 输入&#xff1a;n 3 输出&#xff1a;[[1,2,3],[8,9,4],[7,6,5]] 示例 2&#xff1…

关于php8的数据类型转换

目录 1、数据类型介绍 1.1 简单数据类型&#xff1a; 1.2 复合数据类型&#xff1a; 1.3 特殊数据类型&#xff1a; 2、数据类型转换 2.1 自动转换&#xff1a; 2.2 强制&#xff08;手动&#xff09;转换&#xff1a; 3、验证数据类型途径 &#xff08;1&#xff09;var…

[自用代码]基于LSTM的广州车牌售价预测

文章目录 1. 数据2. 代码 明天是拍牌日了&#xff0c;用AI协助生成了一段时间序列预测代码&#xff0c;主要是用来预测明天车牌均价。其实做的挺low的&#xff0c;没有考虑多维数据之间的关系以及社会事件影响&#xff0c;仅仅是单步预测&#xff0c;偏差是挺大的&#xff0c;符…

2024年第3周农产品价格监测报告

一、摘要 农产品价格监测主要涉及对畜禽类产品、水产品、蔬菜类产品、水果类产品的价格&#xff0c;以周为单位&#xff0c;进行变化情况的数据监测。其中&#xff0c;蔬菜类产品共8种&#xff0c;分别为菜花、韭菜、豆角、西红柿、胡萝卜、土豆、大葱、葱头。 本周重点监测的…

WordPress函数has_tag的介绍及用法示例,判断是否含有指定标签?

我们很多WordPress站点的文章页都会添加相应的标签&#xff0c;在某些场合下我们需要判断当前文章页是否含有指定的标签&#xff0c;那么应该用什么判断函数呢&#xff1f;这个时候就需要用到WordPress函数has_tag()了&#xff0c;下面boke112百科就跟大家介绍一下这个函数及具…

Element组件完整引入、按需引入、样式修改(全局、局部)、简单安装less以及npm命令证书过期等

目录 一、npm 安装二、完整引入三、按需引入四、样式修改1.按需加载的全局样式修改2. 局部样式修改1. 在 css 预处理器如 less scss 等直接使用::v-deep2. 只能用在原生 CSS 语法中:/deep/ 或者 >>> 五、 拓展&#xff1a;npm 安装less报错&#xff0c;提示证书过期六…

斯拉、理想等车企大幅降价,新一轮大洗牌正在进行中 |百能云芯

2024年刚开年&#xff0c;各大车企就先后抛出降价大礼包&#xff01;1月1日&#xff0c;特斯拉率先宣布调价&#xff0c;推出Model 3后驱现车保险补贴及低息金融政策&#xff0c;总优惠幅度高达2.2万元。正当大家还没有完全消化完特斯拉的调价信息后&#xff0c;理想汽车也宣布…

C# 判断文件路径的后缀是否是某个后缀

C# 判断文件路径的后缀是否是某个后缀&#xff0c;通过解析文件名并检查其扩展名来判断文件的后缀是否为.dcm。 以.dcm为例子&#xff0c;代码如下&#xff1a; 直接判断&#xff1a; using System; using System.IO; class Program { static void Main() { string …

美国大带宽服务器租用需要考虑的因素

很多用户会选择租用服务器&#xff0c;那么美国大带宽服务器租用时应该考虑哪些因素呢?小编为您整理发布美国大带宽服务器租用考虑因素。 在美国租用大带宽服务器时&#xff0c;您可以考虑以下几个因素&#xff1a; 1. **性能配置**&#xff1a;选择服务器时&#xff0c;应确保…

Unity中URP下的 额外灯 逐像素光 和 逐顶点光

文章目录 前言一、额外灯 的 逐像素灯 和 逐顶点灯1、存在额外灯的逐像素灯2、存在额外灯的逐顶点灯 二、测试这两个宏的作用1、额外灯的逐像素灯2、额外灯的逐顶点灯 前言 在之前的文章中&#xff0c;我们了解了 主光相关的反射计算。 Unity中URP下的SimpleLit的 Lambert漫反…