2024年数据管理预测:利用AI更好地利用非结构化数据

在数据存储和非结构化数据管理领域,过去 12 个月发生了很大变化。在不确定的经济环境下,随着成本上升和 IT 预算压力增加,云存储战略受到关注,生成式 AI 正在创造新的数据存储和治理要求,数据迁移越来越复杂,IT 组织面临着控制成本和提供更大数据价值的巨大压力。如何处理这一切?以下是针对 IT 组织和数据存储团队的一些预测。首先是 AI 和非结构化数据管理。

人工智能将会更好地利用非结构化数据

非结构化数据非常庞大。直到今天,由于以下几个原因,非结构化数据仍无法使用:搜索、分类、细分和迁移到 AI 引擎,以及分析工具既困难又昂贵。不过,人们越来越需要利用这些数据来创造新的业务价值,随着人工智能的发展,这将变成可能。

挑战在于:想要向 AI 发送数据的研究人员和数据科学家没有简单的方法来安全地做到这一点。它需要编写手动脚本,这需要数天或数周工作。另外,人工智能和机器学习技术仍然不太准确,并引入了偏见和错误的结果。

然而,我们预测对解决方案的需求将会增加,这些解决方案可以创建一个工作流程。利用这个工作流程,人工智能可以快速找到所需的数据,丰富数据并验证结果。工作流程可能包括首先使用人工智能工具扫描云数据湖或数据中心中的数据,以找到项目所需的数据类型。例如, 2022 年的所有胸部  X 线摄影图像。然后,AI 通过扫描文件内容和标记文件(例如“包含用于诊断随访的标记 X”)来丰富元数据,并返回一个可以由人类验证为正确输出的数据集。具有可搜索全局文件索引的非结构化数据管理可以通过 API 连接到 AI 工具,以进一步识别和丰富数据。它为 AI 项目节省时间、提高效率和准确性。

从云优先到数据优先

在全球疫情最严重的时候,云优先战略风靡一时。但在今天,这些计划已经暴露在显微镜下。IT 组织使用适合不同工作负载的多种供应商技术创建了灵活的混合云和多云环境。一些组织发现他们不仅没有节省足够的资金,而且有时甚至比将数据保存在内部花费更多。

这一现实背后有很多原因,但将大部分或全部工作负载放在云中以最终节省成本的想法并没有成功。IT 组织需要根据其数据在整个生命周期中的性能、成本和安全需求,从市场上的众多存储选项(无论是在本地还是在云中)中进行选择。随着需求的变化或更好地技术可用,能够更加轻松地移动数据,这将变得至关重要。

因此,允许大量非结构化数据在不受供应商锁定的情况下,使用移动地数据管理工具,才能变得越来越有价值。

非结构化数据迁移变得更加智能、自动化

传统上,企业数据迁移非常复杂,需要大量实际操作,并且需要大量的专业服务,尤其是在涉及大量非结构化数据时。自动化和人工智能将改变这种状况,实现智能、高效的数据迁移,不再需要 IT 经理时时盯紧数据迁移工作。

这些智能化地工具将知道如何即时解决问题并自我修复。随着技术的增长,高级迁移规划工具将针对不同的工作负载和用例推荐最佳存储层。这是一个必然的结果,因为数据迁移取决于客户不断变化的环境:他们的防火墙、网络连接和安全配置。企业客户将寻求能够提供数量级的更快地迁移速度、更好地长期结果以及更少地数据丢失、错误和安全风险实例的解决方案。

存储IT职业:所需的FinOps和跨平台技能

鉴于上述所有趋势,存储 IT 团队将需要获得更多的专业知识,以便更具成本效益和效率,并符合业务和部门的需求。

FinOps 一词将成为 2024 年存储架构师命名方法的一部分。随着存储越来越以软件和服务为中心,现在对硬件的管理需求也越来越少。相反,管理供应商、合同以及向部门和用户提供安全、经济高效地数据服务将占用存储专业人员的大量时间。

同样,企业正在摆脱单一供应商。因此,存储管理员必须在不同的技术之间跳来跳去,而不是专注于一个平台。这需要在网络、安全、云架构、成本建模和数据分析方面拥有更广泛的技能和知识。

因此,特定于存储的职位将被数据头衔所取代,例如“数据洞察工程师”或“数据管理架构师”。在成熟的基础架构团队中,负责存储的经理将与数据科学和 AI 团队更紧密地合作,采购 AI 就绪的基础架构,并制定数据分类和分析平台数据工作流的计划。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/586990.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分库分表之Mycat应用学习二

3 Mycat 概念与配置 官网 http://www.mycat.io/ Mycat 概要介绍 https://github.com/MyCATApache/Mycat-Server 入门指南 https://github.com/MyCATApache/Mycat-doc/tree/master/%E5%85%A5%E9%97%A8%E6%8C%87%E5%8D%973.1 Mycat 介绍与核心概念 3.1.1 基本介绍 历史&#x…

骑砍战团MOD开发(29)-module_scenes.py游戏场景

骑砍1战团mod开发-场景制作方法_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Cw411N7G4/ 一.骑砍游戏场景 骑砍战团中进入城堡,乡村,战斗地图都被定义为场景,由module_scenes.py进行管理。 scene(游戏场景) 天空盒(Skyboxes.py) 地形(terrain code) 场景物(scene_…

【华为数据之道学习笔记】8-2 数据质量规则

异常数据是不满足数据标准、不符合业务实质的客观存在的数据,如某位员工的国籍信息错误、某位客户的客户名称信息错误等。 数据在底层数据库多数是以二维表格的形式存储,每个数据格存储一个数据值。若想从众多数据中识别出异常数据,就需要通过…

【滑动窗口】C++算法:可见点的最大数目

作者推荐 动态规划 多源路径 字典树 LeetCode2977:转换字符串的最小成本 本题涉及知识点 滑动窗口 LeetCode 1610可见点的最大数目 给你一个点数组 points 和一个表示角度的整数 angle ,你的位置是 location ,其中 location [posx, posy] 且 point…

C#语言发展历程(1-7)

一、类型发展 C#1中是没有泛型的 在C#2中在逐渐推出泛型。C#2还引入了可空类型。 示例:C#泛型(详解)-CSDN博客 1 C#3:引入了匿名类型、和隐式的局部变量(var) 匿名类型:我们主要是使用在LIN…

openGauss学习笔记-179 openGauss 数据库运维-逻辑复制-发布订阅

文章目录 openGauss学习笔记-179 openGauss 数据库运维-逻辑复制-发布订阅179.1 发布179.2 订阅179.3 冲突处理179.4 限制179.5 架构179.6 监控179.7 安全性179.8 配置设置179.9 快速设置 openGauss学习笔记-179 openGauss 数据库运维-逻辑复制-发布订阅 发布和订阅基于逻辑复…

大模型推理部署:LLM 七种推理服务框架总结

自从ChatGPT发布以来,国内外的开源大模型如雨后春笋般成长,但是对于很多企业和个人从头训练预训练模型不太现实,即使微调开源大模型也捉襟见肘,那么直接部署这些开源大模型服务于企业业务将会有很大的前景。 本文将介绍七中主流的…

【eclipse】eclipse开发springboot项目使用入门

下载eclipse Eclipse downloads - Select a mirror | The Eclipse Foundation 安装eclipse 其他一步一步即可 我们是开发java web选择如下 界面修改 Window->Preferences-> 修改eclipse风格主题 Window->Preferences->General->Appearance 修改字体和大小…

基于 CefSharp 实现一个文件小工具

I’m not saying you can’t be financially successful I’m saying have a greater purpose in life well beyond the pursuit of financial success Your soul is screaming for you to answer your true calling You can change today if you redefine what success is to …

深度强化学习DQN训练避障

目录 一.前言 二.代码 2.1完整代码 2.2运行环境 2.3动作空间 2.4奖励函数 2.5状态输入 2.6实验结果 一.前言 深度Q网络(DQN)是深度强化学习领域的一项革命性技术,它成功地将深度学习的强大感知能力与强化学习的决策能力相结合。在过…

Kafka集群详解

Kafka介绍Kafka集群介绍Kafka集群特点Kafka集群搭建在这里插入图片描述Kafka集群如何进行故障切换Kafka集群Leader的选举Kafka集群如何快速横向拓展Kafka集群搭建最佳实践Kafka集群可以使用单节点Zookeeper吗Kafka集群的消费者信息保存在那里Kafka集群的Topic的分区数的设置规则…

YOLOv8改进 添加可变形注意力机制DAttention

一、Deformable Attention Transformer论文 论文地址:arxiv.org/pdf/2201.00520.pdf 二、Deformable Attention Transformer注意力结构 Deformable Attention Transformer包含可变形注意力机制,允许模型根据输入的内容动态调整注意力权重。在传统的Tra…

鸿蒙 Window 环境的搭建

鸿蒙操作系统是国内自研的新一代的智能终端操作系统,支持多种终端设备部署,能够适配不同类别的硬件资源和功能需求。是一款面向万物互联的全场景分布式操作系统。 下载、安装与配置 DevEco Studio支持Windows系统和macOS系统 Windows系统配置华为官方推…

小程序面试题 | 17.精选小程序面试题

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

Nmap使用

Nmap 文章目录 Nmap端口扫描及其原理端口扫描用法Zenmap配置说明 Nmap 是一款开源免费的网络发现(Network Discovery)和安全审计(Security Auditing)工具官网为:www.nmap.org。 一般情况下,Nmap用于列举网…

从0开始界面设计师 Qt Designer

QT程序界面的 一个个窗口、控件,就是像上面那样用相应的代码创建出来的。 但是,把你的脑海里的界面,用代码直接写出来,是有些困难的。 很多时候,运行时呈现的样子,不是我们要的。我们经常还要修改代码调整界…

day12--java高级编程:网络通讯

5 Day19–网络通信(Socket通信) 说明: io流是跟本地的文件进行数据的传输,读或者写。网络通信:数据在网络中进行的传输。 本章专题与脉络 1. 网络编程概述 Java是 Internet 上的语言,它从语言级上提供了对网络应用程序的支持&…

Maven项目提示Ignored pom.xml问题

1 环境 (1)IDEA开发工具:2022.2.1 (2)JDK:Java17(Spring6要求JDK最低版本是Java17) (3)Spring:6.1.2 (4)Maven 3.8.8 2 …

react+redux+antd-mobile 之 记账本案例

1.环境搭建 //使用CRA创建项目,并安装必要依赖,包括下列基础包 //1. Redux状态管理 - reduxjs/toolkit 、 react-redux //2. 路由 - react-router-dom //3. 时间处理 - dayjs //4. class类名处理 - classnames //5. 移动端组件库 - antd-mobile //6. 请…

linux常见基础指令

入门常见基础指令 ls、stat、 pwd 、cd、tree、 whoami、 touch、 mkdir、 rm 、 man、 cp、mv、cat、tac、echo、>、 >>、 < 、more、 less、 head、 tail、date、 cal、 find、 which、alias、whereis、grep、zip与unzip、 tar、bc、uname、xargs... 热键Tab、…