人工智能如何提升大数据存储与管理效率?

简介: 通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以找到他们目前正在努力管理的指标的解决方案。

随着大数据的大量来源以及企业可用数据量的增加,存储容量规划已成为存储管理员的问题。据估计,每天产生2.5万亿字节的数据。现在,如果以神经元计算的话,那就是相当于2.5亿个人类大脑的海量数据。而且,相同的估计表明,全球总数据的90%是从2016年到2018年生成的。

 

image.png

可以简单地说,每天生成越来越多的数据,这正增加了存储工作负载的规模和复杂性。但是,人工智能可以拯救存储管理员,帮助他们高效地存储和管理数据。通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以找到他们目前正在努力管理的指标的解决方案。

存储管理员需要努力的主要指标

存储管理员在管理存储问题时面临一些挑战。而且,如果他们克服了这些挑战,将帮助他们在数据存储的各个方面之间找到适当的平衡,例如在哪里分配工作负载,如何分配工作负载以及如何优化堆栈等等。

一般而言,吞吐量是指处理某事物的速率。在网络级别,吞吐量的度量单位是Mbps(兆位/秒),而在存储级别,吞吐量的度量单位是MB /秒(兆字节/秒)。由于一个字节等于八兆位,因此生产率在存储级别上提高了。并且,变得难以管理提高的生产率。

1. 延时

延迟是服务器完成请求所花费的时间。关于存储,这是指满足单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量影响,但是如果单个块请求很大,则应用延迟可能会随着吞吐量的增加而偏离。

2. IOPS(每秒输入/输出操作)

IOPS是指存储堆栈每秒可以处理的离散读写任务的数量。存储堆栈是一种允许过程调用的数据结构。这意味着将多个过程彼此存储在堆栈中,然后在调用和返回的基础上一个接一个地执行所有过程。例如,如果一个过程被调用,它将被执行,然后返回,以便在堆栈中调用下一个过程。而且,在谈论IOPS时,基础输入/输出任务可以达到存储系统的堆栈限制。例如,读取一个大文件和多个小文件可能会对IOPS产生影响。由于读取单个大文件仅需要执行一个读取任务,因此可以以较高的速度执行它,而另一方面,读取多个文件的速度非常慢,因为需要执行许多读取任务。

AI数据存储如何解决存储问题

 

image.png

企业管理员和存储供应商处理各种各样的存储类型。而且,它们还满足不同输入/输出服务的指标。大型文件共享应用可能需要适当的吞吐量,但也必须允许延迟损失,因为大型而复杂的应用可能会对延迟产生不利影响。另一方面,电子邮件服务器可能需要大量存储,低延迟和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。并且,存储管理员应该决定应该为哪些存储分配什么资源。因此,在组织中运行着成千上万的服务时,对基础存储的管理超过了人们进行明智更改的能力。而且,这就是AI算法派上用场的地方。

人工智能支持的存储管理和计划

AI可以监控存储以检测多种工作负载的模式和性能。这里的工作负载是由各种输入/输出特征或应用任务生成的数据流。通过检测这些工作负载模式,AI可以帮助存储管理员洞悉哪些工作负载可能使他们面临最大化存储阵列的风险。此外,存储监视还可以帮助了解是否有任何额外的工作负载可以放入阵列中。而且,如果添加到阵列中,那么工作负载将造成多少中断。

例如,假设一家企业正在向流程中添加电子邮件服务器。在这种情况下,人工智能系统可以帮助预测存储阵列将能够满足该服务器的存储需求还是将其最大化。借助此类技术,存储管理员可以主动获取有关如何将不同的工作负载分配给不同的存储堆栈并最大程度地减少延迟的信息。因此,将AI集成到存储阵列,存储供应商和组织中可以优化存储堆栈。

除了监视存储活动外,存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。

Strace是Linux的用户空间实用程序,可用于诊断、调试和获取有关输入和输出功能的指令。但是,由于复杂的应用可以具有多个输入/输出功能,因此这对人类来说可能是一个挑战。另一方面,ML算法可以轻松地提取和分析大量数据,并解决许多存储问题,最好是通过查看存储系统本身来解决。此外,通过使用大量数据训练算法,以了解特定堆栈或整个应用如何收集和存储数据,它们可以帮助实现对该特定应用存储活动的实时观察,以防止堆栈最大化并改善存储容量。

AI数据存储可满足客户需求

遥测数据是自动记录和无线传输来自远程或不可访问来源的数据。遥测以下列方式起作用:传感器在源处测量数据,它们将其转换为电压,然后将其与定时数据合并为单个数据流,该数据流将传输到远程接收器。接收后,可以根据用户要求对数据进行处理。

AI的计算机视觉技术可以扫描遥测数据,以保护存储阵列免受漏洞侵害。当使用有关漏洞的历史数据进行训练时,机器学习算法可以将来自各种应用程序的传入数据与历史数据进行匹配,以发现漏洞的可能性。因此,借助AI的预测分析,存储供应商可以着眼于在遇到客户之前防止存储问题。

AI数据存储仍处于起步阶段,但已经显示出了惊人的结果。而且,因此云供应商和其他存储管理员正在对AI进行越来越多的投资,以使用超融合存储系统进行存储维护。采用主流AI数据存储肯定会帮助企业控制上述所有指标,并为其客户提供更好的服务。

 

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/514841.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

wildfly10 (JBoss)如何部署SSL证书

文章目录1. 证书下载2. 证书配置2. 效果验证项目用的wildfly-10.1.0.Final。需要用到SSL证书,把部署过程记录下来,以供参考。1. 证书下载 本文的证书申请都来自阿里云。 1.首先把你的域名做好解析。 2.从阿里云上下载申请的SSL证书,类型选择…

奇点云集聚数据中台优势,加速企业数智化升级

作者 | 寇雪芹 出品 | CSDN云计算 头图 | 下载于视觉中国 近日,以“应云而生 原力觉醒”为主题的 StartDT Day 数据技术大会在杭州举办。会上,奇点云发布了最新的数据技术战略“跨平台、云原生、自主可控”、云原生数据中台 DataSimba R3.0、消费者数字…

2020-10-29

简介: 世上没有免费的午餐,微服务技术让 IT 系统变得更敏捷、更健壮、更高性能的同时,也带来了架构复杂度的提升。对于开发者而言,要想更好的驾驭微服务架构,需要解决持续集成、服务发现、应用通信、配置管理、流量防护…

状态码202_至少 10 个 HTTP 状态码

HTTP状态码(英语:HTTP Status Code)是用以表示网页服务器超文本传输协议响应状态的3位数字代码。HTTP状态码 HTTP状态码总的分为五类:1开头:信息状态码2开头:成功状态码3开头:重定向状态码4开头…

玩转 IntelliJ IDEA 2020

文章目录一、基础软件集成配置系列1. 常用快捷键2. IDEA 配置JDK项目应用 JDK3. IDEA 配置 Maven4. IDEA 配置 TOMCAT5. IDEA配置 Git6. IDEA配置的导入导出7. IDEA控制台输出乱码8. IDEA注释模板9. IDEA xml模板10. IDEA 高效开发11. SpringBoot 集成 MyBatisPlus 模板12. Spr…

CSDN 独家对话阿里云贾扬清、华先胜等大咖,剧透阿里云原生技术密码

新一轮科技革命和产业变革正重塑全球发展格局,以云计算为代表的新一代信息技术相互渗透,成为数字经济智能和创新发展新引擎。过去 12 年,人们对云计算的讨论从原来的“为什么上云”,到“为什么不上云”,再到如今探索“…

持续定义Saas模式云数据仓库+实时搜索

简介: 本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义Saas模式云数据仓库实时搜索》的相关分享。以下是视频内容精华整理,主要包括以下三个部分:1.Why:概述与价值;2.What:应用场…

弹窗进度条_QQ 大更新!语音进度条来了,还有这 5 个新变化

4 月 13 日,QQ 迎来了 8.0.0 for iOS 的更新。在其 App Store 的更新描述中可以看到,本次更新不仅升级了 QQ 的界面、优化了多人语音和转发消息的体验,语音消息还支持暂停和进度拖动了。知晓君第一时间对新版本 QQ 进行了一番体验&#xff0c…

接入阿里巴巴商业操作系统,麦当劳中国双11发力数字化

简介: 此次麦当劳中国与阿里巴巴的深度合作,对于双方和整个餐饮行业都具有重要意义。 早上8点出门前,你可以打开支付宝搜索麦当劳,点击“优惠预点”订餐,在你去办公室途中,热腾腾的麦当劳早餐就为你准备好…

Jepsen:分布式系统最早的混沌框架

来源 | 混沌工程实践作者 | 罗冈庭头图 | 下载于ICphotoJepsen测试框架的工作模式和混沌工程的思想是一脉相承的。Jepsen测试框架可以在分布式系统上注入众多混沌事件,例如引入网络问题、杀死节点和生成随机负载等等,然后通过执行预先定义的测试操作&…

Linux 命令操作手册

文章目录一、Boot项目前后台二、进程三、防火墙四、查看系统版本五、权限赋予六、远程同步文件七、目录八、文件九、解/压缩十 、大文件分割方案十一、查看文件中关键词出现的次数十二、添加/删除/修改/查看用户和用户组十三、寻找文件十四、清空文件内容十五、磁盘占用删除包含…

天猫国际通过Hologres进行排行榜的实时交互式分析

简介: 本文将会为您分享天猫国际如何通过Hologres实现计算、存储、服务统一的实时交互式分析。 作者:景闻 阿里巴巴数据技术及产品部数据技术专家 一.业务背景 天猫国际营销活动分析实时排行榜是在大促中帮助业务快速的分析商家或者品牌的交易和流量的…

b2b优势与劣势_在Amazon Business平台销售的优点和缺点,B2B卖家清楚吗?

Amazon Business是一个B2B平台,拥有45000多个活跃卖家和1000多万产品,提供批发和各类商业折扣。很多卖家不确定是否要在Amazon Business销售,因此本文将详细解说Amazon Business的优点和缺点:优点1、直面大规模消费者很多人通过亚…

Docker 操作手册

文章目录一、docker 基础篇1. 常用命令2. 镜像操作3. 容器操作4. 文件拷贝5. 目录挂载6. Docker镜像备份与迁移二、实战应用篇CentOS Dockerdocker Oracledocker Jenkinsdocker mysqldocker Gitlab-cedocker NEXUS3docker Redisdocker RabbitMQdocker elasticsearchdocker kiba…

官宣!《新程序员·开发者黄金十年》正式发布

“在互联网还不发达的时代,就是《程序员》伴我成长的。”“怀念啊,曾经《程序员》的日子。”“我是看着《程序员》长大的,大二时买了创刊号。”“这可是我们这一代人大学时候满满的回忆,也是当时寝室中传阅最多的书。”“每年的《…

OpenKruise:解放 DaemonSet 运维之路

简介: 我们希望 OpenKruise 让每一位 Kubernetes 开发者和阿里云上的用户都能便捷地使用上阿里巴巴内部云原生应用所统一使用的部署发布能力! 作者 | 王思宇(酒祝) 前言 OpenKruise 是阿里云开源的大规模应用自动化管理引擎&…

云原生数据湖解决方案打破数据孤岛,大数据驱动互娱行业发展

简介: 数据湖是以集中、统一方式存储各种类型数据,数据湖可以与多种计算引擎直接对接,我们使用OSS作为数据湖底座,数据统一存储在OSS中,有效消除了数据孤岛现象,多种计算与处理分析引擎能够直接对存储在数据…

三角形已知边长求高公式_五年级数学:“长方形、正方形、三角形、平行四边形、梯形” 知识重点、难点全解析,附习题!...

张老师 - 5年级(多品小学教育)里辛镇中心小学谭老师和冰溪镇县后山小学谭老师需要的这份学习资料现在分享。本资料已制作电子版下载码是:5odc7n2i多边形的面积知识点1公式长方形:周长(长宽)2 ;字母公式:C(ab)2 面积长宽&am…

Maven 操作手册

文章目录一、基础操作1. 基础命令2. maven 下载安装3. 阿里云仓库4. maven仓库5. 引入maven仓库外的jar6. maven本地仓库位置7. idea配置maven8. 企业内部 maven 报错一站式解决方案一、基础操作 1. 基础命令 释义说明命令打包跳过测试mvn clean install -DskipTests打包跳过…

阿里技术文档:Redis+Spring全家桶+Dubbo精选+高性能+高并发

最近花了很长的时间去搜罗整理Java核心技术好文,我把每个Java核心技术的优选文章都整理成了一个又一个的文档。今天就把这些东西分享给老铁们,也能为老铁们省去不少麻烦,想学什么技能了,遇到哪方面的问题了 直接打开文档学一学就好…