迈向百亿亿次人工智能数据基础设施

对我来说,在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是,产品的简单性既是其显着特征,也是其最具决定性的价值驱动因素之一。在规模上尤其如此。由于人工智能的进步,计算能力的爆炸性增长对数据格局产生了重大影响,将我们带入了百万兆次级数据基础设施的时代。

对于创始人和产品负责人来说,有一些惊人的成功资源/秘诀——但它们都可以被提炼成对大多数初创公司来说仍然难以捉摸的东西——“解决客户愿意支付的紧迫、普遍的问题。

就 MinIO 而言,该问题是关于解决动态工作负载的大规模数据基础设施的挑战。这就是 AI/ML,即 SEIM/威胁搜寻数据湖,即 HDFS 替代品,即数据库持久存储,即高级分析等等。在人工智能方面,每家企业公司,无论公司规模大小,都在尝试使用人工智能重塑自己。关键指标是从 AI 计划中获得价值的时间。要实现这一目标,需要将三件事结合在一起。

  • 在正确的时间窗口内获得正确的数据。

  • 以高性能方式提供、存储和流式传输数据的正确基础架构。

  • 利用这些数据实现预期业务成果的正确 AI 应用程序。

让我们从正确的时间窗口中的正确数据开始。正确的数据具有 X 属性。正确的时间窗口具有 Y 属性。总的来说,它们是你的数据计划的基础 - 人工智能或其他,它们在人工智能世界中的重要性越来越大,因为如果你的数据是错误的,你将延续错误,你将教导错误,你将需要重新开始。

接下来是正确的基础设施。我的同事 Keith Pijanowski 写了一篇关于 AI 数据湖的精彩文章,值得您花时间。人工智能生态系统围绕着对象存储展开。OpenAI 在对象存储上进行训练。Mistral 在对象存储上进行训练。Anthropic 的 Claude 在对象存储中接受训练。

云模型为人工智能的突破铺平了道路。对于提供NAS(网络附加存储)的传统数据存储公司来说,这是令人震惊的。在人工智能时代,他们面临着走磁带之路的风险。因此,他们试图通过文件对象二象性为现有数据提供对象存储接口来保持相关性。从架构上讲,这是错误的方法,因为这种方法会导致文件具有对象存储网关接口,而不是提供真正的本机对象存储。这样的解决方案试图将 AI 工作负载需求改造为 NAS 工作负载功能,但没有成功,但唯一真正的目标是确保数据不会离开他们的设备。无论这些存储设备供应商提供何种硬件,这种操作模式都无法满足 AI 工作负载所需的速度、简单性、成本和规模。现代 AI 应用程序是使用云原生技术构建的。默认情况下,这些 AI 应用程序工作负载中的大多数都需要横向扩展、分布式、高度可用的对象存储,从数据持久性的角度来看,支持非结构化/半结构化数据。MinIO 从头开始构建,正好满足这些云原生 AI 应用程序的需求。无论是裸机还是容器,MinIO Enterprise Object Store 都是真正的软件定义的云原生对象存储,为这些应用程序提供支持。

数字就是证据。MinIO 的 Docker Pull #s 同比增长 84%,创下了每天 1.6M 的记录。让它沉入片刻。每天1.6M。这可能比我们所有非公有云竞争对手在一个季度的总和还要多!这些 Docker Pulls 中有许多来自试图利用 MinIO 的云原生、“正常工作”简单性的企业。

为了达到这种成功水平,它需要更好的捕鼠器。请记住,每家采用 MinIO 的公司都已经拥有某种类型的存储 - 即使它是遗留文件和块。

这里还有另一个动态在起作用,那就是云遣返。企业客户热衷于避免他们在匆忙迁移公有云时所犯的错误 - 锁定和不受控制的账单。在处理这些大型数据集时,训练 AI 所需的数据更大,计算和网络出口成本变得更加昂贵。控制这些云成本,同时为业务提供弹性是要求 - 如今,通过迁移到 Equinix 这样的 colo 提供商或回到客户希望节省成本的私有数据中心,可以实现高达 50% 或更多,同时利用 MinIO 进行云原生对象存储,无论他们将数据从公共云移动到何处。

总之,我们将继续发展并成为 AI 工作负载的主要数据基础设施,帮助客户在运营敏捷性、安全性方面进行创新,并大规模提供新时代 AI 工作负载所需的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/32267.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ArkUI 开发学习随记——登陆界面,正圆头像,主页顶部,列表项案例源码

目录 案例一:登录界面 案例二:正圆头像,胶囊按钮 案例三:主页顶部 案例四:列表项 案例一:登录界面 代码: build() {Column({space:10}){Image($r("app.media.naxida")).width(100)…

什么是N卡和A卡?有什么区别?

名人说:莫听穿林打叶声,何妨吟啸且徐行。—— 苏轼《定风波莫听穿林打叶声》 本篇笔记整理:Code_流苏(CSDN)(一个喜欢古诗词和编程的Coder😊) 目录 一、什么是N卡和A卡?有什么区别?…

福州大学 2022~2023 学年第 1 学期考试 A 卷压轴题参考答案

题目: 定义一个抽象类Structure(含有纯虚函数type函数,用以显示当前结构的类型; 含有show函数), 在此基础上派生出Building类, 用来存储一座楼房的层数、房间数以及它的总平方米数。 建立派生 类House&am…

已解决java.security.acl.AclNotFoundException异常的正确解决方法,亲测有效!!!

已解决java.security.acl.AclNotFoundException异常的正确解决方法,亲测有效!!! 目录 问题分析 出现问题的场景 报错原因 解决思路 解决方法 分析错误日志 检查ACL文件路径和名称 确认系统权限 修改代码逻辑 确保ACL文…

现在这个行情,又又又要开始准备面试了~~

亲爱的程序员朋友们: 这些资料曾经帮助过许多有志之士顺利拿下抖音、快手、阿里等大厂的Offer,现在也希望它们能为你的面试旅程助力! 关注【程序员世杰】回复【1024】惊喜等你来拿! 截图 关注【程序员世杰】回复【1024】惊喜等你来拿&#xf…

python入门基础知识(错误和异常)

本文部分内容来自菜鸟教程Python 基础教程 | 菜鸟教程 (runoob.com) 本人负责概括总结代码实现。 以此达到快速复习目的 目录 语法错误 异常 异常处理 try/except try/except...else try-finally 语句 抛出异常 用户自定义异常 内置异常类型 常见的标准异常类型 语法…

数据结构---二叉树前中后序遍历

1. 某完全二叉树按层次输出(同一层从左到右)的序列为 ABCDEFGH 。该完全二叉树的前序序列为() A: ABDHECFG B: ABCDEFGH C: HDBEAFCG D: HDEBFGCA 2. 二叉树的先序遍历和中序遍历如下:先序遍历: EFHIGJK; 中序遍历: HFIEJKG. 则二叉…

Unit redis-server.service could not be found.

我的报错如下Unit redis-server.service could not be found. 关键是刷新后台服务 sudo systemctl daemon-reload启动redis-server sudo systemctl start redis-server查看redis-Server服务状态 sudo systemctl status redis-server

MySQL数据库中的索引知识

MySQL数据库中索引的作用是用来加快数据的查询速度。 索引 index(表的层面) 在数据库中使用select来查询数据的时候会一条一条得去查询符合要求的数据,而索引就相当于在这张表中依据某一个字段的数值给这张表的数据创建了一个目录。目录帮…

江协科技51单片机学习- p11 静态数码管显示

前言: 本文是根据哔哩哔哩网站上“江协科技51单片机”视频的学习笔记,在这里会记录下江协科技51单片机开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了江协科技51单片机教学视频和链接中的内容。 引用: 51单片机入门教程-2…

35.简易远程数据框架的实现

上一个内容:34.构建核心注入代码 34.构建核心注入代码它的调用LoadLibrary函数的代码写到游戏进程中之后无法调用,动态链接库的路径是一个内存地址,写到游戏进程中只把内存地址写过去了,内存地址里的内容没写过去,导致…

Netty ByteBuf 使用详解

文章目录 1.概述2. ByteBuf 分类3. 代码实例3.1 常用方法3.1.1 创建ByteBuf3.1.2 写入字节3.1.3 扩容3.1.2.1 扩容实例3.1.2.2 扩容计算新容量代码 3.1.4 读取字节3.1.5 标记回退3.1.6 slice3.1.7 duplicate3.1.8 CompositeByteBuf3.1.9 retain & release3.1.9.1 retain &a…

Jmeter5.X性能测试【完整版】

目录 一、Http基础协议和解析 1、浏览器的B/S架构和C/S架构 (1)CS架构 (2)BS架构 (3)URL理解 2、Http超文本传输协议 (1)含义 # 协议 # json协议 # xml协议 (…

分布式锁(Redission)

分布式锁: 使用场景: 通常对于一些使用率高的服务,我们会进行多次部署,可能会部署在不同的服务器上,但是他们获取和操作的数据仍然是同一份。为了保证服务的强一致性,我们需要对线程进行加锁,…

WRONGPASS invalid username-password pair or user is disabled

连接redis客户端的时候报错:WRONGPASS invalid username-password pair or user is disabled 当前redis版本为7.2.4 一、问题分析 默认情况下,Redis 7.0 使用默认用户名 default 和空密码进行身份验证。如果未设置 requirepass,则默认用户名…

C++实现自动生成c++类中的属性的get和set方法

目录 应用场景 运行准备 代码展示 结果显示 应用场景 当我们在编写类的属性时,需要对该属性进行封装,需要一系列的get和set的方法。例如下面是天气类的成员属性。可以看到属性很多,而写get和set都是一些固定的操作,因此可以直…

任务4.8.4 利用Spark SQL实现分组排行榜

文章目录 1. 任务说明2. 解决思路3. 准备成绩文件4. 采用交互式实现5. 采用Spark项目实战概述:使用Spark SQL实现分组排行榜任务背景任务目标技术选型实现步骤1. 准备数据2. 数据上传至HDFS3. 启动Spark Shell或创建Spark项目4. 读取数据5. 数据转换6. 创建临时视图…

哈夫曼树及其应用

目录 一、哈夫曼树 1.1基本概念 1.2构造方法 1.3构造算法的实现 二、哈夫曼树的应用 2.1哈夫曼编码 2.2文件的编码和解码 2.2.1编码 2.2.2解码 一、哈夫曼树 1.1基本概念 哈夫曼树又称为最优树,是一类带权路径长度最短的树。 最优二叉树:带权…

Android内核编译

前言 本文描述使用Ubuntu 编译Android内核刷入pixel4一些心得和流程。 PC信息: ./o- jackjackyyyyy- -yyyyyy OS: Ubuntu 22.04 jammy:////-yyyyyyo Kernel: x86_64 Linux 6.5.0-35-generic. .://-.sss/ Uptime: 1d 5h 4m.:o: //:--:/- …

C++入门 vector部分模拟实现

目录 vector大致框架 vector常见接口模拟实现 begin迭代器 & end迭代器 capacity( ) & size( ) reserve operator[ ] push_back( ) & pop_back( ) sort vector大致框架 vector的内部的成员变量大概有三部分构成&#xff1a; namespace bit {template<c…