新一代分布式融合存储,数据场景All In One

1、摘要

        2023年5月11日,浪潮信息全国巡展广州站正式启航。会上,重磅发布新一代分布式融合存储AS13000G7,其采用极致融合架构设计理念,实现同一套存储满足四种非结构化数据的“All In One”高效融合,数据存力提升300%,IO性能提升100%;同时,实现四种非结构化协议无损访问,实现多元场景的“All In One”,加速释放数据要素的价值。

2、引言

        智算时代,算力是生产力,数据是核心生产要素,也是支撑AI训练和智慧应用的基础。在AIGC、智能驾驶、智能制造、智慧医疗等万千智慧应用场景中,PB级乃至EB多模态数据是支撑智慧应用的关键要素。例如,最近爆火的AI大模型,参数量呈现多元、海量且快速增长的态势。

        GPT-3语言大模型拥有1750亿的参数量,而到了最近的GPT-4,参数量已突破万亿规模,同时数据类型变得更加丰富,除了文本外,还需要图像、音频、视频等多样化数据。面对千行百业的海量多态的数据场景,企业需要化繁为简的极致存储。

        在自动驾驶、天文观测、基因测序等场景下,一次数据处理过程通常涉及文件、对象、大数据多种协议的数据存储和访问方式。以天文观测场景为例,一次完整的天文观测数据处理涉及到数据采集、数据预处理、数据分析和成果保存四个步骤,不同阶段使用了不同的访问协议。传统分布式存储仅支持单一协议访问,即客户需要同时部署多套存储系统,并且不同协议处理时,需要进行数据转换和拷贝,造成存储空间浪费和存储成本增加的同时,极大程度降低数据的处理效率。

3、架构介绍

       新一代分布式融合存储实现了一套集群系统同时支持文件、对象、大数据、视频四种协议,实现数据融合;同时支持闪存、磁盘、磁带、光盘四类存储介质,实现管理融合;可以支持基础设施云化、结构化、非结构化等全部应用场景;支持全生命周期管理,数据在热、温、冷、冰四级存储间自由、高效流动,实现“一套存储架构、支持一个数据中心”。

4、关键技术 

        其一,存储资源融合互通,数据全局共享

       分布式融合存储平台构筑了全局统一存储资源池,数据及元数据均统一管理,不同协议(NFS/CIFS/HDFS/S3)共享共用,且创建的文件、数据及元数据仅保存一份,有效减少数据重复存储成本。

        其二,多协议融合互通,数据零拷贝

        根据传统NFS、CIFS、HDFS和S3存储协议的特点,分布式融合存储平台设计出统一的存储架构。协议层无需数据转换和拷贝、安装网关或插件及在计算侧或应用层改造,即可直接原生语义无感接入,大大提升数据处理效率。

        其三,原生语义支持,语义零损失

        语义损失是导致传统协议互通方案无法商用的主要原因。文件、HDFS和对象服务由于使用场景的差异,每种服务都有各自独立的语义,如文件的快照、对象多段上传及HDFSRanger鉴权等。传统协议互通方案由于存储架构和元数据管理不统一,无法实现各协议完整的语义支持,通常需要上层适配修改,造成语义损失。分布式融合存储平台在统一存储架构上实现多协议的统一元数据管理,支持各协议原生无损语义访问存储系统,应用无感接入。

        其四,权限互通,多协议权限联动

        由于文件、对象、HDFS协议权限管理方式各不相同,传统协议互通方案权限管理较为混乱,无法做到权限互通,给用户访问带来极大的不便和困扰。

        针对Windows用户、Unix用户和对象用户的不同访问形式及隔离限制,设计出用户映射机制,实现不同类型用户权限共享,打破不同类型用户之间互相隔离的壁垒;提炼出统一的权限管理架构,统一管理非结构化数据权限。可以做到一份数据,一份权限信息,一种协议修改权限,对其它协议同时生效,真正做到了权限实时联动。

        其五,冗余保护,数据安全可靠

        支持更全面的数据保护策略,提供跨节点、跨机架、不同级别的数据冗余保护,用户无需担心宕机、掉电等意外故障带来的数据丢失风险。同时支持数据副本、纠删冗余策略,能够实现数据及时快速恢复,提高数据可靠性。

        其六,数据分级存储,降低存储成本

        随着数据的爆炸式增长,单一形式的存储已经无法满足用户高性能和低成本的需求。AS13000提供灵活的分级策略,将数据按照设定的策略和热度分别存储在高性能存储介质和相对低成本的存储介质中,合理利用存储空间,降低存储成本,快速响应用户的数据存储需求。

        最后,特性级互通,高效便捷

        凭借统一的特性架构和操作接口,实现特性级互通,对外提供统一的增值特性服务,如统一配额、统一QoS、统一分级存储、统一回收站、统一元数据检索。设置后,对NFS、CIFS、S3、HDFS等多种协议即时同步生效。

5、亮点

        一套存储架构 融合海量多态数据

        伴随数字化转型的深入,海量多态数据应用正快速增多,数据融合存储的诉求日益增长,如何以更优的成本、更高的效率,让视频、图片等多态数据存得更多、更久、更可靠,是业界的挑战。

        新一代分布式融合存储,支持四合一架构的融合存储,用户购买一套存储享有文件、对象、大数据、视频四种存储服务,不同非结构化存储服务间可访问同一份数据,融合存储空间利用效率提升200%,实现用一套存储架构高效支撑一个数据中心,满足性能需求的同时,帮助企业降低TCO。

        同时,在海量多模态场景,浪潮信息打造高密专有产品,采用4U60盘位配置,支持20TB大容量硬盘,单节点容量超1PB,一台顶三台;同时基于32+2大比例纠删、数据缩减技术,硬盘利用率高达94%。

        一套存储平台,加速数据处理和流动

        无论是自动驾驶的路线决策,还是电商平台的精准营销,数字化医疗线上问诊等数字化智慧应用,背后都离不开对海量图片、文本、视频等非结构化数据的采集、训练、建模分析和决策,2023年实时数据已占到全球数据圈25%的份额。以高精地图为例,高精地图一般通过采集车每天采集、回传数据进行分析刷新绘制,每辆车每天采集的数据达数十TB,实时回传GPS、轨迹、速度、经纬度等多样化数据,每秒处理千万点位。性能,成为智慧应用永无止境的诉求。

        新一代分布式融合存储为了提升性能,在一套存储平台内推动盘控协同和全链路端到端性能优化,让数据在热温冷冰四级存储内高效互通、流动。AS13000G7搭配第四代英特尔至强CPU、自研PCIe 5.0 NVMe SSD,并通过RDMA协议、CPU专核专用、数据分区、随机转顺序等技术的代码级联合调优实现性能的提升,单节点带宽超过50GB/s,相当于一秒传输25部高清电影。相较上一代产品,AS13000G7新品性能至少提升40%。

        一套存储平台 保障数据安全可靠

        新一代分布式融合存储从部件、器件、整机系统、核心软件、管理软件到解决方案,用六重保护确保服务永远在线、数据永不丢失。在器部件层面,严选高可靠性的器件,围绕可靠性去定制硬盘、SSD等部件。在集群层面,基于全对称分布式架构,最大可扩展至10240节点,基于大比例弹性EC,最大可同时容忍任意4节点失效。

        面向病毒和防勒索软件的攻击,推出了端到端的数据安全解决方案。首先,可以为用户提供生产存储、双活存储、异地备份的多重保护;其次,通过对读写行为的分析,预测勒索行为,即时终止恶意勒索行为并通过高密快照技术迅速恢复数据;再次,通过引入第三方杀毒软件,杀灭勒索病毒;最后,通过数据防篡改技术、物理隔离技术、加密等技术,让病毒进不来、改不了,数据看不到、带不走,打造数据安全的最后一道防线。

参考:

http://www.dostor.com/p/84080.html

https://mp.weixin.qq.com/s/7-xDoN2JiR5HIKXjP5evWA

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/37907.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于WebSocket的在线文字聊天室

与Ajax不同,WebSocket可以使服务端主动向客户发送响应,本案例就是基于WebSocket的一个在线聊天室,不过功能比较简单,只能满足文字交流。演示如下。 案例学习于b站up主,链接 。这位up主讲的非常清楚,值得去学…

item_get_sales-获取TB商品销量详情

一、接口参数说明: item_get_sales-获取商品销量详情,点击更多API调试,请移步注册API账号点击获取测试key和secret 公共参数 请求地址: https://api-gw.onebound.cn/taobao/item_get_sales 名称类型必须描述keyString是调用key&#xff08…

Idea 快捷键整理

Idea快捷键和自动代码补全汇总 idea快捷键汇总 Ctrl 快捷键说明Ctrl F在当前文件进行文本查找 (必备)Ctrl R在当前文件进行文本替换 (必备)Ctrl Z撤销 (必备)Ctrl Y删除光标所在行 或 删除选中的行 &am…

设计HTML5图像和多媒体

在网页中的文本信息直观、明了,而多媒体信息更富内涵和视觉冲击力。恰当使用不同类型的多媒体可以展示个性,突出重点,吸引用户。在HTML5之前,需要借助插件为网页添加多媒体,如Adobe Flash Player、苹果的QuickTime等。…

【C++精华铺】6.C++类和对象(下)类与对象的知识补充及编译器优化

目录 1. 再谈构造 1.1 成员变量的初始化(初始化列表) 1.2 初始化列表的行为 1.3 explicit关键字 2. 类中的static成员 2.1 静态成员变量 2.2 静态成员函数 3. 友元 3.1 友元函数 3.1 友元类 4. 内部类 5. 匿名对象 6. 对象拷贝时候的编译器优化…

【LeetCode每日一题】——41.缺失的第一个正数

文章目录 一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时间频度】九【代码实现】十【提交结果】 一【题目类别】 哈希表 二【题目难度】 困难 三【题目编号】 41.缺失的第一个正数 四【题目描述】 给你一个…

Compute shader SV 理解图

本图转子:【Computeshader】个人总结_蒋伟博的博客-CSDN博客

【Rust】Rust学习 第十二章一个 I/O 项目:构建一个命令行程序

本章既是一个目前所学的很多技能的概括,也是一个更多标准库功能的探索。我们将构建一个与文件和命令行输入/输出交互的命令行工具来练习现在一些你已经掌握的 Rust 技能。 Rust 的运行速度、安全性、单二进制文件输出和跨平台支持使其成为创建命令行程序的绝佳选择…

谈一谈在两个商业项目中使用MVI架构后的感悟

作者:leobertlan 前言 当时项目采用MVP分层设计,组员的代码风格差异也较大,代码中类职责赋予与封装风格各成一套,随着业务急速膨胀,代码越发混乱。试图用 MVI架构 单向流 形成 掣肘 带来一致风格。 但这种做法不够以…

yolov5 转换为rknn模型在3588上运行

为了把yolov5在rk3588上跑起来,在网上搜罗了一圈,踩了一些坑。由于瑞芯微的文档有升级,导致和网络的文章有出入,所以做个记录。 rknn-toolkit 转换文档: 瑞芯微的转换文档在 rknn-toolkit/example/pytorch/yolov5/REAME.md 里 …

LangChain入门:构建LLM驱动的应用程序的初学者指南

LangChain & DemoGPT 一、介绍 你有没有想过如何使用大型语言模型(LLM)构建强大的应用程序?或者,也许您正在寻找一种简化的方式来开发这些应用程序?那么你来对地方了!本指南将向您介绍LangChain&#x…

网络基础--ARP协议介绍

1、ARP作用 ARP( Address Resolution Protocol,地址解析协议)是将 IP 地址解析为以太网 MAC 地址(或称物理地址)的协议。在局域网中,当主机或其它网络设备有数据要发送给另一个主机或设备时,它必…

Java鹰眼轨迹服务 轻骑小程序 运动健康与社交案例

Java地图专题课 基本API BMapGLLib 地图找房案例 MongoDB 百度地图鹰眼轨迹服务 鹰眼轨迹服务概述 鹰眼是一套轨迹管理服务,提供各端SDK和API供开发者便捷接入,追踪所管理的车辆/人员等运动物体。 基于鹰眼提供的接口和云端服务,开发者可以迅…

前后端分离------后端创建笔记(05)用户列表查询接口(下)

本文章转载于【SpringBootVue】全网最简单但实用的前后端分离项目实战笔记 - 前端_大菜007的博客-CSDN博客 仅用于学习和讨论,如有侵权请联系 源码:https://gitee.com/green_vegetables/x-admin-project.git 素材:https://pan.baidu.com/s/…

Java通过文件流和文件地址下载文件

通过文件流下载文件 如何使用 MultipartFile 进行文件上传、下载到本地,并返回保存路径呢: import org.springframework.web.multipart.MultipartFile;import java.io.BufferedOutputStream; import java.io.FileOutputStream; import java.io.IOExcep…

Redis_缓存2_缓存删除和淘汰策略

14.5 缓存数据的删除和替换 14.5.1 过期数据 可以使用ttl查看key的状态。已过期的数据,redis并未马上删除。优先去执行读写数据操作,删除操作延后执行。 14.5.2 删除策略 redis中每一个value对应一个内存地址,在expires,一个内…

BC117 小乐乐走台阶(附完整代码)

描述 小乐乐上课需要走n阶台阶,因为他腿比较长,所以每次可以选择走一阶或者走两阶,那么他一共有多少种走法? 输入描述 输入包含一个整数n (1 ≤ n ≤ 30) 输出描述 输出一个整数,即小乐乐可以走的方法数。 思路&a…

分享个试卷去笔迹什么软件,几个步骤轻松擦除

试卷擦去笔迹是一项非常关键的技能,它可以帮助你更好地管理你的笔记和文件。不管是小伙伴们想重新测试试卷或者是将试卷输出为电子版,都可以实现的。在这篇文章中,我将分享一些方法和软件,帮助你更好地进行试卷擦除。有需要的小伙…

个人博客系统测试报告

文章目录 一、功能测试1.编写测试用例2.总结测试后发现的BUG 二、UI自动化测试0.搭建测试环境1. 创建公共类2.注册页面UI自动化测试用例编写3.登录页面UI自动化测试用例编写4.用户博客列表页面自动化测试5. 修改个信息页面6. 文章编辑页面7. 设置密保问题发现bug 8. 所有用户文…

Stable Diffusion +EbSynth应用实践和经验分享

Ebsynth应用 1.安装ffmpeg 2.安装pip install transparent-background,下载模型https://www.mediafire.com/file/gjvux7ys4to9b4v/latest.pth/file 放到C:\Users\自己的用户名.transparent-background\加一个ckpt_base.pth文件 3.秋叶安装ebsynth插件,重启webui 填写项目基本…