存储技术架构演进

一. 演进过程

        存储技术架构的演进主要是从集中式到分布式的一种呈现,集中式存储模式凭借其在稳定性和可靠性方面的优势成为许多业务数据库的数据存储首选,顾名思义,集中式存储主要体现在集中性,一套集中式管理的存储系统,但不是只单一的服务器,而是一套系统下多个服务器组成的服务,主要包括机头(控制器)、磁盘列阵(JBOD)和交换机、管理设备等,数据统一通过机头位置进入。
        随着业务数据规模逐步变大,尤其是互联网方面的爆发式增长,同时业务需求也变得多样化,传统的集中式存储系统已经满足不了业务的存储和高并发请求需求,分布式存储系统应运而生了。分布式的主要思想是将数据存储和请求分布到不同的数据节点上,可以进行横向扩展解决数据读写性能瓶颈问题,通过一定规则计算存储位置,客户端直接连接存储位置节点进行读写操作。概括来说:分布式存储系统是一种可扩展的系统架构,利用多台服务器分担存储负荷,提高了系统的可靠性、可用性和存取效率,还易于扩展。

二. 分布式存储系统

        集中式存储的数据库,比较典型的主要有Oracle、Sqlserver等。分布式存储系统可以根据其数据模型、访问模式和设计目标等因素划分为不同的类型。从应用场景角度来划分,比如有分布式文件系统,典型的是hadoop生态的hdfs文件系统,分布式数据库方面比如说阿里的OceanBase,然后分布式块存储主要有Ceph RBD,分布式对象存储主要有amazon的S3,然后还有分布式KV存储,比如说HBase等等。

        以上介绍的多种用途的分布式存储系统,底层应用的架构模式无外乎这三种:第一种是中心控制节点架构,也即Master-Slave架构模式,由主服务节点控制和管理,从节点进行数据存储等,比如说HDFS就是采用这样一种架构。第二种是基于计算模式的完全无中心架构,典型的代表是Ceph。第三种是基于一执行hash的完全无中心架构,典型的代表是Swift。

三. 架构对比

        集中式存储主要优势是安全可靠性高,管理简便、方便迁移等。弱点也比较明显,扩展性性差,高并发处理弱。主要适用于对数据安全性和一致性要求较高的场景,比如说企业中心化数据管理等。

        分布式存储主要优势是扩展性强, 支持高并发请求。弱点是数据冗余,数据一致性问题等。主要适用于需要处理大规模数据集和实现高可用的场景,比如说大数据分析、云存储服务等。

四. 分布式存储面临的挑战

        分布式存储面临的挑战主要有四个方面,第一个是海量小文件场景的挑战,大量小文件对元数据管理、存储效率、访问性能方面带来的挑战。第二个是高并发低延迟场景的挑战,很多场景要求要更加实时的传输数据和高效处理数据。第三个是数据安全可靠性方面的要求。第四个是降本增效、节能减排方面的要求。详细内容如下图所示:

五. 总结

        和传统的集中式系统相比,分布式系统的整体性价比更高,同时凭借其扩展性,可以很好的满足大规模数据存储和处理场景的需求,可以很好的解决高并发场景下性能瓶颈问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/655049.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python:socket基础操作(4)-《tcp客户端基础》

tcp就和udp不一样了,tcp是客户端和服务器端,如果想通过tcp发送数据,要先让tcp进行连接服务器端 tcp客户端 先让服务器端进行启动 import socketdef main():# 创建套接字tcp_client_socket socket.socket(socket.AF_INET,socket.SOCK_STREAM…

RSTP的P/A机制

如图所示根桥S1和S2之间新添加了一条链路,在当前状态下S2的另外几个端口p2是Alternate端口,p3是指定端口且处于Forwarding状态,p4是边缘端口。新链路连接成功后,P/A机制协商过程如下。 1.P0和P1两个端口马上都先成为指定端口发送RS TBPDU。 2.S2的P1口收到更优的RST BPD…

Google Chrome 中出现 ERR_SSL_KEY_USAGE_INCOMPATIBLE 错误

证书的方式发生了变化,出现了这个新错误,导致我无法浏览该网站。 可以右键属性获取位置 关闭导航器chrome并转到文件夹,找到Local State文件并删除 执行指令结束进程,重新打开浏览器即可 taskkill /im "chrome.exe"…

Qt程序设计-自动关闭对话框的实现

本文讲解如何实现Qt自动关闭对话框。 创建项目,添加按钮 添加资源文件。 添加QDialog,该名称为WaitDialog。 头文件 #ifndef WAITDIALOG_H #define WAITDIALOG_H#include <QDialog>#include <QTimer> enum WaitDialogType {Unknown =0,Err =1,//警告Ok =2//…

fastapi报错

初始化报错&#xff0c;非常低级错&#xff0c;扇自己10八张 app FastApi()

sqli.labs靶场(第18~22关)

18、第十八关 经过测试发现User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:122.0) Gecko/20100101 Firefox/122.0加引号报错 这里我们闭合一下试试 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:122.0) Gecko/20100101 Firefox/122.0,127.0.0.1,adm…

深度解析指针与数组:探索内存管理的艺术

目录 1.数组名的理解 sizeof(数组名)&#xff0c;sizef中单独放数组名&#xff0c;这里的数组名表示整个数组&#xff0c;计算的是整个数组的大小&#xff0c;单位是字节 &数组名&#xff0c;这里的数组名表示整个数组&#xff0c;取出的是整个数组的地址 (整个数组的地…

【UE】如何让组件渲染在post之后

UE组件中的构造函数中设置这个值 bUseEditorCompositingtrue; 看了BillboardComponent的实现之后 BillboardComponent::UBillboardComponent(const FObjectInitializer& ObjectInitializer) : Super(ObjectInitializer) { //这句话非常重要 bUseEditorCompositing true;…

R语言【taxlist】——tv2taxlist():从Turboveg数据库导入物种列表

Package taxlist version 0.2.4 Description 将Turboveg 2数据库中的物种列表导入到taxlist对象中。 在内部调用函数read.dbf()和df2taxlist()。 Usage tv2taxlist(taxlist, tv_home tv.home(), ...) Arguments 参数【taxlist】&#xff1a;在Turboveg中指示物种列表名称的…

CSS之定位

定位在CSS当中是一个比较重要的点&#xff0c;接下来&#xff0c;让我为大家介绍一下定位吧&#xff01; 属性描述position-relative相对定位position-absolute绝对定位position-fixed固定定位position-sticky粘性定位position-static静态定位 一、相对定位 给元素设置 posi…

BF16与FP16的区别

参考 BF16 与 FP16 在模型上哪个精度更高呢BF16 与 FP16 在模型上哪个精度更高呢【bf16更适合深度学习计算&#xff0c;精度更高】&#xff1a; 两者差异图示如下&#xff1a; BF16 是对FP32单精度浮点数截断数据&#xff0c;即用8bit 表示指数&#xff0c;7bit 表示小数。…

使用 FHEW-like 自举 BV-like

参考文献&#xff1a; [CDKS21] Chen H, Dai W, Kim M, et al. Efficient homomorphic conversion between (ring) LWE ciphertexts[C]//International Conference on Applied Cryptography and Network Security. Cham: Springer International Publishing, 2021: 460-479.[K…

Linux——磁盘和文件系统(一)

Linux——磁盘和文件系统 磁盘机械式磁盘固态硬盘 机械式磁盘结构磁盘&#xff0c;磁道&#xff0c;扇区柱面 文件系统的初始化划卷&#xff08;划盘&#xff09; 挂载C盘放了什么东西Boot Block&#xff08;启动模块&#xff09; 0号组放了什么东西Super Block&#xff08;超级…

Python爬取猫眼电影专业评分数据中的应用案例

在数据分析和可视化展示中&#xff0c;获取准确的电影专业评分数据至关重要。猫眼电影作为中国领先的电影信息与票务平台&#xff0c;其专业评分对于电影行业和影迷的数据来说具有重要意义。通过Python爬虫技术&#xff0c;我们可以实现从猫眼电影网站上自动获取这些数据目标。…

面试经典 150 题 ---- 删除排序数组中的重复项 II

面试经典 150 题 ---- 删除排序数组中的重复项 II [删除排序数组中的重复项 II](https://leetcode.cn/problems/remove-duplicates-from-sorted-array-ii/description/?envTypestudy-plan-v2&envIdtop-interview-150)方法一&#xff1a;双指针 删除排序数组中的重复项 II …

每日OJ题_算法_前缀和③_力扣724. 寻找数组的中心下标(LCR012+力扣1991)

目录 力扣724. 寻找数组的中心下标 解析代码 力扣724. 寻找数组的中心下标 724. 寻找数组的中心下标 LCR 012. 寻找数组的中心下标 1991. 找到数组的中间位置&#xff08;三道一样的题&#xff0c;一鱼三吃&#xff09; 难度 简单 给你一个整数数组 nums &#xff0c;请…

shell脚本基础之循环语句

目录 一、循环语句的概念 二、for循环语句 1、列表循环 2、列表for循环案例大全 案例一 案例二 案例三 案例四 案例五 案例六 案例七 案例八 3、不带列表循环 4、类似C语言风格的for循环 5、for循环总结 三、while循环语句 1、while循环语句格式 2、while死循…

GMS测试BTSfail-CVE-2022-20451

描述&#xff1a; 项目需要过GMS兼容性测试&#xff0c;BTS这块我们环境没有&#xff0c;送检之后出现了一个BTS的Alert&#xff0c;这个是必须要解决的。下面的warning可以不考虑。 这个是patch问题&#xff0c;根据代理提供的pdf文件找到一个id:为A-235098883的补丁&#xf…

利用ChatGPT实现副业赚钱的10个方法

现今ChatGPT的热潮越来越高&#xff0c;很多程序员也把目光转向了如何靠ChatGPT赚钱&#xff0c;而那些掌握先机的程序员已经通过这一副业赚到了人生中的第一桶金。 如果你也对ChatGPT感兴趣&#xff0c;但还没有找到程序员靠ChatGPT实现营收&#xff0c;增加副业收入的方法&a…

洛谷B3625迷宫寻路

迷宫寻路 题目描述 机器猫被困在一个矩形迷宫里。 迷宫可以视为一个 n m n\times m nm 矩阵&#xff0c;每个位置要么是空地&#xff0c;要么是墙。机器猫只能从一个空地走到其上、下、左、右的空地。 机器猫初始时位于 ( 1 , 1 ) (1, 1) (1,1) 的位置&#xff0c;问能否…