云计算导论(3)---分布式文件系统

文章目录

  • 1. 概述
  • 2. 基本架构
  • 3. GFS和HDFS
  • 4. 云存储


1. 概述

 1. 文件系统是操作系统用来组织磁盘文件的方法和数据结构。
 传统的文件系统指各种UNIX平台的文件系统,包括UFS等,它们管理本地的磁盘存储资源,提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。通常包含的四类信息:超级块、Inode、文件内容、目录内容。

 2. 分布式文件系统定义:分布式文件系统是一个可以存储、管理和检索文件、目录和对象的系统,它通过网络连接不同的机器,提供文件共享的接口,可以实现对文件的远程访问和同步。
 特点:分布式文件系统具有可靠性、容错性和可扩展性等特点。它可以通过数据备份和恢复、节点复制和日志等技术,保证数据的安全性和可靠性。

 3. 实现分布式文件系统一般有两种方法:共享文件系统和共享磁盘。

 4. 常见的有:全局文件系统(GFS)、Hadoop分布式文件系统(HDFS)。

2. 基本架构

 1. 分布式文件系统的典型架构,其中重要的服务器包括:主控服务器数据服务器客户服务器

 2. 主控服务器:负责整个文件系统的管理,包括命名空间的维护、数据服务器管理、服务调度等。
 主要的功能有:命名空间的维护、数据服务器管理、服务调度、主备容灾。

 3. 数据服务器:负责数据的存储和备份,包括数据本地存储、状态维护、副本管理等。
 主要的功能有:数据本地存储、状态维护、副本管理。

 4. 客户服务器:为用户提供文件读写、目录操作等APIs,处理用户请求并返回结果。
 主要的功能有:接口设计、缓存管理、错误处理和恢复

3. GFS和HDFS

 1. GFS集成了持续的监控、错误侦测、灾难冗余以及自动恢复的机制。一个文件块的大小是64M。绝大部分的大数据都是采用在文件尾部追加数据的方式。

 2. GFS特点:控制流和数据流的分离、降低master的负载、性能提高、在用户态下实现。

 3. HDFS的架构相对简单,它包括一个主节点(NameNode)和多个数据节点(DataNode),主节点负责管理和维护文件系统的元数据,数据节点则负责存储数据。

 4. HDFS默认的最基本的存储单位是64M的数据块,这个数据块可以理解和一般的文件里面的分块是一样的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。

 5. HDFS优点:处理超大文件;流式地访问数据;运行与廉价的商用机器集群。缺点:不适合低延迟数据访问;流式地访问数据;无法高效存储大量小文件;不支持多用户写入及任意修改文件。

 6. ZooKeeper是Hadoop 的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

 7. ZooKeeper扮演的角色:领导者、学习者(跟随者和观察者)。

4. 云存储

 1. 云存储是一种基于云计算技术的数据存储服务,通过网络将大量数据存储在远程的数据中心,用户可以随时随地通过互联网进行数据的访问和管理。

 2. 按部署方式分类:公有云存储、私有云存储、混合云存储。
 按服务模式分类:文件存储、块存储、对象存储。
 按数据归属权分类:个人云存储、企业云存储、块存储、文件存储、对象存储。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22439.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

鸿蒙开发接口定制管理:【@ohos.enterpriseDeviceManager (企业设备管理)】

企业设备管理 说明: 本模块首批接口从API version 9开始支持。后续版本的新增接口,采用上角标单独标记接口的起始版本。 导入模块 import enterpriseDeviceManager from ohos.enterpriseDeviceManager;enterpriseDeviceManager.activateAdmin activate…

力扣234. 回文链表

给你一个单链表的头节点 head ,请你判断该链表是否为回文链表。如果是,返回 true ;否则,返回 false 。 示例 1: 输入:head [1,2,2,1] 输出:true # Definition for singly-linked list. # c…

R语言探索与分析17-CPI的分析和研究

一、选题背景 CPI(居民消费价格指数)作为一个重要的宏观经济指标,扮演着评估通货膨胀和居民生活水平的关键角色。在湖北省这个经济活跃的地区,CPI的波动对于居民生活、企业经营以及政府宏观经济政策制定都具有重要的影响。因此&a…

打造卓越任务调度体系:实用攻略与技巧解析

写这篇文章,想和大家从头到脚说说任务调度,希望大家读完之后,能够理解实现一个任务调度系统的核心逻辑。 1 Quartz Quartz 是一款 Java 开源任务调度框架,也是很多 Java 工程师接触任务调度的起点。 下图显示了任务调度的整体流…

基于STC12C5A60S2系列1T 8051单片机实现一主单片机与一从单片机相互发送数据的RS485通信功能

基于STC12C5A60S2系列1T 8051单片机实现一主单片机与一从单片机相互发送数据的RS485通信功能的RS485通信功能 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机串口通信介绍STC12C5A60S2系列1T 8051单片机串口通信的结构基于STC12C5A60S2系列1T 8051单片机串…

QTreeWidget双击节点响应

1、双击子节点,槽函数响应。传回两个参数,一个是双击的子节点,一个是列序号。 connect(ui.treeWidget, SIGNAL(itemDoubleClicked(QTreeWidgetItem *, int)), this, SLOT(ShowImage(QTreeWidgetItem *,int)));2、下列是槽函数的代码。 void…

zdppy_api 中间件请求原理详解

单个中间件的逻辑 整体执行流程: 1、客户端发起请求2、中间件拦截请求,在请求开始之前执行业务逻辑3、API服务接收到中间件处理之后的请求,和数据库交互,请求数据4、数据库返回数据5、API处理数据库的数据,然后给客户…

【第十一课】空间数据基础与处理——属性数据管理

一、前言 Arcgis分析离不开两大主体数据,一是空间,二是经济属性。在运用 Aecgis 进行分析时,经常会碰到一些涉及多要素的属性更改或填写, 如果按照普通的方法,每个属性进行修改或填写的话,工作量是很大的&…

Apache OFBiz 路径遍历导致RCE漏洞复现(CVE-2024-36104)

0x01 产品简介 Apache OFBiz是一个电子商务平台,用于构建大中型企业级、跨平台、跨数据库、跨应用服务器的多层、分布式电子商务类应用系统。是美国阿帕奇(Apache)基金会的一套企业资源计划(ERP)系统。该系统提供了一整套基于Java的Web应用程序组件和工具。 0x02 漏洞概…

【深入理解计算机系统第3版】补码加法

感觉这部分有点难,所以稍微整理记一下。 抱歉中英混合,来回切换输入法真的很折磨人。 负溢出 正常 正溢出 以4位补码加法为例,理解下表(书中P64) 补码最大值Tmax 2^3 - 1 7, 补码最小值Tmin -2^3 -8 xyz x yz z mod 2^4zU2Tw(z)溢…

超燃混剪热门视频素材去哪里找? 爆款超燃网站合集分享

在今天的数字时代,短视频已成为传播信息和个人表达的主流方式。无论你是混剪爱好者还是自媒体创作者,掌握如何获取和利用高质量的视频素材是关键。本文将介绍几个顶级的视频素材网站,包括国内外的平台,帮助你创建引人入胜的视频作…

Elasticsearch--easy-ES框架使用,轻松操作查询Elasticsearch,简化开发

Easy-Es(简称EE)是一款基于ElasticSearch(简称Es)官方提供的RestHighLevelClient打造的ORM开发框架,在 RestHighLevelClient 的基础上,只做增强不做改变,为简化开发、提高效率而生,您如果有用过Mybatis-Plus(简称MP),那么您基本可…

【数据结构】二叉搜索树--BST,Binary Search Tree

文章目录 二叉搜索树1. 二叉搜索树的概念2. 二叉搜索树的接口2.1 查找非递归查找递归查找 2.2 中序遍历2.3 插入非递归插入递归插入 2.4 删除非递归删除递归删除 3. 二叉搜索树的应用key搜索模型kv搜索模型 5. oj题 二叉搜索树 1. 二叉搜索树的概念 二叉搜索树又称二叉排序树…

12-学生们参加各科测试的次数(高频 SQL 50 题基础版)

12-学生们参加各科测试的次数 -- 学生表中,id是唯一的,将他作为主表 -- CROSS JOIN产生了一个结果集,该结果集是两个关联表的行的乘积 -- 2行表,与3行表使用cross join,得到2*36行数据 select st.student_id, st.student_name,su.subject_na…

Ubuntu22.04配置脚本开机自启动

1. 脚本增加可执行权限 sudo chmod x /path/to/quick_install.sh将/path/to/quick_install.sh替换为您的脚本实际所在的路径。 2. 创建systemd服务单元: 使用文本编辑器(如nano或vim)创建一个新的服务单元文件。例如,您可以将其…

vue 把html转成blob传给后台方法;把后台传回的blod,保存文件

vue 把html转成blob传给后台方法&#xff1b;把后台传回的blod&#xff0c;保存文件 // 内容需要if判断let echHtmlWithIf ;if (this.chartImg.length) {if (this.exceed10Min) {echHtmlWithIf <div v-if"exceed10Min" id"chartId"> this.chartIm…

Vxe UI vxe-upload vue上传组件,显示进度条的方法

vxe-upload vue 上传组件 查看官网 https://vxeui.com 显示进度条很简单&#xff0c;需要后台支持进度就可以了&#xff0c;后台实现逻辑具体可以百度&#xff0c;这里只介绍前端逻辑。 vue 上传附件 相关参数说明&#xff0c;具体可以看文档&#xff1a; multiple 是否允许…

【C#】延时关闭电脑、取消关闭电脑

在C#中&#xff0c;如果想实现延时关闭电脑和取消关闭的功能&#xff0c;可以使用以下方法。 请注意&#xff0c;这些操作需要管理员权限。 延时关闭电脑 可以使用System.Diagnostics.Process类来调用Windows的shutdown命令实现延时关机。 示例代码&#xff1a; using Sys…

力扣438.找到字符串中所有字母异位词

力扣438.找到字符串中所有字母异位词 vector插入用emplace_back push_back会构造拷贝函数emplace_back直接在原数组中加数 更快一些 class Solution {public:vector<int> findAnagrams(string s, string p) {int n s.size();int pl p.size();if(n < pl) return v…

现代密码学-国密算法

商用密码算法种类 商用密码算法 密码学概念、协议与算法之间的依赖关系 数字签名、证书-公钥密码、散列类算法 消息验证码-对称密码 &#xff0c;散列类 安全目标与算法之间的关系 机密性--对称密码、公钥密码 完整性--散列类算法 可用性--散列类、公钥密码 真实性--公…