基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口

对于hadoop HDFS 中的全部命令进行解析(当中操作流程是自己的想法有不允许见欢迎大家指正)

接口名称

功能

操作流程

get

将文件拷贝到本地文件系统 。

假设指定了多个源文件,本地目的端必须是一个文件夹。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称(或大文件元数据信息);

(2)依据文件名称(或大文件元数据信息)到对应的Data server中获取对应的文件(大文件须要拼接);

(3)将获取的文件写入本地文件系统。

put

从本地文件系统中拷贝文件或文件夹到目标文件系统。

(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据。

(2)依据章节所述规则。结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息。

(4)上传源文件内容到系统中。

rm

删除指定的文件。仅仅删除非空文件夹和文件。

(1)依据上述章节所述,逐层解析到目标文件所在的位置获取指定文件的key/value。

(2)依据key找到指定的文件或文件夹所在的DataNode上存储的信息;

(3)删除信息。

(4)将删除记录写入edit log。

mkdir

创建文件夹,会创建路径中全部缺失的父文件夹。

(1)依照上述机制,逐层解析找到父文件夹,获取标记。假设父文件夹不存在则递归的创建路径上的文件夹。

(2)将父文件夹的标记作为key的父节点字段部分,创建新文件夹。

appendToFile

加入源文件从本地文件系统到目标文件系统。

(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据;

(2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息;

(4)上传源文件内容到系统中。

cat

将路径指定文件的内容输出到stdout。

(1)依照上述机制,逐层解析path到目标文件,获取文件的key/value。

(2)依据key值在找到文件内容输出到stdout中。

(3)将结果在终端显示出来。

chgrp

改变文件和文件夹的群组。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息);

(2)改动这个K-V中的value的表示群组的字段并又一次插入新的K-V。

chmod

改变文件和文件夹的訪问权限。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息);

(2)改动这个K-V中的value的表示訪问权限的字段并又一次插入新的K-V。

chown

变更文件和文件夹的拥有者。

(1)依照上述机制。在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息)。

(2)改动这个K-V中的value的表示全部者的字段并又一次插入新的K-V。

copyFromLocal

从本地文件系统中拷贝文件,和put命令相似。

操作流程參见put接口。

copToLocal

将文件拷贝到本地文件系统。和get命令类似。

操作流程參见get接口。

count

显示由路径确定的子文件夹的个数,文件个数,使用字节个数。以及全部的文件文件夹名。

(1)解析到目标路径,获取相关的key/value;

(2)获取value中的子文件夹个数,文件个数,使用字符串等相关信息的字段。

cp

将文件从源路径拷贝到目标路径。这个命令同意有多个原路径,此时目标路径必须是一个文件夹。

(1)依据上述章节所述,逐层解析<dest>,获取目标文件的位置信息;

(2)获取源文件的内容;

(3)逐块复制源文件信息到目标文件其中。

du

显示文件大小。假设path是一个文件夹,则显示该文件夹中全部文件的大小。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹;

(2)假设是文件读取对应的key/value中,读取value中表示文件大小的字段。假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件。

dus

显示文件的大小,可是当作用于文件夹时,会显示文件大小之和。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹。

(2)假设是文件读取对应的key/value中。读取value中表示文件大小的字段,假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件value信息,将value中关于文件大小的字段信息相加取和。

expunge

清空回收站。

(1)依照上述机制,解析到HDFS系统回收站文件夹下(/user/username/.Trash/current);

(2)删除(參考接口rm)。

getfacl

显示文件和文件夹的訪问控制列表。

(1)依照上述章节所述。逐层解析,获取目标文件或路径的key/value数据。

(2)获取value中有关的ACL的字段信息。

getmerge

获取由源文件夹指定的全部文件。将它们合并为单个文件并写入本地文件系统中的LOCALDST。

(1)依照上述机制。逐层解析,获取源文件夹文件的标记;

(2)依据标记。在config server中寻找文件夹文件下的子文件;

(3)创建目标文件,将子文件的内容依次合并到目标文件其中;

(4)将目标文件写入本地文件系统。

ls

列出文件夹及文件信息。

(1)依照上述机制,逐层解析获取到目标文件或者目录的标记。

(2)依据标记查询子文件夹或者文件相关信息;

(3)列出信息。

lsr

循环列出文件夹。子文件夹及文件信息。

操作流程參见參照ls接口。

moveFromLocal

类似于put,仅仅是本地的源在复制之后会被删除。

1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据;

(2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息;

(4)上传源文件内容到系统中;

(5)删除本地源文件。

moveToLocal

于get命令类似。

操作流程參见get接口。

mv

移动文件从源地址到目标地址。

(1)依照上述机制,逐层解析<dest>绝对路径获取目标目录的标号。

(2)逐层解析到源文件获取源文件的key/value数据;

(3)更改源文件里的key值将当中的父节点标号字段改为目标目录的标号。

rmr

递归删除指定文件和文件夹。

(1)依照上述机制。逐层解析到目标文件所在的位置获取指定文件的标记;

(2)採用递归算法依据标记删除指定的文件或文件夹。

setfacl

设置訪问控制列表(acl)的文件和文件夹。

(1)依照上述机制,逐层解析。获取目标文件或路径的key/value数据;

(2)设置value中的ACL。

setrep

改变文件的目标副本系数。

(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据。

(2)改动value中有关副本系数的字段。

stat

显示文件里的统计信息。

(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据;

(2)获取value中关于文件的统计信息的相关字段。

tail

显示目标文件里的最后1KB数据。

(1)依照上述章节所述,逐层解析,获取目标文件的key/value数据。

(2)依据所得到的key/value查询最后一块中的1KB信息,假设最后一块不足1KB,则查询倒数第二块中信息,拼接成1KB。返回信息。

test

对路径进行检查。

(1)依照上述章节所述。对目标路径逐层解析,获取目标文件的key/value数据。

(2)检查目标文件里的key/value中的相关字段。以检測文件是否存在。大小是否为0,文件夹路径是否存在。

text

显示文件的文本内容,当文件为文本文件时,等同于cat。文件为压缩格式时,会先解压缩。

操作流程參见cat接口。

touchz

创建长度为0的文件。

操作流程參见mkdir接口。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/288433.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【足迹C++primer】52、,转换和继承虚函数

转换和继承,虚函数 Understanding conversions between base and derived classes is essential to understanding how object-oriented programming works in C. 理解基类和派生类之间的转换是不可缺少的 理解面向对象编程在。 Like built-in pointers, the smart pointer cla…

python人脸识别训练模型生产_深度学习-人脸识别DFACE模型pytorch训练(二)

首先介绍一下MTCNN的网络结构&#xff0c;MTCNN有三种网络&#xff0c;训练网络的时候需要通过三部分分别进行&#xff0c;每一层网络都依赖前一层网络产生训练数据供当前训练网络&#xff0c;这样也推动了两个网络之间的最小损耗。PnetRnetOnetMTCNN的人脸模型按照以上结构按照…

聊一聊Redis的离线分析

背景 Redis 或许是我们大部分场景都会用到的一个利器&#xff0c;虽然是利器&#xff0c;用的姿势不对的话&#xff0c;终究还是会整出幺蛾子的。比较常见的问题&#xff0c;不外乎内存暴增&#xff0c;慢查询等情况。那么对于内存问题&#xff0c;可以借助redis自带的bigkey分…

C# 实现Winform全屏后不遮挡任务栏,显示任务栏

最近在忙中抽闲&#xff0c;看我的桌面太过死了&#xff0c;不生动&#xff0c;不可爱。。。 然后默默的想写一个动态桌面的一个小东西活泼一下。。。 随后拿起来了N久不碰的C#&#xff08;本人C#渣&#xff0c;不&#xff0c;应该说什么都渣。。。&#xff09; 结果在winfo…

SQL Server 2005登录名,用户名,角色,架构之间的关系

SQL Server 2005对2000进行了很大的改进,而用户关系这部分也变得相当复杂了,很多朋友都对此一知半解!下面,我将把我应用中总结的和大家分享下,先从概念入手,希望对不理解的朋友有点提示。 今天我们要说的包括服务器登录名ServerLogin,服务器角色Server Role,数据库用户…

【模拟】【codeforces】599B Spongebob and Joke

http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id282385 就是一个人最开始有一串数a1 a2 ... am 他的熊孩子队友用一组函数f1 f2 ... fn 以及bi fai 把串A换成了串B 现在告诉你B和F&#xff0c;让你把A换回来&#xff0c;能换回来输出A&#xff0c;换回来可能有…

linux磁盘第一个扇区分析,Linux磁盘分区

一、磁盘连接方式与设备文件名的关系计算机常见的磁盘接口有两种&#xff0c;分别是IDE与SATA接口&#xff0c;目前主流接口已经是SATA接口了。一个IDE扁平电缆可以连接两个IDE设备&#xff0c;通常主机又都会提供两个IDE接口&#xff0c;因此最多可以接到四个IDE设备。也就是说…

剑指offer之分行从上到下打印二叉树

1 题目 分行从上到下打印二叉树 23 5 1 4 2 3 我们打印如下 23 51 4 2 3 2 分析 之前这篇博客写了通过队列按层打印剑指offer之按层打印树节点 现在无非就是还要按照条件打印&#xff0c;第一次打印1个&#xff0c;然后第二次打印2个&…

转:char*, char[] ,CString, string的转换

转&#xff1a;char*, char[] ,CString, string的转换 (一) 概述string和CString均是字符串模板类&#xff0c;string为标准模板类&#xff08;STL&#xff09;定义的字符串类&#xff0c;已经纳入C标准之中&#xff1b;CString&#xff08;typedef CStringT > CString&am…

虚拟机VMware安装XP系统错误解决办法

虚拟机给我的编程工作确实带了很多方便&#xff0c;但是虚拟机的一个最大挑战是硬件赶不上&#xff0c;速度太慢了。最近一直在致力于虚拟机上Win7专业版平台上SQL Server 2005Visual Studio 2012系统开发&#xff0c;最初还可以&#xff0c;但是越到后面速度越慢。最后决定重新…

[TP5填坑]关于助手函数input一不小心取不到get值的解决办法

声明&#xff1a;适用于懒人 常规对于这个什么鬼取不到值我也是很绝望的&#xff0c;通常都是看一遍手册就开始写&#xff0c;除非是在没事才跟你认认真真看&#xff0c;所以&#xff0c;我们这类懒人就非常尴尬了&#xff0c;只能动不动查手册。 tp5也出很久了&#xff0c;本…

【Python】猜数小游戏(文件操作)

人生苦短&#xff0c;我用Python 关键词 1.多用户 2.字典记录所有成绩 3.每次游戏轮数&总游戏次数&平均每次游戏需要多少轮 字典Dictionary、列表List、元组Tuple差异化理解 from random import randintname input(请输入你的名字&#xff1a;)#输入玩家名字 #读取文件…

100ms的SQL把服务器搞崩溃了

前言一个项目上线了两个月&#xff0c;除了一些反馈的优化和小Bug之外&#xff0c;项目一切顺利&#xff1b;前期是属于推广阶段&#xff0c;可能使用人员没那么多&#xff0c;当然对于项目部署肯定提前想到并发量了&#xff0c;所以早就把集群安排上&#xff0c;而且还在测试环…

剑指offer之分行从上到下之字行打印二叉树

1 问题 分行从上到下之字行打印二叉树 比如二叉树 23 5 1 4 2 3 3 2 1 5 1 4 2 3 分行从上到下之字行打印二叉树结果如下 2 5 3 1 4 2 3 3 2 4 1 5 1 …

python中sendkeys.sendkeys_python的webbrowser模块和SendKeys模块

今天工作的时候突然遇到个问题&#xff0c;就尝试着按照领导所说要天马行空的想东西&#xff0c;于是那点scrapy的代码逐渐忘了的差不多了&#xff0c;想到用迅雷去下载一些东西&#xff0c;迅雷不知道怎么回事&#xff0c;但知道一点&#xff0c;他监控计算机浏览器&#xff0…

linux dns 动态更新时间,CentOS 7实现DNS+DHCP动态更新详解

然后再安装bind-chroot 执行/usr/libexec/setup-named-chroot.sh /var/named/chroot on 停用named&#xff0c;。昨天运维帮组织线下的沙龙&#xff0c;照着做又遇到各种问题&#xff0c;相信就能搞定了&#xff0c;最后不不知道到底什么原理实现的&#xff0c;man 5 dhcpd.con…

数组方法

json数据格式 <!DOCTYPE HTML><html><head><meta http-equiv"Content-Type" content"text/html; charsetutf-8"><title>无标题文档</title> <script>var json { name : leo, age : 32 };// alert( json.name )…

需求分析工程师岗位的职责描述(合集)

需求分析工程师岗位的职责描述1 职责&#xff1a; 1&#xff0c;负责需求调研&#xff0c;对需求进行分析&#xff0c;编写解决方案、需求规格说明书等 2&#xff0c;根据需求制作原型&#xff0c;并负责原型展示以及客户沟通等工作 3&#xff0c;负责向技术团队精确地传达业务…

基于.NET的系统开发需要注意的问题总结

从2009年进入大学校园以来,笔者渐渐对程序设计产生了浓厚的兴趣,对程序人生产生了深度的思考。记得刚开始学的第一门计算机语言就是风靡一时的Visual Basic,时至今日,时间已过了六年有余,已初步掌握了VB,C,C++,C#,Python,T-SQL等多种语言。回头想想,一路走来,真的很…

nginx 下配置使用Thinkphp5解决跨目录活动并且设置网站根目录

由于TP5框架的一些特性规则&#xff0c;在nginx下导致跨目录的一些访问不能执行 最开始我尝试配置文件夹目录&#xff0c;导致出现各种奇葩错误&#xff0c;然后搜了以下资料发现原来只要简单的修改几个配置文件即可。 声明系统环境&#xff1a; **系统&#xff1a;Centos6.版本…