HDFS概述及常用shell操作

HDFS

  • 一、HDFS概述
    • 1.1 HDFS适用场景
    • 1.2 HDFS优缺点
    • 1.3 HDFS文件块大小
  • 二、HDFS的shell操作
    • 2.1 上传
    • 2.2 下载
    • 2.3 HDFS直接操作

一、HDFS概述

1.1 HDFS适用场景

因为HDFS里所有的文件都是维护在磁盘里的
在磁盘中对文件的历史内容进行修改 效率极其低(但是追加可以)
在这里插入图片描述

1.2 HDFS优缺点

  • 优点
    -

  • 缺点
    因为数据量太大 且磁盘IO操作很多 所以不适合低延时的要求
    那HDFS为什么怕小文件呢-因为不管是大文件 还是小文件 他们对应的元数据信息大小都是一样的(大概150字节) 而元数据都是存在服务器的内存中 这是有限的
    在这里插入图片描述

1.3 HDFS文件块大小

在这里插入图片描述
在这里插入图片描述

二、HDFS的shell操作

2.1 上传

  • -moveFromLocal:从本地剪切粘贴到HDFS(本地就没了)
    hadoop fs -moveFromLocal ./test.txt /test

  • -copyFromLocal:从本地文件系统中拷贝文件到HDFS(本地还有)
    hadoop fs -copyFromLocal README.txt /test

  • -appendToFile:追加一个文件到已经存在的文件末尾
    hadoop fs -appendToFile liubei.txt /shuguo/kongming.txt

  • -put:等同于copyFromLocal
    hadoop fs -put ./test2.txt /test/

2.2 下载

  • -copyToLocal:从HDFS拷贝到本地
    hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
  • -get:等同于copyToLocal
    hadoop fs -get /sanguo/shuguo/kongming.txt ./
  • -getmerge:合并下载多个文件(把多个文件的内容合并放在一个文件)
    hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

2.3 HDFS直接操作

  • -ls: 显示目录信息
    hadoop fs -ls /

  • -mkdir:在HDFS上创建目录(-p创建多级目录)
    hadoop fs -mkdir -p /sanguo/shuguo

  • -cat:显示文件内容
    hadoop fs -cat /sanguo/shuguo/kongming.txt

  • -chgrp -chmod -chown:Linux文件系统中的用法一样 修改权限(Web可以直接改)

  • -cp :从HDFS的一个路径拷贝到HDFS的另一个路径
    hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

  • -mv:在HDFS目录中移动(重命名)文件
    hadoop fs -mv /zhuge.txt /sanguo/shuguo/

  • -tail:显示一个文件的末尾1kb的数据
    hadoop fs -tail /sanguo/kongming.txt

  • -rm:删除文件或文件夹
    hadoop fs -rm /user/atguigu/test/jinlian2.txt
    hadoop fs -rm -r 删文件夹

  • -rmdir:只能删除空目录
    hadoop fs -rmdir /test

  • -setrep:设置HDFS中文件的副本数量(这里设置的副本数只是记录在NameNode的元数据中 是否真的会有这么多副本 还得看DataNode的数量 因为目前只有3台设备 最多也就3个副本 只有节点数的增加到10台时 副本数才能达到10)
    hadoop fs -setrep 10 /sanguo/kongming.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/755724.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux电源管理——系统Suspend/Resume流程

本篇文章主要是自己的学习笔记,主要内容是分析linux系统中设备的Suspend和Resume流程,用到的内核版本为 linux-4.14。 目录 1、Linux 内核的Suspend方法 2、__device_suspend 函数 3、pm_op 函数 4、suspend_enter 函数 5、resume流程 1、Linux 内…

dockerfile更改docker镜像源

方法一: ## 更换源 RUN sed -i s/deb.debian.org//mirrors.aliyun.com/g /etc/apt/sources.list \ && apt-get update 方法二: RUN echo "deb http://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free" >/…

js中副作用的消除还解决了并行计算带来的竞争问题,具体是如何解决的

在JavaScript中,副作用是指对外部环境产生的可观察的变化,例如修改全局变量、修改DOM元素等。副作用的存在可能导致代码的可维护性和可测试性下降,并且在并行计算中可能引发竞争问题。 不纯的函数有可能访问同一块资源,如果先后调…

走近 AI Infra 架构师:在高速飞驰的大模型“赛车”上“换轮子”的人

如果把大模型训练比作 F1 比赛,长凡所在的团队就是造车的人,也是在比赛现场给赛车换轮子的人。1% 的训练提速,或者几秒之差的故障恢复时间,累积起来,都能影响到几百万的成本。长凡说:“大模型起来的时候&am…

算法详解——选择排序和冒泡排序

一、选择排序 选择排序算法的执行过程是这样的:首先,算法遍历整个列表以确定最小的元素,接着,这个最小的元素被置换到列表的开头,确保它被放置在其应有的有序位置上。接下来,从列表的第二个元素开始&#x…

事件高级、

文章目录 1.注册事件(绑定事件)addEventListener 事件监听方式attachEvent 事件监听方式、兼容性解决方案 * 2.删除事件(解绑事件)删除事件的方式删除事件兼容性解决方案 * 3.DOM事件流4.事件对象使用语法兼容性方案*常见属性和方…

边缘计算+WEB端应用融合:AI行为识别智能监控系统搭建指南 -- 边缘设备图像识别及部署(二)

专栏目录 边缘计算WEB端应用融合:AI行为识别智能监控系统搭建指南 – 整体介绍(一) 边缘计算WEB端应用融合:AI行为识别智能监控系统搭建指南 -- 边缘图像识别及部署(二) 前言边缘图像识别与推流整体思路原始…

Allegro许可类型

随着科技的飞速发展,数字化转型已成为企业提升竞争力的必经之路。在这个过程中,软件许可作为企业合规运营的关键环节,发挥着至关重要的作用。Allegro作为业界领先的软件解决方案提供商,提供了一系列丰富多样的许可类型&#xff0c…

vue+elementUI实现右击指定表格列的单元格显示选择框

一、template代码如下&#xff1a; 1、表格单元格中添加的代码&#xff1a; <div v-if"item.label 铁心级号" contextmenu.prevent"openRightMenu($event, item, scope.$index)" style"height: 38px; line-height: 38px;"><span styl…

海康威视添加新摄像头到原建的网络监控平台中

一、适用场景 1、企业已经存在一套海康威视的监控网络系统&#xff1b; 2、根据业务的需求&#xff0c;要新增加一些摄像头&#xff1b; 3、原施工方忙碌&#xff0c;为新增加的摄像头施工成本较高&#xff1b; 4、新增加海康威视的摄像头视频监控&#xff0c;保存在原建的监控…

构建强大的API:Django中的REST框架探究与实践【第146篇—Django】

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 构建强大的API&#xff1a;Django中的REST框架探究与实践 在当今的Web开发中&#xff0c;构…

低代码:软件开发的性价比之王

随着技术的飞速发展&#xff0c;软件开发领域正经历着前所未有的变革。在这场变革中&#xff0c;低代码平台凭借其高效、便捷的特性&#xff0c;逐渐崭露头角&#xff0c;成为众多企业和开发者的首选。本文将探讨低代码平台为何能被誉为“性价比之王”&#xff0c;并分析其在软…

Apache SeaTunnel MongoDB CDC 使用指南

随着数据驱动决策的重要性日益凸显&#xff0c;实时数据处理成为企业竞争力的关键。SeaTunnel MongoDB CDC(Change Data Capture) 源连接器的推出&#xff0c;为开发者提供了一个高效、灵活的工具&#xff0c;以实现对 MongoDB 数据库变更的实时捕获和处理。 本文将深入探讨该连…

Jackson 2.x 系列【1】概述

有道无术&#xff0c;术尚可求&#xff0c;有术无道&#xff0c;止于术。 本系列Jackson 版本 2.17.0 源码地址&#xff1a;https://gitee.com/pearl-organization/study-seata-demo 文章目录 1. 前言2. 什么是 JSON3. 常用 Java JSON 库4. Jackson4.1 简介4.2 套件4.3 模块4.…

prompt开发生命周期

1.定义任务场景和成功标准 任务场景可分为简单任务&#xff1a;实体抽取、qa等 复杂任务&#xff1a;代码生成、创意写作等 在定义任务后&#xff0c;就要定义模型实现该任务的成功标准&#xff1a; 模型表现和准确率&#xff1b;延迟&#xff1b;价格。 2.开发测试用例 多…

我手写的轮子开源了

我手写的轮子开源了 文章目录 1.gitee坐标和地址1.1.gitee坐标1.2.gitee地址 2.github坐标和地址2.1.github坐标2.2.github地址 3.总结 1.gitee坐标和地址 1.1.gitee坐标 <dependency><groupId>io.gitee.bigbigfeifei</groupId><artifactId>es-sprin…

URI 是什么

URI&#xff08;Uniform Resource Identifier&#xff09;&#xff0c;统一资源标识符&#xff0c;是用来唯一标识某一互联网资源的字符串。URI 通常包括 URL&#xff08;统一资源定位符&#xff09;和 URN&#xff08;统一资源名称&#xff09;两种形式。 在计算机科学中&…

Vue2(七):超详细vue开发环境搭建(win7),nodejs下载与安装,安装淘宝镜像(报错已解决),配置脚手架

一、安装node.js 本来想粗略写一下的&#xff0c;但是搭建脚手架的时候&#xff0c;遇到了很多问题&#xff0c;浪费快两天时间&#xff0c;记录一下自己的解决办法希望对你们有帮助&#xff01; 1.下载nodejs 安装包下载链接【CNPM Binaries Mirror】 下载我划线的这个&am…

P8717 [蓝桥杯 2020 省 AB2] 成绩分析 Python

[蓝桥杯 2020 省 AB2] 成绩分析 题目描述 小蓝给学生们组织了一场考试&#xff0c;卷面总分为 100 100 100 分&#xff0c;每个学生的得分都是一个 0 0 0 到 100 100 100 的整数。 请计算这次考试的最高分、最低分和平均分。 输入格式 输入的第一行包含一个整数 n n n…

代码随想录算法训练营第25天| 216.组合总和III、17.电话号码的字母组合

216.组合总和III 题目链接&#xff1a;组合总和III 题目描述&#xff1a;找出所有相加之和为 n **的 k ****个数的组合&#xff0c;且满足下列条件&#xff1a; 只使用数字1到9每个数字 最多使用一次 返回 所有可能的有效组合的列表 。该列表不能包含相同的组合两次&#xff0c…