【大数据】区分 hdfs dfs -ls 与 hdfs dfs -ls /

😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容!!!

区分 hdfs dfs -ls 与 hdfs dfs -ls /

1.hdfs dfs -ls

hdfs dfs -ls 表示 HDFS 中的 当前用户目录,即 /user/用户名。所以,hdfs dfs -ls 可以认为等价于 hdfs dfs -ls /user/用户名

[hadoop@hadoop001 ~]$ hdfs dfs -ls 
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2019-10-14 19:22 .sparkStaging
drwxr-xr-x   - hadoop supergroup          0 2019-09-21 15:27 data
drwxr-xr-x   - hadoop supergroup          0 2019-10-08 22:34 outdata
[hadoop@hadoop001 ~]$ hadoop fs -ls /user/hadoop/
Found 3 items
drwxr-xr-x   - hadoop supergroup          0 2019-10-14 19:22 /user/hadoop/.sparkStaging
drwxr-xr-x   - hadoop supergroup          0 2019-09-21 15:27 /user/hadoop/data
drwxr-xr-x   - hadoop supergroup          0 2019-10-08 22:34 /user/hadoop/outdata
  • hdfs dfs -ls 带一个参数,如果参数以 hdfs://URI 打头表示访问 HDFS,否则相当于 ls
  • 其中 URI 为 NameNode 的 IP主机名,可以包含 端口号,即 hdfs-site.xmldfs.namenode.rpc-address 指定的值。
  • hdfs dfs -ls 要求默认端口为 8020 8020 8020,如果配置成 9000 9000 9000,则需要指定端口号,否则不用指定端口,这一点类似于浏览器访问一个 URL。
  • 示例:hdfs dfs -ls hdfs://localhost:9001/ 9001 9001 9001 后面的斜杠 / 是必须的,否则被当作文件)。如果不指定端口号 9001 9001 9001,则使用默认的 8020 8020 8020localhost:9001hdfs-site.xmldfs.namenode.rpc-address 指定。

2.hdfs dfs -ls /

hdfs dfs -ls /hdfs dfs -ls hdfs://ip:9000/ 访问的路径一致,表示查看 HDFS 的 根目录

[hadoop@hadoop001 ~]$ hdfs dfs -ls /
Found 10 items
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 16:43 /data
drwxr-xr-x   - hadoop supergroup          0 2019-09-23 09:31 /flume
drwxr-xr-x   - hadoop supergroup          0 2019-09-21 18:55 /hive
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 18:34 /lib
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 17:11 /outdata
drwxr-xr-x   - hadoop supergroup          0 2019-09-05 15:02 /ruozedata
drwxr-xr-x   - hadoop supergroup          0 2019-09-05 14:13 /scala
drwxr-xr-x   - hadoop supergroup          0 2019-10-14 18:43 /spark-yarn
drwxr-xr-x   - hadoop supergroup          0 2019-09-18 11:05 /tmp
drwxr-xr-x   - hadoop supergroup          0 2019-09-04 15:41 /user
[hadoop@hadoop001 ~]$ hdfs dfs -ls hdfs://hadoop001:9000/
Found 10 items
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 16:43 hdfs://hadoop001:9000/data
drwxr-xr-x   - hadoop supergroup          0 2019-09-23 09:31 hdfs://hadoop001:9000/flume
drwxr-xr-x   - hadoop supergroup          0 2019-09-21 18:55 hdfs://hadoop001:9000/hive
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 18:34 hdfs://hadoop001:9000/lib
drwxr-xr-x   - hadoop supergroup          0 2019-10-13 17:11 hdfs://hadoop001:9000/outdata
drwxr-xr-x   - hadoop supergroup          0 2019-09-05 15:02 hdfs://hadoop001:9000/ruozedata
drwxr-xr-x   - hadoop supergroup          0 2019-09-05 14:13 hdfs://hadoop001:9000/scala
drwxr-xr-x   - hadoop supergroup          0 2019-10-14 18:43 hdfs://hadoop001:9000/spark-yarn
drwxr-xr-x   - hadoop supergroup          0 2019-09-18 11:05 hdfs://hadoop001:9000/tmp
drwxr-xr-x   - hadoop supergroup          0 2019-09-04 15:41 hdfs://hadoop001:9000/user

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/191670.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

并行和并发的区别

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 1、并发2、并行3、异同点 1、并发 当有多个线程在操作时,如果系统只有一个CPU,则它根本不可能真正同时进行一个以上的线程,它只能把CPU运行时间划分成若…

基于SpringBoot的企业客户管理系统的设计与实现

摘 要 本论文主要论述了如何使用JAVA语言开发一个企业客户管理系统,本系统将严格按照软件开发流程进行各个阶段的工作,采用B/S架构,面向对象编程思想进行项目开发。在引言中,作者将论述企业客户管理系统的当前背景以及系统开发的目…

npm ERR! notarget No matching version found for @eslint/eslintrc@^2.1.4.

文章目录 Intro解决流程总结前置信息了解npm 镜像源三个要用到的npm命令 官方源确认查看当前镜像源的详情解决: 切换镜像源后重试重新操作 事后感受 Intro 事由是今天我在用 create-react-app 新建一个用于测试的前端项目。 然后就出现以下报错: wuyuj…

【LeetCode热题100】【双指针】移动零

给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。 请注意 ,必须在不复制数组的情况下原地对数组进行操作。 示例 1: 输入: nums [0,1,0,3,12] 输出: [1,3,12,0,0] 示例 2: 输入: nums [0] 输出…

8.C转python

1.在文件查找中,文件夹才是目录 2.使用pip: python搞了一个网站pypi,把各种的第三方库给收集起来了 使用pip工具就可以直接从pypi里下载你想要的第三方库了 可以直接使用pip工具搜 安装完成后,即可使用import导入相关模块即可进行使用 往后运用pip中的第三方库应该都是在…

什么样的SSL证书比较好?

首先需要明确的是最适合自己的就是最好的SSL证书。目前市场上的证书种类很多,那怎么才能挑选出最适合自己的呢?我罗列了几个需要考虑的方面。 1.证书类型:根据您的需求选择合适的证书类型。例如,如果您需要验证公司信息&#xff0…

ios 长传发布审核+safari浏览器,直接安装ipa文件

蒲公英二维码方法 个人开发者账号发布证书AD-hoc 描述文件蒲公英上传链接通过苹果safari 浏览器下载IPA包 浏览器下载方法 前置条件 1.下载 ipa 包的设备的 uuid 已加入 苹果测试设备列表如何添加到测试列表 2.web 服务, 文件服务. 3.需要AD-hoc 描述文件 添加链接描述 1.创…

python常用函数

1.len函数求字符串长度 例如 2.input函数为输入 input里边可以是任意类型的数据 但是它返回的值是一个字符串(即现在只能做出打印那些操作) 想做出其他操作的话,要强制类型转换 例,用str转换为字符串(类似的还有float),字符串可以互相拼接 所以要记得用了input函数后要强制…

UNITY 超快速 在UNITY画网格GRID

首先,下载一个shapes插件! 为shapes插件的立刻绘画模式创建一个脚本 using Shapes; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Rendering;namespace XXX {[ExecuteAlways]public class Draw…

kali学习

目录 黑客法则: 一:页面使用基础 二:msf和Windows永恒之蓝漏洞 kali最强渗透工具——metasploit 介绍 使用永恒之蓝进行攻击 ​编辑 使用kali渗透工具生成远程控制木马 渗透测试——信息收集 域名信息收集 黑客法则: 一&…

Dash 协议介绍

<?xml version"1.0" encoding"utf-8"?> <MPD xmlns"urn:mpeg:dash:schema:mpd:2011" minBufferTime"PT1.5S" type"static" mediaPresentationDuration"PT0H1M0.3S" maxSegmentDuration"PT0H0M2.0…

N-135基于springboot,vue高校图书馆管理系统

开发工具&#xff1a;IDEA 服务器&#xff1a;Tomcat9.0&#xff0c; jdk1.8 项目构建&#xff1a;maven 数据库&#xff1a;mysql5.7 系统分前后台&#xff0c;项目采用前后端分离 前端技术&#xff1a;vueelementUI 服务端技术&#xff1a;springbootmybatisredis 本项…

抖音直播招聘报白的介绍和案例

抖音直播招聘报白是指企业人力资源公司在抖音进行直播招聘时&#xff0c;需要向抖音平台提供审核申请。通过报白&#xff0c;企业或人力资源公司可以更好的获取招聘渠道和更多曝光的机会&#xff0c;同时可以提升品牌形象和知名度。报白的对象针对需要企业自招的企业和人力资源…

C++EasyX之跟随鼠标移动的小球

视频链接 跟随鼠标移动的小球 用EasyX和C实现跟随鼠标移动的小球 #include<graphics.h> #include<iostream>int main() {initgraph(1280, 720);int x 0;int y 0;BeginBatchDraw();//新建缓冲区while (true){ExMessage msg;while (peekmessage(&msg)){//信…

熬夜会秃头——beta冲刺Day7

这个作业属于哪个课程2301-计算机学院-软件工程社区-CSDN社区云这个作业要求在哪里团队作业—beta冲刺事后诸葛亮-CSDN社区这个作业的目标记录beta冲刺Day7团队名称熬夜会秃头团队置顶集合随笔链接熬夜会秃头——Beta冲刺置顶随笔-CSDN社区 一、团队成员会议总结 1、成员工作…

抓包 Hook 工具Objection

Objection简介 Objection 是一个基于 Frida 开发的命令行工具&#xff0c;它可以很方便的 Hook Java 函数和类&#xff0c;并输出参数&#xff0c;调用栈&#xff0c;返回值。支持Hook Android和IOS 因为 Objection 是基于 Frida 的所以必须先安装 Frida 然后才能安装 Objecti…

torch rnn网络中,embedding.weight会反向更新吗?

结论&#xff1a;在PyTorch中&#xff0c;如果在训练中使用了embedding层&#xff0c;那么embedding.weight会被反向更新。 这是因为在训练过程中&#xff0c;模型的参数会根据损失函数的反向传播进行更新&#xff0c;而embedding层的参数embedding.weight也是模型的一部分&am…

数据结构--堆排序

NO.1 概念 堆排序是利用堆这种数据结构而设计的一种排序算法&#xff0c;堆排序是一种选择排序&#xff0c;时间复杂度均为O(nlogn)&#xff0c;是不稳定排序。 堆是完全二叉树 NO.2 如何手写一个堆 1. 插入一个数 heap[size] x; up(size); 2. 求集合当中的最小值 heap[1…

如何制作高质量AR识别跟踪图

1.前言 现在AR已经是耳熟能详的一项技术功能&#xff0c;尤其是图像目标跟踪比较常见。为确保获得最高质量的图像目标跟踪体验&#xff0c;请确保在选择图像目标时遵循以下指导原则。 2.指导原则 1.高质量图像目标跟踪体验需要图片更多的不同细节&#xff0c;不要出现大量留白…

Pandas教程06:DataFrame.merge数据的合并处理

DataFrame.merge() 是 pandas 库中用于合并两个DataFrame数据的方法。该方法主要用于根据一个或多个键&#xff08;键可以是列名或索引&#xff09;将两个 DataFrame 连接在一起&#xff0c;这个过程类似于 SQL 中的 JOIN 操作。 #我的Python教程 #微信公众号&#xff1a;wdPy…