hadoop集群环境搭建和常用命令

搭建过程

1.集群配置

cat /etc/hosts

2.步骤安装 Java是否安装

which java 或者 echo $JAVA_HOME

3.解压安装包

tar -zxvf

4.修改配置文件

cd $HADOOP_HOME/etc/hadoop/

下面是需要修改的配置文件
hadoop-env.sh
yarn-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml
yarn-site.xml

5.配置环境变量(面试点! 两种修改配置的命令有什么区别)

vim ~./bashrc 用户级别的

vim /etc/profile 全局生效的

6.刷新环境变量

source ~./bashrcmaster环境变量拷贝到 slave1中,同时master和slave之间要进行两两免密登录(最好配置用户级别的)scp -rp ~./bashrc  root@slave1:/root/.bashrcscp -rp ~./bashrc  root@slave2:/root/.bashrc

7.拷贝安装包

8.集群启动

#初始化NameNode

hadoop namenode -format

#启动/停止

 sh  $HADOOP_HOME/sbin/start-all.sh sh  $HADOOP_HOME/sbin/stop-all.sh 

9.验证

jps

常用命令

  1. 查看根目录 hadoop fs -ls /

  2. 创建多级文件夹 hadoop fs -mkdir -p /bd_29/aa/bb

  3. 查看文件路径 pwd

  4. 创建文件 touch

  5. 查看历史输入命令 history

  6. 删除全部已有命令 ctrl + u

  7. 快速回到第一个位置 Ctrl + a

  8. 关闭安全模式 hadoop dfsadmin -safemode leave

  9. 查看硬盘空间 df -h

查看文件大小 du -sh * : 查看各个文件的大小

  1. 上传文件 hadoop fs -put 当前文件路径 目标文件路径

  2. 查看文件内容 hadoop fs -cat(text/tail) b.txt

    查看文件内容前十行 hadoop fs -cat b.txt | head -10

    查看文件大小 hadoop fs -du -s -h /test/a.txt

    查看内容行数 hadoop fs -cat /b.txt | wc -l

    查看文件个数 hadoop fs -ls /b.txt | wc -l

  3. 查看最近被修改的文件 ll -rt

  4. 查看隐藏的目录或者文件 ls -la

  5. -rm -rf 使用之前先pwd ,删除必须指定文件名

  6. :q! 强制退出

    history 查看历史命令 history | grep move

  7. vim中的常用命令

    :set number 显示行号

    :/HADOOP 查找关键字 HADOOP

    gg 快速回到文件开始

    shift + g 快速回到文件末尾

    %s/ a /b / g 将 a 替换成 b

    g+d 高亮单词

  8. 查看内容行数 hadoop fs -cat(text/tail) /bd_29/b.txt | wc -l

  9. 查看文件数量 hadoop fs -ls /bd_29/b.txt | wc -l

  10. 下载文件 hadoop fs -get /bd_29/b.txt .

  11. 删除文件放入回收站 hadoop fs -rmr /bd_29/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/177865.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

洛谷 P1981 [NOIP2013 普及组] 表达式求值

文章目录 [NOIP2013 普及组] 表达式求值题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样例输入 #2样例输出 #2 样例 #3样例输入 #3样例输出 #3 提示 题意解析思路解析CODE注意 [NOIP2013 普及组] 表达式求值 题目链接:https://www.luogu.com.cn/…

JOSEF 漏电继电器JHOK-ZBL1 DH-50L 系统1140V 电源AC220V

系列型号: JHOK-ZBL多档切换式漏电(剩余)继电器 JHOK-ZBL1多档切换式漏电(剩余)继电器 JHOK-ZBL2多档切换式漏电(剩余)继电器 JHOK-ZBM多档切换式漏电(剩余)继电器 …

Java面向对象第三天:

精华笔记: 引用类型数组: 给引用类型数组的元素赋值,需要new一下 若想访问对象的属性或调用方法,需要通过数组元素去打点 继承: 作用:代码复用 通过extends来实现继承 超类/父类:共有的属性…

【Java Spring】SpringBoot 五大类注解

文章目录 Spring Boot 注解简介1、五大类注解的作用2、五大类注解的关系3、通过注解获取对象4、获取Bean对象名规则解析 Spring Boot 注解简介 Spring Boot的核心就是注解。Spring Boot通过各种组合注解,极大地简化了Spring项目的搭建和开发。五大类注解是Spring B…

老师怎样处理校园欺凌

校园欺凌是一个让人痛心又不可忽视的问题。作为老师,该如何处理这种问题,既能够保护受欺凌的学生,又能够让施暴者得到应有的教训呢? 及时发现并介入 经常关注学生的动态,一旦发现有校园欺凌的苗头,就要及时…

pytorch读取tiny-imagenet-200的验证集(val)

ori_train torchvision.datasets.ImageFolder(root args.datadir /tiny-imagenet-200/train/, transformtransform)#可以获取class_idx的映射class_idx ori_train.class_to_idx val_annotations.txt中存储着每个图片对应的类别 获取验证集的标签 test_target []#读取val_…

python项目报错

解决办法:不要用配置的镜像脚本,直接用此命令 pip install pandas -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

Java第二十章多线程

线程简介 在 Java 中,并发机制非常重要。在以往的程序设计中,我们都是一个任务完成后再进行下一个任务,这样下一个任务的开始必须等待前一个任务的结束。Java 语言提供了并发机制,程序员可以在程序中执行多个线程,每一…

SimpleDateFormat在多线程下的安全问题

目录 情景重现 SimpleDateFormat解析 解决方案 局部变量 加锁 使用线程变量 使用DateTimeFormatter 情景重现 SimpleDateFormat类是Java开发中的一个日期时间的转化类。它可以满足绝大多数的开发场景,但是在高并发下会出现并发问题。接下来查看下文中的案例。…

Python中的datetime库

1. datetime datetime是Python中用于处理日期和时间的类,它包含在datetime模块中。使用datetime类,我们可以创建表示特定日期和时间的对象,以及进行日期和时间的计算和操作。 from datetime import datetime, timedelta# 获取当前日期和时间…

为什么请求会发送两次-预检请求(OPTIONS)

当我们在发送跨域的POST请求时,浏览器会先发送一次OPTIONS请求,这是由于浏览器的同源策略所导致的。这个预检请求(pre-flight request)是CORS(跨源资源共享)机制的一部分。 预检请求的目的在于确保实际请求…

VSCode:修改左侧窗口字体大小

参考文章 https://blog.csdn.net/zhizhengguan/article/details/121361372

爬虫如何确定HTTP代理IP是否符合自己业务需求?

HTTP代理在许多业务场景中发挥着关键作用,但要确保其能够满足业务需求,需要考虑多个方面的因素。今天我们一起看看,要如何判断HTTP代理是否适合自己的业务,以及在选择HTTP代理时需要考虑的综合因素。 1. 稳定性 稳定性是HTTP代理…

使用Moment.js中获取上周的开始日期和结束日期(可自定义)

前言 有时候需求是这样的,想要获取上周的开始日期和结束日期,或者前几周的时间范围 比如今天是2023.11.28号,我想获取上周的周一到周日,也就是,上周的开始日期: 2023-11-20,上周的结束日期: 2023-11-26 1.…

爬虫系统Docker和Kubernetes部署运维最佳实践

在构建和管理爬虫系统时,使用Docker和Kubernetes可以带来诸多好处,如方便的部署、弹性伸缩和高可靠性。然而,正确的部署和运维实践对于确保系统稳定运行至关重要。在本文中,我将分享爬虫系统在Docker和Kubernetes上的最佳部署和运…

SSM卫生信息管理系统开发mysql数据库web结构java编程计算机网页源码eclipse项目

一、源码特点 SSM 卫生信息管理系统是一套完善的信息系统,结合springMVC框架完成本系统,对理解JSP java编程开发语言有帮助系统采用SSM框架(MVC模式开发),系统具有完整的源代码和数据库,系统主要采用B/S模…

java设计模式学习之【单例模式】

文章目录 引言单例模式简介定义与用途实现方式:饿汉式懒汉式 UML 使用场景优势与劣势单例模式在spring中的应用饿汉式实现懒汉式实现数据库连接示例代码地址 引言 单例模式是一种常用的设计模式,用于确保在一个程序中一个类只有一个实例,并且…

centos7搭建 PXE 服务安装 window10/11 系统

最近想搭建之前基于 window server 的 window 批量安装,但想想装 window server 真的太麻烦了,我只是为了 PXE 安装系统而已,这些装一个极度消耗资源的系统真是相当麻烦呀,之前装的 server 不维护的话,不是被挖矿盯上就…

9 动态规划解单次词拆分

描述:给定一个非空字符串和一个包含非空单次的列表wordDict,判定s是否可以被空格拆分成一个或多个在字典中出现的单词。 说明: 1 拆分式可以重复使用字典中的单词。 2 你可以假设字典中没有重复的单词。 示例1:…

批量采集淘宝商品数据,有哪些方式可以实现?

引言 在当今的数字化时代,数据已经成为企业竞争的核心资源。对于电商行业来说,对商品数据的采集和分析更是关键。淘宝作为中国最大的电商平台之一,其丰富的商品数据和用户行为数据具有极高的价值。那么,如何批量采集淘宝商品数据…