安装Hadoop:Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

前言

Hadoop包括三种安装模式:

  1. 单机模式:只在一台机器上运行,存储是采用本地文件系统,没有采用分布式文件系统HDFS;
  2. 伪分布式模式:存储采用分布式文件系统HDFS,但是,HDFS的名称节点和数据节点都在同一台机器上;
  3. 分布式模式:存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。

这篇笔记适合于原生 Hadoop3.1.3,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。此外,小北希望友友们能多去了解一些 Linux 的知识,以后出现问题时才能自行解决。

为了方便学习,请友友们利用Linux系统中自带的firefox浏览器打开本指南进行学习。
Hadoop安装文件,可以到Hadoop官网下载hadoop-3.1.3.tar.gz。
也可以直接点击这里从百度云盘下载软件(提取码:ziyu),进入百度网盘后,进入“软件”目录,找到hadoop-3.1.3.tar.gz文件下载到本地。

可以参考小北之前的两篇博客哇~

Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/Zhiyilang/article/details/135236893?spm=1001.2014.3001.5501Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/Zhiyilang/article/details/135276305?spm=1001.2014.3001.5501

本章中小北只讲了前面两种“单机”和“伪分布式”,第三种“分布式”打算后续单独写一篇,因为这个也是搭建HADOOP的集群了,所以希望这些也能帮助到友友们~

一、下载安装文件

前提:下载好hadoop的3.1.3的安装包并用PTF传送hadoop用户下下载目录

1,请使用hadoop用户登录虚拟机,并打开一个终端,执行一下命令:

 sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-3.1.3/ ./hadoop      # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop       # 修改文件权限

  

2,输入一下命令检测Hadoop解压是否可以用,成功会显示其版本:

cd /usr/local/hadoop
./bin/hadoop version

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/587977.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

门控循环单元(GRU)-多输入时序预测

目录 一、程序及算法内容介绍: 基本内容: 亮点与优势: 二、实际运行效果: 三、部分代码: 四、完整代码数据下载: 一、程序及算法内容介绍: 基本内容: 本代码基于Matlab平台编译…

工具--Git详解快来看看吧

目录 学习目标: 学习内容: 学习产出: Git的基本概念和工作原理: 版本控制系统的发展历程; 分布式版本控制系统的优势; Git的基本概念:仓库、提交、分支等; Git的工作原理&#xff1a…

IO密集型场景和CPU密集型场景——具体场景汇总

前言 多线程适合处理IO密集型任务,而多进程适合处理CPU密集型任务。选择使用哪种并发模型需要根据具体的应用场景和需求进行权衡。在 Python 中,可以使用 threading 模块实现多线程编程,使用 multiprocessing 模块实现多进程编程。 进阶详解…

DL Homework 13

目录 编程实现优化算法,并3D可视化 1. 函数3D可视化 2.加入优化算法,画出轨迹 3.复现CS231经典动画 4.结合3D动画,用自己的语言,从轨迹、速度等多个角度讲解各个算法优缺点 5.总结 编程实现优化算法,并3D可视化 …

编程笔记 html5cssjs 005 网页上都有哪内容、形式和操作

编程笔记 html5&css&js 005 网页上都有哪内容、形式和操作 一、内容分类二、样式三、互动小结 在编写网页之前,对网页内容及操作进行一个基本分类,然后接下来的任务就分别加以处理。 网页上的内容和操作有很多种,以下是一些常见的内容…

【深度解析C++】const成员函数

系列文章目录 🌈座右铭🌈:人的一生这么长、你凭什么用短短的几年去衡量自己的一生! 💕个人主页:清灵白羽 漾情天殇_计算机底层原理,深度解析C,自顶向下看Java-CSDN博客 ❤️相关文章❤️:Cthis指针&#xf…

Kafka_01_Kafka初识

Kafka_01_Kafka初识 Kafka基础概念延迟任务 Kafka Kafka: ZooKeeper协调的分布式消息系统 基于Scala语言编写的高性能、多分区、多副本Kafka高性能的原因:页缓存、顺序IO、零拷贝 具有以下特性: 消息中间件: 系统解耦、冗余存储、流量消峰、异步通信…

C++的面向对象学习(7):面向对象编程的三大特性之:继承

文章目录 前言一、继承:继承的类除了拥有上一级类的共性,也拥有自己的特性。二、继承方式:公有继承(public inheritance)、私有继承(private inheritance)和保护继承(protected inhe…

PHP Swoole Client

PHP常用socket创建TCP连接,使用CURL创建HTTP连接,为了简化操作,Swoole提供了Client类用于实现客户端功能,并增加了异步非阻塞模式,让用户在客户端也能使用事件循环。 作为客户端使用,Swoole Client可以在F…

C练习——爱因斯坦台阶问题(穷举法)

题目:爱因斯坦曾经提出过这样一道有趣的数学题:有一个长阶梯,若每步上2阶,最后剩下1阶;若每步上3阶,最后剩2阶;若每步上5阶,最后剩下4阶;若每步上6阶,最后剩5…

排序算法讲解

1)排序思想: 2)排序代码: 3)注意点: 4)时间/空间复杂度和稳定性 下面的排序是以实现升序讲解的。 (一)直接插入排序 1)排序思想: 把待排序的…

linux 网络系统管理 技能大赛 samba配置

SMB(Server Messages Block,信息服务块)是一种在局域网上共享文件和打印机的一种通信协议,它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务 Samba共享服务的匿名访问 yum -y install samba //安装samba服务 c…

Java注解学习,一文掌握@Autowired 和 @Resource 注解区别

🏆作者简介,普修罗双战士,一直追求不断学习和成长,在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验,历任核心研发工程师,项目技术负责人。 🎉欢迎 👍点赞✍评论…

[NOIP2002 普及组] 级数求和

[NOIP2002 普及组] 级数求和 题目描述 已知: S n 1 1 2 1 3 … 1 n S_n 1\dfrac{1}{2}\dfrac{1}{3}…\dfrac{1}{n} Sn​121​31​…n1​。显然对于任意一个整数 k k k,当 n n n 足够大的时候, S n > k S_n>k Sn​>k。 现给…

Python教程(19)——python异常处理

异常处理 什么是异常异常处理方式try-except语句捕获异常类型 相关的异常类型 什么是异常 在计算机编程中,异常(Exception)是指在程序执行过程中发生的错误或异常情况。当出现异常时,程序无法正常继续执行,因此需要采…

【Java进阶篇】SimpleDateFormat是线程安全的吗? 使用时应该注意什么?

SimpleDateFormat是线程安全的吗?使用时应该注意什么? ✔️ 典型解析✔️拓展知识仓✔️SimpleDateFormat用法✔️日期和时间模式表达方法✔️输出不同时区的时间✔️SimpleDateFormat线程安全性✔️问题重现✔️线程不安全原因✔️如何解决✔️使用局部变量✔️加同步锁✔️…

Java Log 学习笔记

参考文章: 1.Java 日志从入门到实战 2.Java日志框架的发展历史,你不想了解一下吗 背景 想自定义 logback 配置文件进行日志分级别记录到不同文件,遇到了几个问题(使用的是 spring-boot 构建的项目,spring-boot 版本为…

Linux 服务器安全策略技巧:启用账户锁定策略

Linux 服务器安全策略技巧:启用账户锁定策略 在Linux服务器上,启用账户锁定策略是一种重要的安全措施。通过锁定账户,可以防止未经授权的访问和恶意活动。本文将介绍如何在Linux服务器上启用账户锁定策略。 什么是账户锁定策略? 账户锁定策略是一种安全措施,用于限制对…

深度学习从入门到不想放弃-5

看了一眼这个文章系列,居然第四集是11月5号写的,这25天可见发生了多少事情... 今天我们讲讲特征,算是基础篇的一个番外篇延伸,我省着在后面的文章里写了,怕扰乱了思路 严格来说这个属于基础机器学习领域里的了,我又不讲决策树,贝叶斯,隐马尔可夫啥的(不在这个系列写,…

OPenGL GLSL

shji 数据类型 整型(有符号/无符号) 浮点数(单精度) 布尔值 向量类型/矩阵类型 bool bDone false int value 1; unint vale 21u float value 2.1 向量/分量类型 vec2,vec3,vec4 2分量 3 分量 4 分量复电向量 i…