Hadoop单机版环境搭建

. 案例信息
Hadoop 的安装部署的模式一共有三种:
本地模式,默认的模式,无需运行任何守护进程( daemon ),所有程序都在单个 JVM 上执行。由
于在本机模式下测试和调试 MapReduce 程序较为方便,因此,这种模式适宜用在开发阶段。使用
本地文件系统,而不是分布式文件系统。
伪分布模式,在一台主机模拟多主机。即, Hadoop 的守护程序在本地计算机上运行,模拟集群环
境,并且是相互独立的 Java 进程。在这种模式下, Hadoop 使用的是分布式文件系统,各个作业也
是由 JobTraker 服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使
用情况, HDFS 输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常
用来开发测试 Hadoop 程序的执行是否正确。
全分布模式,完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所
有的主机上安装 JDK Hadoop ,组成相互连通的网络。
本案例采用伪分布模式搭建 Hadopp ,在一台主机模拟多主机,用于后续的程序开发。
2. 实验目的
              掌握 Hadoop 单机版的搭建及配置方法
掌握 HDFS 文件系统的开启及关闭方法
掌握 Yarn 的开启及关闭方法
掌握 Hadoop 平台的基本使用
3. 实验环境
hadoop == 3.1.0
CentOS == 7.3
jdk == 1.8
. 实验指导
关联技术:
  1. 环境准备
  2. 文件解包解压
  3. JDK安装配置
  4. VIM文本编辑命令
  5. 文件上传
  6. 系统环境配置
  7. 配置Hadoop
  8. XML配置
  9. 防火墙配置
  10. 关注B站刘老师教编程jps命令
  11. 使用内置程序计算PI值
  12. jar包执行

2. 实验步骤

  1. 环境准备
  2. 配置Hadoop
  3. 初始化并启动Hadoop
  4. Hadoop(YARN)环境搭建
  5. 使用内置程序计算PI
. 实验操作
01. 步骤一:环境准备
步骤操作说明
1. 配置 JDK
下载 JDK ,登录官方 https://www.oracle.com/java/technologies/downloads/#java8 下载所需版
本的 JDK ,版本为 JDK 1.8
以上就是单机版Hadoop部署的全过程了,有问题的小伙伴私信我,我帮您解答

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/50687.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

leetocde662. 二叉树最大宽度,面试必刷题,思路清晰,分点解析,附代码详解带你完全弄懂

leetocde662. 二叉树最大宽度 做此题之前可以先做一下二叉树的层序遍历。具体题目如下: leetcode102二叉树的层序遍历 我也写过题解,可以先看看学习一下,如果会做层序遍历了,那么这题相对来说会简单很多。 具体题目 给你一棵…

第11章 Express即时通讯简单集成

在现代 Web 应用中,实时通信变得越来越重要,特别是对于需要实时数据更新的应用,比如聊天应用、实时通知、在线游戏等。Express 是一个灵活且强大的 Web 框架,通过结合 WebSocket 和 Socket.IO,可以轻松实现实时通信功能…

[OJ]水位线问题,1.采用回溯法(深度优先遍历求解)2.采用广度优先遍历求解

1.深度优先遍历 使用回溯法,深度优先遍历利用栈先进后出的特点,在加水控制水量失败时, 回到最近一次可对水进行加水与否的位置1.对于给定水量k,是否在[l,r]之间, 是:是否加水(加水y,用掉x,是否在[l,r]之间)(不加水y,用掉x,是否在[l,r]之间)先尝试加水,如…

Java 实现分页的几种方式详解

目录 分页概述Java实现分页的几种方式 手动分页基于JDBC的分页基于Hibernate的分页基于MyBatis的分页[基于Spring Data JPA的分页](#基于Spring Data JPA的分页)使用PageHelper插件的分页 分页中的注意事项总结 分页概述 分页是指将大量数据分成若干小块,每次只显…

NVIDIA全面转向开源GPU内核模块

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领…

Logback原理及应用详解(三)

本系列文章简介: 在软件开发的过程中,日志记录是一项至关重要的功能。它不仅帮助开发者在开发阶段追踪代码的执行流程和调试问题,还在生产环境中扮演着监控应用运行状态、记录关键业务信息和排查故障的重要角色。随着软件系统的日益复杂和分布…

FastAPI(七十八)实战开发《在线课程学习系统》接口开发-- 评论

源码见:"fastapi_study_road-learning_system_online_courses: fastapi框架实战之--在线课程学习系统" 梳理下思路 1.判断是否登录 2.课程是否存在 3.如果是回复,查看回复是否存在 4.是否有权限 5.发起评论 首先新增pydantic模型 class Cour…

python当键存在时向值添加元素,键不存在时则新建的简洁方法

在 Python 中,可以使用字典来存储集合对象,并且在键存在时向集合中添加元素,键不存在时则新建一个集合并添加元素。可以使用 dict.setdefault() 方法来简化这个过程,或者手动检查键是否存在。 下面是一些示例代码: 使…

音视频入门基础:WAV专题(2)——WAV格式简介

注:本文有部分内容引用了维基百科:https://zh.wikipedia.org/wiki/WAV 一、引言 Waveform Audio File Format(缩写WAVE或WAV)是微软与IBM公司所开发在个人电脑存储音频流的编码格式,在Windows平台的应用软件受到广泛的…

AI/机器学习(计算机视觉/NLP)方向面试复习3

1. Pooling 有哪些方式?pytorch的实现? Pooling可以分成:最大池化,平均池化,全局平均池化,随机池化,空间金字塔池化。 1. 最大池化(Max Pooling) 最大池化是最常用的池…

union的特性和大小端

一、union在c和c语言中的特性 1.共享内存空间:union的所有成员共享同一块内存空间。意味着在同一时刻,union 只能存储其成员 中的一个值。当你修改了union中的一个成员,那么其它成员的值也会被改变,因为它们实际上都是指向同一块…

JS逆向高级爬虫

JS逆向高级爬虫 JS逆向的目的是通过运行本地JS的文件或者代码,以实现脱离他的网站和浏览器,并且还能拿到和浏览器加密一样的效果。 10.1、编码算法 【1】摘要算法:一切从MD5开始 MD5是一个非常常见的摘要(hash)逻辑. 其特点就是小巧. 速度快. 极难被破解. 所以,…

skywalking docker部署

skywalking-oap # 拉取skywalking-oap镜像 docker pull apache/skywalking-oap-server:9.7.0# 启动容器 docker run --name oap \ -d \ -p 11800:11800 \ -p 12800:12800 \ apache/skywalking-oap-server:9.7.0skywalking-ui # 摘取skywalking-ui镜像 docker pull apache/sky…

大屏使用技巧——如何实现数据分发

当多个组件需共用同一数据源时,为了减少重复请求,需要进行数据分发。那如何实现接一次数据就能让多个组件映射同一数据源中的不同数据字段呢? 实现思路 目标组件的静态数据中添加标记字段,数据过滤器内通过 data 参数获取到对应…

加密micropython写的程序为.mpy的方法

2024年7月26日 用虚拟机安装一个Linux,本例为CentOS7的Linux系统。 1.保证Linux能够连接网络。 2.进入root用户,使用下面的命令行安装gcc编译器: yum install gcc 3.安装完成后,查看gcc是否安装成功,用下面的命令…

家政项目小程序的设计

管理员账户功能包括:系统首页,个人中心,用户管理,家政人员管理,家政服务管理,咨询信息管理,咨询服务管理,家政预约管理,留言板管理,系统管理 微信端账号功能…

前端开发知识-vue

大括号里边放键值对,即是一个对象。 一、vue可以简化前端javascript的操作。 主要特点是可以实现视图、数据的双向绑定。 使用vue主要分为三个步骤: 1.javascript中引入vue.js 可以src中可以是vue的网址,也可以是本地下载。 2.在javasc…

C#中的泛型约束:如何利用泛型约束来提高代码的类型安全性和灵活性?

泛型约束是指可以对泛型类型参数进行限制,只允许特定类型或满足特定条件的类型作为泛型参数。使用泛型约束可以提高代码的类型安全性和灵活性,以下是一些常见的泛型约束及其作用: 类型约束(class constraint)&#xff…

FastAPI(七十九)实战开发《在线课程学习系统》接口开发-- 加入课程和退出课程

源码见:"fastapi_study_road-learning_system_online_courses: fastapi框架实战之--在线课程学习系统" 加入课程 我们先看下加入课程 1.是否登录 2.课程是否存在 3.是否已经存在 4.添加 首先实现逻辑 def get_student_course(db: Session, course: int…

C++——QT:保姆级教程,从下载到安装到用QT写出第一个程序

登录官网,在官网选择合适的qt版本进行下载 这里选择5.12.9版本 点击exe文件下载,因为服务器在国外,国内不支持,所以可以从我的网盘下载 链接: https://pan.baidu.com/s/1XMILFS1uHTenH3mH_VlPLw 提取码: 1567 --来自百度网盘超级…