Windows 安装hadoop 3.4

目录

安装

下载

设置环境变量

配置

修改:hadoop-env.cmd

修改:core-sit.xml

修改:hdfs-site.xml

修改:mapred-site.xml

修改:yarn-site.xml

运行

格式化HDFS文件系统

启动:hadoop

启动:yarn

验证


安装

前置条件:需要安装JDK8(亲身经历,不要用21版本的jdk)

下载

地址:Apache Hadoop

我下载的是3.4.0最新版

下载后,解压到E盘,路径:E:\hadoop-3.4.0

设置环境变量

添加HADOOP_HOME变量

添加到path

配置

进到目录:E:\hadoop-3.4.0\etc\hadoop

修改:hadoop-env.cmd
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_351上述这样设置可能会出问题:Hadoop Error: JAVA_HOME is incorrectly set.
更改后:
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351PS:PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写 。
修改:core-sit.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

PS:此文件中已有<configuration>标签,可以直接覆盖掉

修改:hdfs-site.xml

配置namenode和datanode的存放位置,可以自定义

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///C:/hadoop_data/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///C:/hadoop_data/hdfs/datanode</value></property>
</configuration>

PS:此文件中已有<configuration>标签,可以直接覆盖掉

修改:mapred-site.xml
<configuration>   <property>       <name>mapreduce.framework.name</name>       <value>yarn</value>   </property>
</configuration>

PS:此文件中已有<configuration>标签,可以直接覆盖掉

修改:yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

PS:此文件中已有<configuration>标签,可以直接覆盖掉

运行

格式化HDFS文件系统
hdfs namenode -format

会启动失败

报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries

原因:Windows下运行hadoop,需要添加插件【winutils.exe】

插件下载地址:GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows

点进去某个版本,里面就有这个exe

下载下来,放到:E:\hadoop-3.4.0\bin目录下

启动:hadoop

进入目录:E:\hadoop-3.4.0\sbin

start-dfs.cmd

可能出现的问题

java.lang.UnsatisfiedLinkError: 'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)'

原因:缺少hadoop.dll文件

解决:GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows 在这里面找对应版本,然后就可以看到

下载后,放到E:\hadoop-3.4.0\bin目录下

启动:yarn

进入目录:E:\hadoop-3.4.0\sbin

start-yarn.cmd

可能出现的问题:Resourcemanager启动报错,我这边是因为使用了jdk21导致的,卸载后,使用jdk8就行了。

验证

都启动不报错后

输入:http://localhost:9870/,查看hadoop的控制台

输入:http://localhost:8088,查看资源管理

至此,hadoop 4.3已成功安装!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/41560.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python-21-零基础自学python 写了一个彩票 发现买彩票中了真的是天选

学习内容&#xff1a;《python编程&#xff1a;从入门到实践》第二版 知识点&#xff1a; from random import choice、choice&#xff08;&#xff09;函数用法、while循环 练习内容&#xff1a; 练习9-14&#xff1a;彩票 创建一个列表或元组&#xff0c;其中包含10个数…

【HTML学习笔记】

HTML学习笔记 可以把以下代码复制于记事本或者VSCode中&#xff0c;保存时文件名尾缀.html&#xff0c;直接打开.html文件后&#xff0c;在浏览器中摁F12键&#xff0c;就可以一边看代码一边看效果对比看啦&#xff01; <!DOCTYPE html> <html lang"en">…

JAVA基础知识(上)

# 一、说说&和&&的区别? 作为运算符&#xff1a;& 将二进制的每一位进行与运算 作为逻辑运算符&#xff1a;两者都是与&#xff0c;&& 如果左边为假则终止右边运算&#xff0c;即短路运算。& 则需要把两边的比较执行完 # 二、int和Integer的区…

Vue 中实现动态右键菜单

在前端开发中&#xff0c;自定义右键菜单是一种常见的交互方式&#xff0c;它能够为用户提供更多的功能选项。在本文中&#xff0c;将探讨如何在 Vue 中实现一个动态右键菜单&#xff0c;该菜单能够根据用户点击位置动态调整其显示位置&#xff0c;确保菜单始终在浏览器窗口的可…

Steam平台的辉煌轨迹:数字游戏革命的领航者

在数字世界的浩瀚星空中&#xff0c;有一颗恒星以其耀眼的光芒照亮了无数游戏爱好者的道路&#xff0c;它就是Valve公司的杰作——Steam平台。自2003年横空出世以来&#xff0c;Steam不仅颠覆了传统游戏分发的模式&#xff0c;更以其卓越的创新能力和前瞻性的战略眼光&#xff…

CSS - 深入理解选择器的使用方式

CSS基本选择器 通配选择器元素选择器类选择器id 选择器 通配选择器 作用&#xff1a;可以选中所有HTML元素。语法&#xff1a; * {属性名&#xff1b;属性值; }举例&#xff1a; /* 选中所有元素 */ * {color: orange;font-size: 40px; }在清除样式方面有很大作用 元素选择器…

JAVA基础知识(下)

一、String相关面试题 1. 为什么 String 在 java 中是不可变的? - 如果不是不可变的&#xff1a;这种情况根本不可能&#xff0c;因为在字符串池的情况下&#xff0c;一个字符串对象/文字&#xff0c;例如 “Test” 已被许多参考变量引用&#xff0c; 因此如果其中任何一个更…

ubuntu下载Nginx

一、Nginx下载安装&#xff08;Ubuntu系统&#xff09; 1.nginx下载 sudo apt-get install nginx2.nginx启动 启动命令 sudo nginx重新编译(每次更改完nginx配置文件后运行&#xff09;&#xff1a; sudo nginx -s reload3.测试nginx是否启动成功 打开浏览器访问本机80端口…

小酌消烦暑|人间正清欢

小暑是二十四节气之第十一个节气。暑&#xff0c;是炎热的意思&#xff0c;小暑为小热&#xff0c;还不十分热。小暑虽不是一年中最炎热的时节&#xff0c;但紧接着就是一年中最热的节气大暑&#xff0c;民间有"小暑大暑&#xff0c;上蒸下煮"之说。中国多地自小暑起…

openssh版本升级实战(修补ssh漏洞)基于RedHat8.4版本测试--已成功升级

升级前具有漏洞的的版本 通过命令查看目前系统的ssh和sshd版本&#xff1a; ssh -V sshd -V 注意&#xff1a;由于ssh是远程连接服务器的功能&#xff0c;在进行下面操作升级openssh前&#xff0c;请打开多个连接会话保持&#xff0c;如升级失败&#xff0c;可通过已连接的会话…

antd实现简易相册,zdppy+vue3+antd实现前后端分离相册

前端代码 <template><a-image:preview"{ visible: false }":width"200"src"http://localhost:8889/download/1.jpg"click"visible true"/><div style"display: none"><a-image-preview-group:previe…

粤港澳大湾区人工智能资本对接会”成功举办!

为促进惠州仲恺高新区人工智能产业的发展&#xff0c;推动惠深两地产业资源深度协同与合作&#xff0c;也为吸引更多的优质项目与投融资机构为惠州仲恺高新区产业发展注入动力&#xff0c;加速深圳人工智能相关产业资源落地仲恺。2024年06月26日&#xff0c;由仲恺高新区科技创…

GNU/Linux - wic文件的使用

Yocto/OpenEmbedded使用的磁盘镜像格式是 wic。为嵌入式系统提供 bootable images。 The disk image format used in the Yocto Project is wic. .wic 文件显然只是一个带有分区表和分区的磁盘镜像&#xff0c;就像下载 Linux 发行版时获得的所有 .img 文件一样。这就是为什么你…

Laravel配置宝典:探索配置文件的深度使用

标题&#xff1a;Laravel配置宝典&#xff1a;探索配置文件的深度使用 Laravel框架的配置文件是管理应用设置的强大工具&#xff0c;它们使得开发者能够轻松地调整应用的行为&#xff0c;而无需修改代码。这些配置文件以PHP数组的形式存储&#xff0c;易于理解和修改。本文将详…

UE5 视频播放(自动播放和自动清除MediaTexture)

媒体播放器的打开时播放和媒体纹理的自动清除 。 在UE5开发视频播放时&#xff0c;遇到了闪帧的现象。合理选择这两个功能可解决。

小阿轩yx-LVS+Keepalived群集

小阿轩yx-LVSKeepalived群集 Keepalived 双机热备份基础知识 起初是专门针对 LVS 设计的一款强大的辅助工具主要用来提供故障切换(Failover)和健康检査(HealthChecking)功能—判断LVS 负载调度器、节点服务器的可用性当 master 主机出现故障及时切换到backup 节点保证业务正常…

动手学深度学习(Pytorch版)代码实践 -循环神经网络-51序列模型

51序列模型 import torch from torch import nn from d2l import torch as d2l import matplotlib.pyplot as pltT 1000 # 总共产生1000个点 time torch.arange(1, T 1, dtypetorch.float32) x torch.sin(0.01 * time) torch.normal(mean0, std0.2, size(T,)) d2l.plot(…

ERROR | Web server failed to start. Port 8080 was already in use.

错误提示&#xff1a; *************************** APPLICATION FAILED TO START ***************************Description:Web server failed to start. Port 8080 was already in use.Action:Identify and stop the process thats listening on port 8080 or configure thi…

Swagger的原理及应用详解(九)

本系列文章简介&#xff1a; 在当今快速发展的软件开发领域&#xff0c;特别是随着微服务架构和前后端分离开发模式的普及&#xff0c;API&#xff08;Application Programming Interface&#xff0c;应用程序编程接口&#xff09;的设计与管理变得愈发重要。一个清晰、准确且易…

2024年特种设备(电梯作业)题库考试题库

1.直接作用式液压电梯轿厢与柱塞&#xff08;缸筒&#xff09;之间的连接应为&#xff08;&#xff09;。 A.刚性连接 B.固定连接 C.法兰连接 D.挠性连接 答案&#xff1a;D 2.正常情况下&#xff0c;当电磁式继电器线圈得电时&#xff0c;其常开触点将&#xff08;&…