windows hadoop 开发测试版快速搭建

1、hadoop 包下载

  • 清华大学开源软件镜像站下载(速度较快,但版本不全)
  • 官方各个版本

下载后解压。
添加环境变量 HADOOP_HOME。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。

ps:本文使用的是 hadoop-3.3.2

2、windows 环境准备

windows 所需文件:winutils.exehadoop.dll
可从 GitHub 下载(不全)。

  • winutils.exe 放到 %HADOOP_HOME%/bin 下面。
  • hadoop.dll 放到 windows\system32 下面(也可以放到 %HADOOP_HOME%/bin 下面,加到 path 环境变量就行)。

3、配置

(可选)修改 %HADOOP_HOME%/etc/hadoop 下面的脚本 hadoop-env.cmd,修改 JAVA_HOME 为本机jdk安装时配置的目录。

修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件:core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml

  • core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://0.0.0.0:8020</value></property><!--用来指定使用hadoop时产生文件的存放目录, --><property><name>hadoop.tmp.dir</name> <value>/D:/Programs/hadoop-3.3.2/temp</value></property>
</configuration>
  • hdfs-site.xml
<configuration><!--指定hdfs保存数据的副本数量--><property><name>dfs.replication</name><value>1</value></property><!--指定hdfs中namenode的存储位置--><property><name>dfs.namenode.name.dir</name> <value>/D:/Programs/hadoop-3.3.2/data/namenode</value></property><!--指定hdfs中datanode的存储位置--><property><name>dfs.datanode.data.dir</name><value>/D:/Programs/hadoop-3.3.2/data/datanode</value></property><property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property>
</configuration>
  • mapred-site.xml
<configuration><!--告诉hadoop以后MR(Map/Reduce)运行在YARN上--><property><description>The hostname of the RM.</description><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
  • yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><!--nomenodeManager获取数据的方式是shuffle--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定 ResourceManager 的地址-->     <property><name>yarn.resourcemanager.hostname</name><value>0.0.0.0</value></property> <property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><!--Yarn打印工作日志-->    <property>    <name>yarn.log-aggregation-enable</name> <value>true</value>    </property></configuration>

第一次运行前,需要格式化HDFS:

hadoop namenode -format

运行:start-dfs.cmdstart-yarn.cmd(需要以管理员运行 cmd);(或 start-all.cmd )

然后访问:

  • http://localhost:8088 查看集群状态
  • http://localhost:50070 访问hdfs
  • http://localhost:19888 查看JobHistory(需要先启动jobHistoryserver)

4、一些报错

未指定 hadoop.tmp.dir(core-site.xml) :

2023-07-03 11:05:24,913 INFO localizer.ResourceLocalizationService: usercache path : file:/tmp/hadoop-a/nm-local-dir/usercache_DEL_1688353524257
2023-07-03 11:05:24,945 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/filecache
2023-07-03 11:05:25,013 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/usercache
2023-07-03 11:05:25,072 WARN nativeio.NativeIO: NativeIO.getStat error (3): 系统找不到指定的路径。-- file path: tmp/hadoop-a/nm-local-dir/nmPrivate

非管理员运行 start-yarn.cmd :

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to setup local dir D:/Programs/hadoop-3.3.2/temp/nm-local-dir, which was marked as good.

填指定 ip 时,则 只会监听该 ip。地址填 0.0.0.0 时,能够监听本机其他 ip。

如 yarn-site.xml 中的 yarn.resourcemanager.hostname。填 10.10.3.16 时,只能通过 10.10.3.16:8088 访问resourcemanager的webui,使用 localhost:8088 无法访问。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/5467.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

服务器量化训练操作说明

Freespace服务器预训练主要步骤&#xff1a; 首先登录堡垒机&#xff0c;命令如下&#xff1a; ssh xxxrelay.baidu-int.com &#xff08;xxx为个人邮箱前缀&#xff09; 密码为个人邮箱密码 登录工作机&#xff0c;命令如下&#xff1a; ssh l3yq01-gpu-255-122-22-00.e…

如何在小程序首页隐藏商品分类

​因为在分类页面有显示分类&#xff0c;所以有的商家希望在首页就不显示分类啦。下面就介绍一下如何在首页隐藏商品分类。 在小程序管理员后台->页面设置->首页&#xff0c;显示商品分类设置为否。设置后&#xff0c;在小程序首页商品分类就不会显示啦。注意&#xff1a…

django rest_framework 框架动态设置序列化返回的字段

动态修改字段可以使Django rest框架API像graphQL端点一样&#xff0c;只从模型中检索所需的字段。 一旦序列化器被初始化&#xff0c;就可以使用.fields属性访问序列化器上设置的字段字典。访问和修改此属性允许您动态修改序列化器。 显式地修改fields参数可以帮助您做一些奇…

RDBMS - MySQL

1、为什么推荐MySQL&#xff1f; MySQL是一种广泛使用的关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;有几个主要原因导致它被广泛推荐和使用&#xff1a; 开源和免费&#xff1a; MySQL是开源软件&#xff0c;其核心代码可以免费获取和使用。这使得MySQL成…

chrome 网页 无法复制 插件

源码gitee chrome浏览器复制插件: 浏览器页面无法进行复制&#xff0c;该插件可以复制页面文本、代码 下载安装到浏览器&#xff0c;启用插件&#xff0c;可自己修改代码 可能和某些页面本身的复制功能有些冲突&#xff0c;解决中

【微信小程序】使用button组件来实现一个带有点击效果的按钮,按钮中间添加一个大的+号图标

在微信小程序中&#xff0c;你可以使用button组件来实现一个带有点击效果的按钮&#xff0c;并在按钮中间添加一个大的号图标。以下是一个示例代码&#xff1a; <button class"button"><text class"plus"></text> </button>.butt…

关于Integer类的一个有趣的面试问题

相信很多人觉得答案是false&#xff0c;false&#xff0c;因为Integer是一个类&#xff0c;把int类型的数据传给Integer类型的数据会创建一个对象&#xff0c;而a,b,c,d作为引用指向的是不同的地址&#xff0c;所以判断相同得到的结果应该是false 但这个想法就正中下怀了&#…

【Spring篇】初识 Spring IoC 与 DI

目录 一. Spring 是什么 ? 二. 何为 IoC ? 三. 如何理解 Spring IoC ? 四. IoC 与 DI 五 . 总结 一. Spring 是什么 ? 我们通常所说的 Spring 指的是 Spring Framework&#xff08;Spring 框架&#xff09;&#xff0c;它是⼀个开源框架&#xff0c;有着活跃⽽ 庞⼤…

探秘Spring中Bean的注解宝典:解读存取Bean的相关注解及用法

目录 存储Bean对象Controller(控制器存储)Service(服务存储)Repository(仓库存储)Component(组件存储)Configuration(配置存储)Bean重命名Bean 获取Bean对象属性注入构造方法注入Setter注入Resource(注入关键字) 存储Bean对象 将对象存储在 Spring 中&#xff0c;有两种注解类…

opencv实现替换证件照颜色

程序可以实现蓝色底片变为红色底片&#xff08;但有点小bug&#xff09; 修改自&#xff1a;opencv&#xff1a;HSV颜色模型_opencv hsv_君浪的博客-CSDN博客 相关文章&#xff1a;OpenCV Mat数据类型指针ptr的使用_cv::mat ptr_AoboSir的博客-CSDN博客 【OpenCV】HSV颜色识…

【JAVA】【源码学习】Cleaner/Reference

简介 上一篇讲DirectByteBuffer时提到Cleaner用于释放内存&#xff0c;而Cleaner又跟Reference有关&#xff0c;那本篇就学习一下相关知识。 Cleaner 类注释很清楚的说明了&#xff0c;这个是一种轻量级的finalize机制(相对于VM调用而言)&#xff0c;不管是内存还是其它资源…

20 成员变量和局部变量的区别

在一个对象类中&#xff0c;会存在成员变量和局部变量&#xff0c;他们有以下区别&#xff1a; 1.成员变量定义在方法外&#xff0c;局部变量定义在方法内&#xff1b; 2.只要new出来的对象存在&#xff0c;成员变量就存在&#xff0c;而局部变量在方法调用完之后就会消失&…

【Linux】信号保存信号处理

前言&#xff1a;对信号产生的思考 上一篇博客所说的信号产生&#xff0c;最终都要有OS来进行执行&#xff0c;为什么&#xff1f;OS是进程的管理者&#xff01;信号的处理是否是立即处理的&#xff1f;在合适的时候 -》那什么是合适的时候&#xff1f;信号如图不是被立即处理…

Windows安装RabbitMQ

Windows安装RabbitMQ 前言配置erlang环境下载配置环境变量验证 安装RabbitMQ验证 参考 前言 本文并不涉及到RabbitMQ的底层原理&#xff0c;或者别的一些特性说明&#xff0c;仅仅只是安装。 配置erlang环境 因为RabbitMQ是使用该语言开发的。 下载 下载地址&#xff1a; …

《qt quick核心编程》笔记一

1.基础HelloWorld代码 import QtQuick 2.15 import QtQuick.Window 2.15 import QtQuick.Controls 2.15Window {width: 400height: 300visible: truetitle: qsTr("Hello 1World")Rectangle {width: parent.widthheight: parent.heightcolor: "gray"Text {…

【数据挖掘】bytewax 与 ydata工具可实时了解您的数据

一、说明 在这篇博文中&#xff0c;我们将介绍如何将开源流式处理解决方案 bytewax 与 ydata 分析相结合并加以利用&#xff0c;以提高流式处理流的质量。 STream 处理支持在传输中和存储之前对数据进行实时分析&#xff0c;并且可以是有状态的&#xff0c;也可以是无状态的。 …

【网络编程】网络套接字udp通用服务器和客户端

1.预备知识 认识端口号 端口号(port)是传输层协议的内容&#xff1a; 端口号是一个2字节16位的整数(uint16)端口号用来标识主机上的一个进程IP地址port能够标识网络上的某一台主机和某一个进程一个端口号只能被一个进程占用 认识TCP协议 此处我们先对TCP(Transmission Con…

Spring MVC异步上传、跨服务器上传和文件下载

一、异步上传 之前的上传方案&#xff0c;在上传成功后都会跳转页面。而在实际开发中&#xff0c;很多情况下上传后不进行跳转&#xff0c;而是进行页面的局部刷新&#xff0c;比如&#xff1a;上传头像成功后将头像显示在网页中。这时候就需要使用异步文件上传。 1.1 JSP页面 …

JAVA泛型使用常用场景

在公共组件开发过程中&#xff0c;泛型使用常常是框架灵活性的一个重要手段。 总结了一下&#xff0c;我在开发过程中泛型使用和设计主要是这几个方面 对象容器&#xff0c;提供对象的存放和获取创建对象&#xff0c;提供对象的创建能力 对象容器 常见的比如我们的HashMap&a…

[golang gin框架] 41.Gin商城项目-微服务实战之后台Rbac微服务(用户登录 、Gorm数据库配置单独抽离、 Consul配置单独抽离)

上一节抽离了captcha验证码功能,集成了验证码微服务功能,这一节来看看后台Rbac功能,并抽离其中的用户登录,管理员管理,角色管理,权限管理等功能作为微服务来调用 一.引入 后台操作从登录到后台首页,然后其中的管理员管理,角色管理,权限管理等功能可以抽离出来作为 一个Rbac微服…