Windows环境部署Hadoop-3.3.2和Spark3.3.2

目录

一、Windows环境部署Hadoop-3.3.2

1.CMD管理员解压Hadoop压缩包

2.配置系统环境变量

3.下载hadoop winutils文件

4.修改D:\server\hadoop-3.3.2\etc\hadoop目录下的配置文件

(1)core-site.xml

(2)hdfs-site.xml

(3)mapred-site.xml

(4)yarn-site.xml

(5)workers

(6)hadoop-env.cmd

5.初始化hadoop

6.启动Hadoop

7.进入浏览器查看

二、Windows环境部署Spark-3.3.2

1.下载压缩包

2.解压后配置环境变量

3.进入spark-shell

4.进入浏览器


一、Windows环境部署Hadoop-3.3.2

1.CMD管理员解压Hadoop压缩包

不可以直接用winRAR,会报错

 

输入命令

start winrar x -y 压缩包 压缩路径例如,将xx.tar.gz解压到当前目录
cd xxx								// 进入到xx.tar.gz目录下
start winrar x -y xx.tar.gz ./		// 即可##############################################start winrar x -y hadoop-3.3.2.tar.gz ./

2.配置系统环境变量

PATH中添加

3.下载hadoop winutils文件

下载链接:https://github.com/cdarlint/winutils

选择hadoop3.2.2的bin包即可

下载并解压后,将winutils里面的bin目录中所有的文件复制到hadoop-3.3.2/bin目录下,注意不要直接替换整个bin目录,是把bin下的文件复制过去

4.修改D:\server\hadoop-3.3.2\etc\hadoop目录下的配置文件

(1)core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>/D:/server/hadoop-3.3.2/data/tmp</value> </property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
(2)hdfs-site.xml
<configuration><!-- 这个参数设置为1,因为是单机版hadoop --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/D:/server/hadoop-3.3.2/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/D:/server/hadoop-3.3.2/data/datanode</value></property>
</configuration>
(3)mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property>
</configuration>
(4)yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hahoop.mapred.ShuffleHandler</value></property>
</configuration>
(5)workers
localhost
(6)hadoop-env.cmd
# 大约在24行左右@rem The java implementation to use.  Required.
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_333
# 注意java目录要改成PROGRA~1的位置# 大约在在最后一行
set HADOOP_IDENT_STRING=%"USERNAME"%

5.初始化hadoop

管理员运行CMD

Microsoft Windows [版本 10.0.19045.4046]
(c) Microsoft Corporation。保留所有权利。C:\WINDOWS\system32>D:D:\>cd server\hadoop-3.3.2D:\server\hadoop-3.3.2>hadoop version
Hadoop 3.3.2
Source code repository git@github.com:apache/hadoop.git -r 0bcb014209e219273cb6fd4152df7df713cbac61
Compiled by chao on 2022-02-21T18:39Z
Compiled with protoc 3.7.1
From source with checksum 4b40fff8bb27201ba07b6fa5651217fb
This command was run using /D:/server/hadoop-3.3.2/share/hadoop/common/hadoop-common-3.3.2.jarD:\server\hadoop-3.3.2>hdfs namenode -format

6.启动Hadoop

D:\server\hadoop-3.3.2>cd sbinD:\server\hadoop-3.3.2\sbin>start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

会出现4个窗口

7.进入浏览器查看

localhost:9870

localhost:8088

二、Windows环境部署Spark-3.3.2

1.下载压缩包

Index of /dist/spark/spark-3.3.2

 

2.解压后配置环境变量

解压命令和上面的解压hadoop命令一样

配置环境变量:

PATH路径添加%SPARK_HOME%\bin

3.进入spark-shell

4.进入浏览器

localhost:4040

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/738171.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Oracle 层级查询(Hierarchical Queries)

如果一张表中的数据存在分级&#xff08;即数据间存在父子关系&#xff09;&#xff0c;利用普通SQL语句显示数据间的层级关系非常复杂&#xff0c;可能需要多次连接才能完整的展示出完成的层级关系&#xff0c;更困难的是你可能不知道数据到底有多少层。而利用Oracle的层级查询…

VSCode单机活动栏图标无法收起

如果活动栏为展开状态&#xff0c;单击活动栏图标可以正常收起&#xff0c;但无法通过再次单击打开&#xff0c;解决方案如下&#xff1a; 设置->工作台->外观&#xff1a; Activity Bar:Icon Click Behavior: 切换为默认的toggle

1. 使用MyBatis的ResultHandler实现流式查询,避免大数据量一次加载

文章目录 Mybatis的ResultHandler1. 待解决问题2. ResultHandler简介3. 实现流式查询3.1. 创建一个实现ResultHandler接口的类&#xff0c;实现handleResult方法。在该方法中&#xff0c;我们可以处理每一条查询结果。3.2. 在Mapper接口中&#xff0c;使用select方法并指定Resu…

嵌入式面经-TCP/UDP

TCP编程是什么 指使用TCP&#xff08;传输控制协议&#xff09;进行网络通信的编程方式&#xff0c;TCP是一种可靠的、面向连接的协议 TCP和UDP的区别是什么 TCP是面向连接的&#xff0c;UDP是面向无连接的 UDP程序结构简单 TCP是面向字节流的&#xff0c;UDP是基于数据包的…

案例分析篇03:一篇文章搞定软考设计模式考点(2024年软考高级系统架构设计师冲刺知识点总结系列文章)

专栏系列文章推荐: 2024高级系统架构设计师备考资料(高频考点&真题&经验)https://blog.csdn.net/seeker1994/category_12601310.html 【历年案例分析真题考点汇总】与【专栏文章案例分析高频考点目录】(2024年软考高级系统架构设计师冲刺知识点总结-案例分析篇-…

垃圾收集器

垃圾收集器 文章目录 垃圾收集器垃圾收集算法分代收集理论标记复制算法(eden区域算法)标记清除算法(老年代算法)标记整理算法垃圾收集器种类垃圾收集器之Serial&#xff08;-XX:useSerialGC -XX: useSerialOldGC&#xff09;垃圾收集器之Parallel Scavenge(-XX:useParallelGC -…

51单片机基础篇系列-点亮一个LED发光管基础知识搭建

&#x1f308;个人主页: 会编辑的果子君 &#x1f4ab;个人格言:“成为自己未来的主人~” LED发光二极管 它是半导体二极管的一种&#xff0c;可以把电能转化成光能&#xff0c;常简写为LED&#xff0c;发光二极管与普通二极管一样是由一个PN结组成&#xff0c;也具有单向…

MR混合现实情景实训教学系统模拟高空作业情景

MR混合现实情景实训教学系统&#xff0c;通过精确的三维建模和高动态范围渲染&#xff0c;将真实的高空环境生动地呈现在课堂上。学生可以在虚拟环境中进行模拟操作&#xff0c;如攀爬绳索、悬挂作业等&#xff0c;从而更好地理解和掌握高空作业的技巧和安全规范。同时&#xf…

Android中单例模式正确实现方式

1. 饿汉模式 -线程安全 在类加载时进行实例化&#xff0c; 线程安全&#xff0c;但会导致类加载时间变长。饿汉模式如果使用过多&#xff0c;可能会对App启动耗时带来不利影响。 2. 懒汉模式 -线程不安全 没有加锁&#xff0c; 因此线程不安全。 3. 两次判空 加同步锁 -线程不…

小程序API能力集成指南——场景API汇总

条件API ty.device.createCondition 创建条件 需引入DeviceKit&#xff0c;且在>2.5.4版本才可使用 参数 Object object 属性类型默认值必填说明typestring是条件类型conditionstring否条件内容indexnumber否索引completefunction否接口调用结束的回调函数&#xff08;调…

基于PHP构建的HTML5点餐系统的设计13.91

随着互联网时代的发展&#xff0c;人们的生活方式正在发生改变。传统的餐饮行业也正在发生变革。人们不再满足过去的点餐方式&#xff0c;需要更好的体验。本课题旨在结合点餐系统的技术优势&#xff0c;设计一个能够方便顾客与商家&#xff0c;并且节约人力成本以及可以很好地…

Rust 注释用法

一、Rust 注释的一般用法 Rust 的注释功能是一种非常有用的工具&#xff0c;可以帮助你和其他开发者更好地理解你的代码。合理使用注释可以提高代码的可读性和可维护性。以下是一些关于如何科学合理地使用 Rust 的注释功能的建议&#xff1a; 使用单行注释&#xff1a; Rust …

Common 7B Language Models Already Possess Strong Math Capabilities

Common 7B Language Models Already Possess Strong Math Capabilities 相关链接&#xff1a;arxiv 关键字&#xff1a;Language Models、Math Capabilities、LLaMA-2 7B、Synthetic Data、SFT Data Scaling 摘要 以前人们认为&#xff0c;通用语言模型展现出的数学能力只有在…

HTML5:七天学会基础动画网页11

CSS3动画 CSS3过渡的基本用法: CSS3过渡是元素从一种样式逐渐改变为另一种样式的效果。 过渡属性-transition 值与说明 transition-property 必需&#xff0c;指定CSS属性的name&#xff0c;transition效果即哪个属性发生过渡。 transition-duration 必需&#xff0c;t…

深入浅出计算机网络 day.2 概论⑥ 计算机网络体系结构

上帝疯狂杜撰世界悲情的命题 将凉薄和荒芜尽写 —— 24.3.12 内容概述 1.常见的三种计算机网络体系结构 2.计算机网路体系结构分层的必要性 3.计算机网络体系结构分层思想举例 4.计算机网络体系结构中的专用术语 一、常见的三种计算机网络体系结构 OSI参考模型 TCP/IP参…

剑指offer面试题33 把数组排成最小的数

考察点 大数&#xff0c;快排知识点 题目 分析 本题目给一个整型数组&#xff0c;要求他能排出来的最小的数字。这道题目我们大可以通过排列的方式枚举出所有的数字然后求一个最小的&#xff0c;只不过这种方式时间复杂度非常高。接下来我们通过举例的方式观察我们的思维和数…

linux shell函数

linux shell脚本默认一般是从头到尾执行&#xff0c;但是有时我们会发现有些脚本段间互相重复&#xff0c;这时我们会考虑是否有一种方法允许将一组命令集或语句形成一个可用快&#xff0c;以方便“引用”&#xff0c;这就是我们即将介绍的linux shell函数 1.function格式 fu…

深入理解Java中的线程安全List:CopyOnWriteArrayList原理和应用

码到三十五 &#xff1a; 个人主页 心中有诗画&#xff0c;指尖舞代码&#xff0c;目光览世界&#xff0c;步履越千山&#xff0c;人间尽值得 ! 在Java并发编程中&#xff0c;线程安全的数据结构是至关重要的。其中&#xff0c;CopyOnWriteArrayList是一个线程安全的ArrayLis…

HBase非关系型数据库

HBase非关系型数据库 1 什么是HBase2 HBase的特点3 什么时候需要HBase4 HBase的数据模型5 HBase架构5.1 架构5.2 HBase如何列式储存 6 如何正确设计RowKey 1 什么是HBase HBase – Hadoop Database&#xff0c;是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据…

【More Effective C++】条款35:将非尾端类设计为抽象类

考虑以下继承场景&#xff1a; 通过指针的赋值会出现部分赋值的情况&#xff1a;只修改了Animal的数据成员&#xff0c;Lizard数据没有被修改 class Animal { public:Animal(int data):data(data) {}Animal& operator(const Animal& rhs) {if (&rhs this) retur…