21.Hadoop在Windows环境下的下载安装配置超详细版

Hadoop在Windows环境下的下载安装配置超详细版

本文章所需下载安装软件:

链接:https://pan.baidu.com/s/1jIQyy0VHuPvQZ8-n_Zq0pg?pwd=1017

hadoop的Windows化安装步骤是非常麻烦的,如果有一步出错将导致得充头从来。

环境配置

前置依赖1:64位JDK&JAVA_HOME

超详细版下载安装步骤:传送门
Hadoop依赖的是64位的JDK,我们需要安装并配置64位JDK的JAVA_HOME。
01

02
03
04
05
06
配置JAVA_HOME:
07
08

前置依赖2:C++环境依赖

保证联网情况下运行
09

10

11
12
13
14
在安装 Visual c++ 2005这块会比较慢,耐心等待!!!
15

解压缩与环境变量

使用管理员模式打开解压软件:
16
将hadoop解压到
D:/java/bigData/目录中:

17
向环境变量中配置HADOOP_HOME:
18
向path中配置:
19

目录创建&赋予权限

在hadoop目录创建一个data目录,data目录下创建三个目录:
20
data目录必须赋予全部权限,否则会导致格式化成功,但启动namenode失败:
21

22
点击应用后,作用于所有子文件夹:
23

单节点配置

在启动之前,我们需要为Hadoop配置其单节点配置:
进入etc/hadoop目录
24
依次修改5个配置文件:
1.
25
2. core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:///D:/java/bigData/hadoop-2.10.2/data/tempdir</value> //这里是自己创建tempdir文件夹的位置 注意一定要是/而不是\ </property>
</configuration>

检查这里是否为%JAVA_HOME%
26
3. hdfs-site.xml


<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///D:/java/bigData/hadoop-2.10.2/data/namenode</value>//这里是自己创建namenode文件夹的位置 注意一定要是/而不是\</property><property><name>dfs.datanode.data.dir</name><value>file:///D:/java/bigData/hadoop-2.10.2/data/datanode</value>//这里是自己创建datanode文件夹的位置 注意一定要是/而不是\</property>
</configuration>
  1. mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--><!-- Put site-specific property overrides in this file. --><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
  1. yarn-site.xml
<?xml version="1.0"?>
<!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
-->
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

Winutils

打开winutils,找到hadoop-2.9.2,将bin目录所有内容覆盖到hadoop的bin目录,即可将Linux 版转化为Windows版

命令行能看到如下内容,说明hadoop环境都没问题
27

第一次格式化&启动

第一次执行hadoop,需要对namenode进行格式化。
需要通过管理员方式启动命令行,切换到sbin目录:
28

29

hdfs namenode -format

出现以下标志,说明第一次格式化成功,以后只要不修改配置,就无需格式化。

30
启动hadoop四大服务:

start-all.cmd

进入到sbin目录下,
31
32
只要四大服务没有报错,就是正常执行了:
33
具体如下:
34
35
36
37
访问浏览器,即可查看Hadoop服务器状态:

http://localhost:50070/

浏览器访问成功,说明搭建配置成功,可正常使用!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/108189.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

苏东坡在元丰五年

北宋神宗元丰二年&#xff08;1079年&#xff09;十二月二十八日&#xff0c;震惊朝野上下的“乌台诗案” 正式结案&#xff1a;“祠部员外郎、直史馆苏轼责授检校水部员外郎、黄州团练副使&#xff0c;本州安置、不得签书公事&#xff0c;令御史台差人转押前去。” 元丰三年&…

【排序】各类排序文章汇总

文章目录 C 库自带的排序 - qsort希尔排序 - shells sort C 库自带的排序 - qsort https://blog.csdn.net/yujianliam/article/details/122254586 希尔排序 - shell’s sort

外卖大数据案例

一、环境要求 HadoopHiveSparkHBase 开发环境。 二、数据描述 meituan_waimai_meishi.csv 是某外卖平台的部分外卖 SPU&#xff08;Standard Product Unit &#xff0c; 标准产品单元&#xff09;数据&#xff0c;包含了外卖平台某地区一时间的外卖信息。具体字段说明如下&am…

医院陪诊小程序:改善患者体验的技术创新

在数字化时代&#xff0c;医疗领域也迎来了革命性的变革。医院陪诊小程序作为这场变革的一部分&#xff0c;为患者和家属提供了前所未有的便捷和支持。这篇文章将探讨医院陪诊小程序的技术实现&#xff0c;以及如何使用代码来创建一个基本的医院陪诊小程序。 什么是医院陪诊小…

Archive Team: The Twitter Stream Grab

该集合不再更新&#xff0c;应被视为静态数据集。 从一般 Twitter 流中抓取的 JSON 的简单集合&#xff0c;用于研究、历史、测试和记忆的目的。这是“Spritzer”版本&#xff0c;最轻、最浅的 Twitter 抓取。不幸的是&#xff0c;我们目前无法访问流的洒水器或花园软管版本。 …

讲解嵌入式软件中超时机制设计

软件超时机制 1、背景 在嵌入式软件程序设计过程中中&#xff0c;经常会遇到超时&#xff08;或定时&#xff09;的处理情况&#xff0c;基本处理思想是在时间到的时候进行相关程序处理&#xff0c;下面介绍两种超时&#xff08;或定时&#xff09;的程序设计方案。 2、方案…

计算机网络 | 应用层

计算机网络 | 应用层 计算机网络 | 应用层应用层概述网络应用模型客户/服务器模型&#xff08;Client/Server&#xff0c;C/S&#xff09;P2P模型&#xff08;Peer-to-Peer&#xff09; 域名系统&#xff08;DNS&#xff09; 参考视频&#xff1a;王道计算机考研 计算机网络 参…

用shell批量修改文件名

场景一 给这些文件都加上.png后缀 #!/bin/bash for i in *; do mv "$i" "$i.png"; done 场景二 给某些文件按某种规则重命名,如按照1,2,3,4…命名,保留原格式 注: Shell中实现整数自增的几种方法示例,此处用于声明是数字类型的declare -i必须添加,否则…

浅谈工业企业能源管理软件的应用

安科瑞 崔丽洁 摘要&#xff1a;在工业企业中&#xff0c;能源是企业正常工作的根本保障&#xff0c;同时也是工业企业成本的主要构成部分。工业企业在相应的工作和使用的能源包括水、电、气等。在过去&#xff0c;企业对能源消耗的关注度比较低&#xff0c;更多的强调安全与保…

跨境电商系统商城源码定制开发的优势与需求

随着互联网的快速发展&#xff0c;跨境电商成为了全球贸易的重要方式之一。为了满足不同企业的需求&#xff0c;跨境电商系统商城源码定制开发应运而生。这种定制开发的方式可以帮助企业打造适合自己的电商系统&#xff0c;提供个性化的功能和服务&#xff0c;迎合不断变化的市…

香港空间在http重定向https出现400状态码

在互联网的发展过程中&#xff0c;随着网络安全意识的提高&#xff0c;越来越多的网站开始采用HTTPS协议来保护用户的数据安全。而为了确保所有的HTTP访问都能重定向到HTTPS站点&#xff0c;一些问题也随之而来。 当我们访问一个使用HTTP协议的网站时&#xff0c;很多浏览器默认…

Linux安装配置MySQL详细

推荐使用 RPM 包进行 Linux 平台下的安装&#xff0c;因为 RPM 包的安装和卸载都很方便&#xff0c;通过简单的命令就可以实现 步骤 1)&#xff1a;进入官方下载页面&#xff08;MySQL :: Download MySQL Community Server&#xff09;选择要下载的包。 步骤 2)&#xff1a;下…

CUDA学习笔记4——自定义设备函数

自定义设备函数 核函数&#xff1a;__global__修饰&#xff1b;在设备中执行&#xff1b;设备函数&#xff1a;__device__修饰&#xff1b;在设备中执行&#xff1b;只能被核函数或其他设备函数调用&#xff1b;主机函数&#xff1a;__host__修饰&#xff08;可省略&#xff0…

webrtc安全性 加密方式

媒体加密与通信安全 有各种不同的做法会让实时通信软件暴露在安全隐患中。其中需要特别值得注意的是在信息传输的过程中截取未加密的媒体或者数据。这可以发生在浏览器到浏览器之间或者浏览器到服务器之间的通信过程中&#xff0c;第三方可以窃取到所有发送的数据。但是在数据加…

Kotlin笔记(二):标准函数,静态方法,延迟初始化,密封类

1. 标准函数 Kotlin的标准函数指的是Standard.kt文件中定义的函数&#xff0c;任何Kotlin代码都可以自由地调用所有的标准函数. 前面用到的let函数就算一个标准函数&#xff0c;它的主要作用就是配合?.操作符来进行辅助判空处理. 1.1 with函数 with函数接收两个参数&#xff…

Empowering Low-Light Image Enhancer through Customized Learnable Priors 论文阅读笔记

中科大、西安交大、南开大学发表在ICCV2023的论文&#xff0c;作者里有李重仪老师和中科大的Jie Huang&#xff08;ECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作&#xff09;喔&#xff0c;看来可能是和Jie Huang同一个课题组的&#xff0c;而且同样代码是开源的&#xf…

快速排序、归并排序、基数排序

快速排序 算法思想 图 1-1 即确定一个基准值&#xff08;一般为数组中间位置的元素&#xff0c;或者自定义&#xff09;&#xff0c;让待排序数组中所有比基准值小的元素放到基准值左边的位置&#xff0c;所有比基准值大的元素放到基准值右边的位置&#xff0c;这样一趟排序下…

iOS——Manager封装网络请求

在之前的项目里&#xff0c;我们都是把网络请求写在viewController的viewDidLoad&#xff0c;而实际中使用的时候并不能这么简单&#xff0c;对于不同的需要&#xff0c;我们需要有不同的网络请求。所以我们可以用单例模式创建一个全局的Manager类&#xff0c;用实例Manager来执…

设计模式~备忘录模式(memento)-22

目录  (1)优点&#xff1a; (2)缺点&#xff1a; (3)使用场景&#xff1a; (4)注意事项&#xff1a; (5)应用实例&#xff1a; 代码 备忘录模式(memento) 备忘录模式&#xff08;Memento Pattern&#xff09;保存一个对象的某个状态&#xff0c;以便在适当的时候恢复对…

给课题组师弟师妹的开荒手册(终篇)

0 写在前面 终于&#xff0c;在结束收尾工作后敲下了开荒手册的终篇&#xff0c;自己三年研究生生活过的离理想中的完美还差很多&#xff0c;不过胜在完整&#xff0c;哈哈&#xff0c;小满胜万全嘛。希望以自己不太完美的经历为例&#xff0c;抛我的砖&#xff0c;引师弟师妹…