Hadoop快速搭建指南

# Hadoop快速搭建指南## 前言
作为一个处理大数据的工具,Hadoop已经成为许多企业进行数据处理和分析的首选。但如果你第一次接触它,设置和配置可能看起来有点棘手。因此,我将为你提供一个详细的指南,让你可以快速搭建并运行Hadoop集群。## 环境
- 操作系统:Ubuntu 22.04 LTS
- Hadoop版本:3.3.6
- Java版本:OpenJDK 11## 准备工作
在开始之前,你需要确保系统上已经安装了Java 11。你可以使用以下命令进行安装:
```bash
sudo apt update
sudo apt install -y openjdk-11-jdk

安装完成后,确认Java版本:

java -version

输出应该类似于:

openjdk version "11.0.11" 2021-04-20
OpenJDK Runtime Environment (build 11.0.11+9-Ubuntu-0ubuntu2.20.04)
OpenJDK 64-Bit Server VM (build 11.0.11+9-Ubuntu-0ubuntu2.20.04, mixed mode)

下载并安装Hadoop

接下来,让我们下载并安装Hadoop。

步骤1:下载Hadoop

你可以直接从Apache Hadoop官网下载最新版:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

步骤2:解压缩并移动Hadoop

解压缩下载的文件并将其移动到/usr/local目录:

tar -xzvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop

步骤3:配置环境变量

为了方便使用Hadoop命令行工具,编辑~/.bashrc并添加以下行:

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

然后运行以下命令使更改生效:

source ~/.bashrc

步骤4:配置Hadoop

为了让Hadoop正常工作,需要进行一些配置。

编辑hadoop-env.sh

/usr/local/hadoop/etc/hadoop目录中找到hadoop-env.sh文件,并确保以下行指向正确的Java安装路径:

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
配置core-site.xml

创建和编辑/usr/local/hadoop/etc/hadoop/core-site.xml文件,添加以下内容:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
配置hdfs-site.xml

编辑/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件,添加以下内容:

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
配置mapred-site.xml

复制mapred-site.xml.templatemapred-site.xml并编辑:

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

添加以下内容:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
配置yarn-site.xml

编辑/usr/local/hadoop/etc/hadoop/yarn-site.xml文件,添加以下内容:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

格式化NameNode

在启动Hadoop之前,需要格式化Hadoop文件系统。运行以下命令:

hdfs namenode -format

启动Hadoop

Hadoop配置完成后,可以启动相关服务。

启动HDFS

start-dfs.sh

启动YARN

start-yarn.sh

验证Hadoop是否运行

可以通过访问以下URL来验证Hadoop是否成功运行:

  • HDFS NameNodehttp://localhost:9870/
  • YARN ResourceManagerhttp://localhost:8088/

如果看到相关的仪表盘,则说明Hadoop成功启动。

简单的WordCount示例

为了验证Hadoop集群是否可以正常工作,可以使用一个简单的WordCount示例。

创建输入文件夹并添加示例数据

hdfs dfs -mkdir -p /user/hadoop/input
echo "Hello Hadoop Hello World" > input.txt
hdfs dfs -put input.txt /user/hadoop/input

运行WordCount示例

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/hadoop/input /user/hadoop/output

查看输出结果

hdfs dfs -cat /user/hadoop/output/part-r-00000

输出结果应类似于:

Hello 2
Hadoop 1
World 1

常见问题及注意事项

  • 无法连接到HDFS NameNode:确保core-site.xmlfs.defaultFS的地址正确。
  • Java版本兼容问题:确保JAVA_HOME路径和hadoop-env.sh中的Java路径一致。
  • 端口冲突问题:如果出现端口被占用的情况,请检查是否有其他服务占用了Hadoop的默认端口。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/8057.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

328_C++_HTTP_HTTP协议传输data数据,为什么要进行base64编解码操作?

http传输data数据的时候&#xff0c;为什么必须进行base64转码后才能有效发送&#xff0c;接收方也必须base64转码后才能有效接受&#xff1f; HTTP  HTTP传输数据时&#xff0c;使用Base64编码并不是必须的&#xff0c;但它确实在某些情况下非常有用。以下是为什么在某些情况…

CSS引用

CSS定义 层叠样式表&#xff1a;&#xff08;Cascading Style Sheets,缩写为css&#xff09;,是一种样式表语言&#xff0c;用来描述HTML文档的呈现&#xff08;美化内容&#xff09; 书写位置&#xff1a;title标签下方添加style双标签&#xff0c;style标签里写入CSS代码 在s…

《构建高效的财务管理系统:设计与实现》

在当今数字化时代&#xff0c;企业财务管理系统的设计与实现至关重要。一个高效的财务管理系统不仅能够提高企业的运营效率&#xff0c;还能够增强企业的竞争力&#xff0c;为企业的发展提供有力支持。本文将探讨财务管理系统的设计与实现&#xff0c;为企业打造一套符合自身需…

电脑(爱好者) :基础知识1 了解你的电脑

读懂cpu 您想了解关于您的电脑的信息吗&#xff1f;CPuz是一款常用的系统信息工具&#xff0c;可以提供关于CPU、主板、内存等硬件信息的详细情况。您可以下载并运行该软件&#xff0c;然后查看您的电脑硬件配置信息。 图片来源于网络 CPU-Z 简介 CPU-Z 是一款功能强大且易于使…

设计模式——工厂模式(Factory)

工厂模式&#xff08;Factory Pattern&#xff09;是一种常用的设计模式&#xff0c;它提供了一种封装创建对象过程的方法。通过工厂方法或工厂类&#xff0c;你可以将对象的创建与使用分离&#xff0c;使得代码更加灵活和可维护。工厂模式主要分为三种类型&#xff1a;简单工厂…

Python-VBA函数之旅-range函数

目录 一、range函数的常见应用场景 二、range函数使用注意事项 三、如何用好range函数&#xff1f; 1、range函数&#xff1a; 1-1、Python&#xff1a; 1-2、VBA&#xff1a; 2、推荐阅读&#xff1a; 个人主页&#xff1a;https://blog.csdn.net/ygb_1024?spm1010.2…

Android OpenMAX(三)高通OMX组件实现基础

上一节了解了OMX组件实现的基础内容,这一节我们以高通OMX实现为例,简单看看如何实现一个OMX组件。本节代码参考自: omx_core_cmp.cpp qc_omx_component.h omx_vdec.h omx_vdec.cpp Tips:本篇文章旨在简单了解如何实现一个OMX组件,细节的内容不会仔细解读,代码阅读跳跃幅度…

JavaSE——异常(1/2)-认识异常(介绍,异常的体系,了解如何解决异常)、自定义异常(自定义异常的种类,实例演示)

目录 认识异常 介绍 异常的体系 了解如何解决异常 自定义异常 自定义异常的种类 实例演示 认识异常 介绍 什么是异常&#xff1f; 异常就是代表程序出现的问题。 比如&#xff1a; int[] arr {10,20,30}; System.out.println(arr[3]);System.out.println(10 / 0); …

VS调试技巧

1. 什么是bug bug本意是“昆⾍”或“⾍⼦”&#xff0c;现在⼀般是指在电脑系统或程序中&#xff0c;隐藏着的⼀些未被发现的缺陷或 问题&#xff0c;简称程序漏洞。 “Bug” 的创始⼈格蕾丝赫柏&#xff08;Grace Murray Hopper&#xff09;&#xff0c;她是⼀位为美国海军⼯…

【痕迹】QQ+微信朋友圈和聊天记录分析工具1.0.3

【痕迹】QQ微信朋友圈和聊天记录分析工具1.0.3 &#xff08;1&#xff09;纯Python语言实现&#xff0c;使用Flask后端&#xff0c;本地分析&#xff0c;不上传个人数据。 &#xff08;2&#xff09;数据可视化分析QQ、微信聊天记录&#xff0c;提取某一天的聊天记录与大模型…

精准读取CSV/Excel数据 - 灵活指定行列范围的 Python 解决方案

文章目录 源代码项目简介导入相关库__file_exists 装饰器函数的签名和注释主要功能的实现运行演示读取 Excel 文件 源代码 https://github.com/ma0513207162/PyPrecip。pyprecip\reading\read_api.py 路径下。 项目简介 PyPrecip 是一个专注于气候数据处理的 Python 库&#xf…

Python内置函数memoryview()详解

Python的memoryview()函数是一个内置函数&#xff0c;它允许你在不复制其内容的情况下操作同一个数组的不同切片。这可以提高处理大型数据集或数组时的性能。 函数定义 memoryview()函数的基本语法如下&#xff1a; memoryview(obj)obj&#xff1a;一个支持缓冲区接口的对象…

Spring 当中的Bean 作用域

Spring 当中的Bean 作用域 文章目录 Spring 当中的Bean 作用域每博一文案1. Spring6 当中的 Bean的作用域1.2 singleton 默认1.3 prototype1.4 Spring 中的 bean 标签当中scope 属性其他的值说明1.5 自定义作用域&#xff0c;一个线程一个 Bean 2. 总结:3. 最后&#xff1a; 每…

金融业办公信息系统基本要求

金融业办公信息系统基本要求 1 范围 本文件规定了金融行业办公信息系统基本要求&#xff0c;主要包含总体设计原则、功能类要求和非功能类要 求。 本文件适用于指导金融机构办公信息系统的规划、建设、运行和管理。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而…

蓝桥杯练习系统(算法训练)ALGO-947 贫穷的城市

资源限制 内存限制&#xff1a;256.0MB C/C时间限制&#xff1a;1.0s Java时间限制&#xff1a;3.0s Python时间限制&#xff1a;5.0s 问题描述 某城市有n个小镇&#xff0c;编号是1~n。由于贫穷和缺乏城市规划的人才&#xff0c;每个小镇有且仅有一段单向的公路通往别…

【数学】三角函数相关

目录 一、三角函数 二、诱导公式 1.介绍 2.示例 三、其它重要公式 ID&#xff1a;HL_5461 一、三角函数 对于如图所示三角形&#xff1a; 三角函数公式表达其它关系正弦函数/余弦函数/正切函数余切函数正割函数余割函数 二、诱导公式 1.介绍 奇变偶不变&#xff0c;符…

vue3 element-plus-admin中引入swiper使用

第一步&#xff1a;安装swiper pnpm install swiper第二步&#xff1a;在需要使用的页面上引入swiper组件 // 引入swiper组件import { Swiper, SwiperSlide } from swiper/vue;// 引入swiper样式import swiper/css;注意&#xff1a;如果是js需要在页面中注册组件 js示例 exp…

微信小程序 手机号授权登录

手机号授权登录 效果展示 这里面用的是 uni-app 官方的登录 他支持多端发布 https://zh.uniapp.dcloud.io/api/plugins/login.html#loginhttps://zh.uniapp.dcloud.io/api/plugins/login.html#login 下面是代码 <template><!-- 授权按钮 --><button v-if&quo…

java 推箱子

说明&#xff1a;刚入门的时候面试&#xff0c;有个老师傅说&#xff0c;你们喜欢打游戏&#xff0c;让你们写个简单的推箱子&#xff0c;能写出来就过 我说这多简单 结果说要用枚举类&#xff0c;数组来写 写得一踏糊涂&#xff0c;最后没通过 如今工作两年了&#xff0c;…

面试分享——Elasticsearch面试题

目录 1.Elasticsearch数据建模相关问题 1.1问题描述 1.2问题回答 2.Elasticsearch 查询和分析相关问题 2.1问题描述 2.2问题回答 3.Elasticsearch 集成与开发问题 3.1问题描述 3.2问题回答 4.Elasticsearch DSL 相关应用选型等问题 4.1问题描述 4.2问题回答 4.2.1…