Hadoop安装和测试

一,下载

地址:Index of /dist/hadoop/common 

选择3.3.6版本(最新版本之前的一个版本,一般比较稳定)

二,解压

解压到/data/module目录,这里随便自定义就好。

tar -zxvf hadoop-3.3.6.tar.gz -C /data/module/

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

三,配置环境变量

vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/data/module/hadoop-3.3.6
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存退出,然后source一下,重新加载一下系统环境变量配置

source /etc/profile

注意:如果没有配置JAVA_HOME的话,也需要配置一下

下面是找到系统jdk安装的步骤

whereis java找系统已经安装的java

进到/usr/bin 使用ll命令,找到java命令真实的引用

进到/etc/alternatives目录,再次ll找到真实引用

找到java真实安装路径后,配置到系统环境变量文件中

vi /etc/profile

保存退出,记得也需要source一下/etc/profile,使系统重新加载一下配置文件

source /etc/profile

测试一下hadoop是否安装成功

hadoop version

有如下图的输出,就是安装成功了

四,测试官方文档案例

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1,在/data目录创建test目录放测试文件和输出文件

2, 进到test目录,vi word.txt, 输入

hello word
peace
love
hello shenzhen
world peace
love shenzhen
love china

3, 执行测试程序

hadoop命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

hadoop jar /data/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /data/test/word.txt wcoutput

有如下图的输出,表示运行成功了

4,查看运行结果

记得点赞关注哟!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/28942.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从《2024年人工智能指数报告》 看AI的最新发展趋势

本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点 《2024年人工智能指数报告》是由斯坦福大学的“以人为本”人工智能研究所(Stanford HAI)发布的,具体发布时间…

百货商场:打造品质生活

走进我们的百货商场,仿佛置身于一个五彩斑斓的梦幻世界。百货,不仅仅是购物的场所,更是一种品质生活的体验。 在这里,您可以找到最适合自己的商品选择。从家居用品到时尚服饰,从美食佳肴到美妆护肤,每一样商…

深入探索Java开发世界:Java基础~类型分析大揭秘

文章目录 一、基本数据类型二、封装类型三、类型转换四、集合类型五、并发类型 Java基础知识,类型知识点梳理~ 一、基本数据类型 Java的基本数据类型是语言的基础,它们直接存储在栈内存中,具有固定的大小和不变的行为。 八种基本数据类型的具…

Vue46-render函数

一、非单文件和单文件的main.js对比 1-1、非单文件的main.js 1-2、 单文件的main.js 将单文件的main.js中的render函数变成非单文件的main.js中的template形式,报如下错误: 解决方式: 二、解决方式 2-1、引入完成版的vue.js 精简版的vue&a…

TEA 加密的 Java 实现

import java.nio.ByteBuffer; import java.nio.ByteOrder;public class TeaUtils {private static final int DELTA 0x9E3779B9;private static final int ROUND 32;private static final String KEY "password";/*** 加密字符串,使用 TEA 加密算法*/p…

推广结算统计,Xinstall助您轻松掌握每一分投入与回报!

在移动互联网时代,App的推广与运营离不开精准的数据支持和高效的结算系统。然而,面对众多的推广渠道和复杂的结算流程,如何确保每一分投入都能得到合理的回报,成为了众多企业和开发者关注的焦点。今天,我们就来聊聊如何…

半监督学习

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 介绍一、Self Training自训练1、介绍2、代码示例3、参数解释 二、Label Propagation(标签传播)1、介绍2、代码示例3、参数解释 三、Label Spread…

深入剖析Java线程池之“newWorkStealingPool“

1. 概述 newWorkStealingPool 是Java 8中引入的一个新型线程池,它基于ForkJoinPool实现,并采用了“工作窃取”(Work-Stealing)算法。这种线程池特别适用于可并行化且计算密集型的任务,能够充分利用多核CPU资源,提高任务执行效率。 2. 工作窃取算法(Work-Stealing Algor…

618狂欢日,美味产品齐上阵,超值优惠等你享

这个充满激情与活力的6月,我们带着满满的诚意与惊喜,为广大美食爱好者们开启一场独特的618狂欢之旅。 当我们提及甘肃,那丰富多样的甘肃传统美食便是不得不说的瑰宝。烤馍,油饼,锅盔、擀面皮、浆水等每一种美食都…

java算法:插入排序

这里写目录标题 基本使用优缺点尝试优化二分查找插入减少交换操作 基本使用 插入排序是一种简单直观的排序算法,它的工作原理是将待排序的数组分为已排序和未排序两部分,逐步将未排序部分的元素插入到已排序部分中的正确位置,直到整个数组有…

ffmpeg的部署踩坑及简单使用方式

ffmpeg的使用方式有以下几种: 使用原生安装包 直接在ffmpeg官网上下载安装该软件,加入到环境变量中就可以使用了 优点:简单,灵活,代码中也不用添加其他第三方的包 缺点:需要手动安装ffmpeg,这点比较麻烦 部署-windows 在windows环境下,有时就算加入到了环境变量,…

你知道花洒其实起源于中国古代吗?

花洒作为日常生活中不可或缺的一部分,其发展历程不仅见证了人类文明的进步,也反映了生活美学的演变。从最初的简单构想到现代的智能化设计,花洒的变迁历程是一部生动的人类生活史。 早在隋朝时期,我们的祖先就已经有了花洒的初步构…

【Go语言】Go语言中的接口类型

Go语言中的接口类型 接口(interface)定义了一个对象的行为规范,只定义规范不实现,由具体的对象来实现规范的细节。 1.接口类型 1.1 接口类型的说明 Go语言中 接口(interface) 是一种抽象的类型。 接口…

《纪元 1800》好玩吗? 苹果电脑能玩《纪元 1800》吗?

《纪元1800》是一款不错的策略游戏,这款游戏因为画面和玩法独特深受玩家们的喜爱。下面我们来看看《纪元 1800》好玩吗,苹果电脑能玩《纪元 1800》吗的相关内容。 一、《纪元1800》好玩吗 《纪元1800》是一款备受瞩目的策略游戏。下面让我们来看看这款…

初探工厂抽象模式

设计模式的-工厂模式 1.定义一个约定的规则抽象类 class ETFactory {createStore() {throw new Error(抽象方法,不允许直接调用,需重写)}createUser(){throw new Error(抽象方法,不允许直接调用,需重写)} } 案例:…

eNSP学习——OSPF在帧中继网络中的配置

目录 主要命令 原理概述 实验目的 实验场景 实验拓扑 实验编址 实验步骤 1、基本配置 2、在帧中继上搭建OSPF网络 主要命令 //检查帧中继的虚电路状态 display fr pvc-info//检查帧中继的映射表 display fr map-info//手工指定OSPF邻居,采用单播方式发送报文 [R1]os…

数据溢出导致的pthread_cond_timedwait工作异常

struct timespec ts; int rc; clock_gettime(CLOCK_MONOTONIC, &ts); ts.tv_nsec 300000000;//tv_nsec的最大值是999999999,这里直接加300毫秒,大概率会溢出,如果溢出应该把ts.tv_sec加1。 pthread_mutex_lock(&mutex_data_); …

Android Compose 文本输入框TextField使用详解

一、 TextField介绍 TextField 允许用户输入和修改文本,也就是文本输入框。 TextField 分为三种: TextField是默认样式OutlinedTextField 是轮廓样式版本BasicTextField 允许用户通过硬件或软件键盘修改文本,但不提供提示或占位符等装饰&a…

youlai-boot项目的学习—本地数据库安装与配置

数据库脚本 在项目代码的路径下,有两个版本的mysql数据库脚本,使用对应的脚本就安装对应的数据库版本,本文件选择了5 数据库安装 这里在iterm2下使用homebrew安装mysql5 brew install mysql5.7注:记得配置端终下的科学上网&a…

京准电钟 | NTP网络时间同步协议原理及其应用介绍

京准电钟 | NTP网络时间同步协议原理及其应用介绍 京准电钟 | NTP网络时间同步协议原理及其应用介绍 摘 要:首先对计算机网络时间同步相关技术进行了介绍,然后阐述了时间同步技术在现代计算机网络中的 应用与发展,最后指出时间同步网络在下一代网络(NGN) 中的重要地位。 随着…