Hadoop安装和测试

一,下载

地址:Index of /dist/hadoop/common 

选择3.3.6版本(最新版本之前的一个版本,一般比较稳定)

二,解压

解压到/data/module目录,这里随便自定义就好。

tar -zxvf hadoop-3.3.6.tar.gz -C /data/module/

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

三,配置环境变量

vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/data/module/hadoop-3.3.6
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存退出,然后source一下,重新加载一下系统环境变量配置

source /etc/profile

注意:如果没有配置JAVA_HOME的话,也需要配置一下

下面是找到系统jdk安装的步骤

whereis java找系统已经安装的java

进到/usr/bin 使用ll命令,找到java命令真实的引用

进到/etc/alternatives目录,再次ll找到真实引用

找到java真实安装路径后,配置到系统环境变量文件中

vi /etc/profile

保存退出,记得也需要source一下/etc/profile,使系统重新加载一下配置文件

source /etc/profile

测试一下hadoop是否安装成功

hadoop version

有如下图的输出,就是安装成功了

四,测试官方文档案例

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1,在/data目录创建test目录放测试文件和输出文件

2, 进到test目录,vi word.txt, 输入

hello word
peace
love
hello shenzhen
world peace
love shenzhen
love china

3, 执行测试程序

hadoop命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

hadoop jar /data/module/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /data/test/word.txt wcoutput

有如下图的输出,表示运行成功了

4,查看运行结果

记得点赞关注哟!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/28942.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从《2024年人工智能指数报告》 看AI的最新发展趋势

本文首发于公众号“AntDream”,欢迎微信搜索“AntDream”或扫描文章底部二维码关注,和我一起每天进步一点点 《2024年人工智能指数报告》是由斯坦福大学的“以人为本”人工智能研究所(Stanford HAI)发布的,具体发布时间…

百货商场:打造品质生活

走进我们的百货商场,仿佛置身于一个五彩斑斓的梦幻世界。百货,不仅仅是购物的场所,更是一种品质生活的体验。 在这里,您可以找到最适合自己的商品选择。从家居用品到时尚服饰,从美食佳肴到美妆护肤,每一样商…

深入探索Java开发世界:Java基础~类型分析大揭秘

文章目录 一、基本数据类型二、封装类型三、类型转换四、集合类型五、并发类型 Java基础知识,类型知识点梳理~ 一、基本数据类型 Java的基本数据类型是语言的基础,它们直接存储在栈内存中,具有固定的大小和不变的行为。 八种基本数据类型的具…

Vue46-render函数

一、非单文件和单文件的main.js对比 1-1、非单文件的main.js 1-2、 单文件的main.js 将单文件的main.js中的render函数变成非单文件的main.js中的template形式,报如下错误: 解决方式: 二、解决方式 2-1、引入完成版的vue.js 精简版的vue&a…

推广结算统计,Xinstall助您轻松掌握每一分投入与回报!

在移动互联网时代,App的推广与运营离不开精准的数据支持和高效的结算系统。然而,面对众多的推广渠道和复杂的结算流程,如何确保每一分投入都能得到合理的回报,成为了众多企业和开发者关注的焦点。今天,我们就来聊聊如何…

半监督学习

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 介绍一、Self Training自训练1、介绍2、代码示例3、参数解释 二、Label Propagation(标签传播)1、介绍2、代码示例3、参数解释 三、Label Spread…

618狂欢日,美味产品齐上阵,超值优惠等你享

这个充满激情与活力的6月,我们带着满满的诚意与惊喜,为广大美食爱好者们开启一场独特的618狂欢之旅。 当我们提及甘肃,那丰富多样的甘肃传统美食便是不得不说的瑰宝。烤馍,油饼,锅盔、擀面皮、浆水等每一种美食都…

你知道花洒其实起源于中国古代吗?

花洒作为日常生活中不可或缺的一部分,其发展历程不仅见证了人类文明的进步,也反映了生活美学的演变。从最初的简单构想到现代的智能化设计,花洒的变迁历程是一部生动的人类生活史。 早在隋朝时期,我们的祖先就已经有了花洒的初步构…

《纪元 1800》好玩吗? 苹果电脑能玩《纪元 1800》吗?

《纪元1800》是一款不错的策略游戏,这款游戏因为画面和玩法独特深受玩家们的喜爱。下面我们来看看《纪元 1800》好玩吗,苹果电脑能玩《纪元 1800》吗的相关内容。 一、《纪元1800》好玩吗 《纪元1800》是一款备受瞩目的策略游戏。下面让我们来看看这款…

初探工厂抽象模式

设计模式的-工厂模式 1.定义一个约定的规则抽象类 class ETFactory {createStore() {throw new Error(抽象方法,不允许直接调用,需重写)}createUser(){throw new Error(抽象方法,不允许直接调用,需重写)} } 案例:…

eNSP学习——OSPF在帧中继网络中的配置

目录 主要命令 原理概述 实验目的 实验场景 实验拓扑 实验编址 实验步骤 1、基本配置 2、在帧中继上搭建OSPF网络 主要命令 //检查帧中继的虚电路状态 display fr pvc-info//检查帧中继的映射表 display fr map-info//手工指定OSPF邻居,采用单播方式发送报文 [R1]os…

Android Compose 文本输入框TextField使用详解

一、 TextField介绍 TextField 允许用户输入和修改文本,也就是文本输入框。 TextField 分为三种: TextField是默认样式OutlinedTextField 是轮廓样式版本BasicTextField 允许用户通过硬件或软件键盘修改文本,但不提供提示或占位符等装饰&a…

youlai-boot项目的学习—本地数据库安装与配置

数据库脚本 在项目代码的路径下,有两个版本的mysql数据库脚本,使用对应的脚本就安装对应的数据库版本,本文件选择了5 数据库安装 这里在iterm2下使用homebrew安装mysql5 brew install mysql5.7注:记得配置端终下的科学上网&a…

实时工业数据采集分析系统高效处理产线信息!

对于大部分制造业企业,测量仪器的自动数据采集一直是个令人烦恼的事情,即使仪器已经具有RS232/485等接口,但仍然在使用一边测量,一边手工记录到纸张,再输入到PC中处理的方式,不但工作繁重,同时也…

try catch return语句情况分析

try catch return语句情况分析 try catch无finally语句写在最后 try catch try catch语法是一种对应于异常处理的语句,其中try语句内用于编写有异常存在可能的语句,而catch语句内用于编写捕获到异常的类型以及对异常对象的处理方法,本文主要…

鸿蒙: 基础认证

先贴鸿蒙认证 官网10个类别总结如下 https://developer.huawei.com/consumer/cn/training/dev-cert-detail/101666948302721398 10节课学习完考试 考试 90分合格 3次机会 1个小时 不能切屏 运行hello world hvigorfile.ts是工程级编译构建任务脚本 build-profile.json5是工程…

IPA清洁棉签 IPA清洁擦拭棒:打印机头、电子设备等清洁的有力工具!

在数字化快速发展的今天,打印机头、电子设备等已经成为了我们日常生活和工作中不可或缺的一部分。然而,随着使用时间的增长,这些设备往往会因为灰尘、油渍等污染物的积累而影响其性能。此时,一款高效、便捷的清洁工具就显得尤为重…

数据预处理之基于聚类的TOD异常值检测#matlab

1.基于聚类的异常值检测方法 物以类聚——相似的对象聚合在一起,基于聚类的异常点检测方法有两个共同特点: (1)先采用特殊的聚类算法处理输入数据而得到聚类,再在聚类的基础上来检测异常。 (2)只需要扫描数据集若干次,效率较高…

3D Gaussian Splatting Windows安装

1.下载源码 git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive 2.安装cuda NVIDIA GPU Computing Toolkit CUDA Toolkit Archive | NVIDIA Developer 3.安装COLMAP https://github.com/colmap/colmap/releases/tag/3.9.1 下载完成需要添加环…

基于Springboot框架班级综合测评管理系统的设计与实现

开头语:你好呀,我是计算机学姐码农小野!如果有相关需求,可以私信联系我。 开发语言:Java 数据库:MySQL 技术:Springboot框架,B/S模式 工具:MyEclipse 系统展示 首页…