Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法

Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法

环境说明

系统:ubuntu18.04
主机名:test1
用户名:sylvan

hadoop单机安装

换源操作这里不再给出,请各位自行解决。

在Linux环境下完成单机环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。

Java是Hadoop的主要先决条件。首先检查java是否安装:java -version

在这里插入图片描述

java未安装,使用sudo apt install openjdk-8-jdk 安装OpenJDK8.
再次检查java是否安装成功:

在这里插入图片描述

查看java环境变量是否配置:
在这里插入图片描述

无输出,说明环境变量未配置,接下来查找java安装路径,配置环境变量。
先查找java安装路径,发现是:/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
在这里插入图片描述

在/etc/profile里配置java环境变量,配置完成后用echo检查JAVA_HOME成功:
在这里插入图片描述
在这里插入图片描述

接着下载hadoop-2.10.1,并解压(在 /usr/local/ 里)。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配置hadoop环境变量,并尝试运行hadoop:

在这里插入图片描述
在这里插入图片描述

这意味着Hadoop在独立模式下工作正常。默认情况下,Hadoop被配置为在非分布式模式的单个机器上运行。

运行WordCount测试

利用hadoop提供的的.jar 文件实现wordcount. 首先,创建输入目录input,接着创建测试文本,在input目录复制几份。

测试文本:
在这里插入图片描述

测试文本的复制:
在这里插入图片描述

查看hadoop mapreduce例子有哪些功能:
hadoop-mapreduce-examples-2.10.1.jar
在这里插入图片描述

启动Hadoop进程计数在所有在输入目录中可用的文件的单词总数,将结果保存到output 文件夹中。
在这里插入图片描述

查看 output 文件夹内容:
在这里插入图片描述

Hadoop伪分布式搭建

在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop-2.10.1/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

首先,配置hadoop的环境变量:(在etc/profile中)
在这里插入图片描述

配置hadoop-env.sh文件的java环境变量。
在这里插入图片描述

注意:这里要将 ${JAVA_HOME} 替换为之前在 /etc/profile里设置的JAVA_HOME,也就是 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
在这里插入图片描述

mapred-env.sh、yarn-env.sh无需再配置。

接着配置Hadoop的文件列表。

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息,分配给文件系统存储,用于存储所述数据存储器的限制和大小。

在这里插入图片描述

在这里插入图片描述

hdfs-site.xml 文件中包含如复制数据的值,NameNode路径的信息,本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方。

在这里插入图片描述

在这里插入图片描述

slave文件添加节点主机,发现已经有localhost,因为是伪分布式,所以无需修改成本机的test1.

在这里插入图片描述

在这里插入图片描述

格式化namenode
在这里插入图片描述

启动hdfs守护进程
在这里插入图片描述

查看web端,说明搭建好了Hadoop的hdfs分布式存储,接下来要继续配置Hadoop的mapreduce.

在这里插入图片描述

mapred-site.xml 文件用于指定正在使用MapReduce框架,从mapred-site.xml.template 模版复制即可,指定mapreduce程序运行在yarn平台上。

在这里插入图片描述

在这里插入图片描述

yarn-site.xml 用于配置yarn.

在这里插入图片描述


问题:
启动yarn:(yarn)启动失败,JAVA_HOME is not set and could not be found.
在这里插入图片描述

问题解决:配置hadoop-env.sh文件里的JAVA_HOME环境变量


启动yarn:
在这里插入图片描述

在这里插入图片描述

访问集群中的所有应用程序的默认端口号为8088,使用以下URL访问该服务。
查看web端:运行正常

在这里插入图片描述

查看节点情况:
在这里插入图片描述

运行wordcount实例检测:

在HDFS的根目录下创建一个目录input,将之前的test.txt上传到HDFS。
继续创建一个output输出目录,执行hadoop jar命令,结果输出到output/ part-r-00000文件下。

在这里插入图片描述
在这里插入图片描述

查看结果:
(报错:/output already exists)

在这里插入图片描述

删除,重新执行:

在这里插入图片描述

查看结果:
在这里插入图片描述

通过网页查看任务完成情况:
在这里插入图片描述


可以发现当hadoop集群运行时,会报警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
出现原因:Hadoop 没有成功加载本地库,所以使用了内置的 Java 类库。
解决方法:1. 直接在log中忽略warning;2. 替换hadoop本地库.


关闭hadoop

(分别关闭了namenodes,yarn,resourcemanager,nodemanager)
在这里插入图片描述


参考:

  1. Hadoop伪分布搭建,以及简单使用命令
  2. 安装Hadoop 本地模式测试Hadoop,wordcount
  3. Hadoop环境安装设置
  4. 02-Hadoop集群启动测试

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484639.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI时代竟有智能化鸿沟,具备哪些条件才能跨过?

来源:CSDN移动互联网“早古”时期,普通人因为收入差距问题而无法做到人手一部智能手机,从而导致数字鸿沟。同样,在当前这个AI,也就是人工智能扮演越来越关键作用的时代,企业也站在了类似的抉择交接线上——…

[js] 渲染树构建、布局及绘制

渲染树构建、布局及绘制 转载于:https://www.cnblogs.com/iiiiiher/p/10065345.html

INTRODUCTION TO NONELINEAR OPTIMIZATION Excise 5.2 Freudenstein and Roth Test Function

Amir Beck’s INTRODUCTION TO NONELINEAR OPTIMIZATION Theory, Algorithms, and Applications with MATLAB Excise 5.2 INTRODUCTION TO NONELINEAR OPTIMIZATION Theory, Algorithms, and Applications with MATLAB. Amir Beck. 2014 本文主要涉及题目(ii)的MATLAB部分&…

石正丽/周鹏团队发表冠状病毒新研究,进一步证明新冠非实验室泄漏

来源:中国生物技术网 新冠病毒SARS-CoV-2造成了近一个世纪以来最具破坏性的大流行COVID-19,而其中尚未解决的科学问题之一是这种病毒的自然来源。近日,来自中科院武汉病毒所、中国科学院大学的研究人员在预印本网站BioRxiv上提交了一篇论文&…

L1正则化降噪,对偶函数的构造,求解含L1正则项的优化问题,梯度投影法

L1正则化降噪,对偶函数的构造,求解含L1正则项的优化问题,梯度投影法 本文主要实现L1正则化降噪,L2 正则化降噪的文章在: https://blog.csdn.net/IYXUAN/article/details/121565229 原创文章!转载需注明来源…

HBase之Table.put客户端流程(续)

上篇博文中已经谈到,有两个流程没有讲到。一个是MetaTableAccessor.getRegionLocations,另外一个是ConnectionImplementation.cacheLocation。这一节,就让我们单独来介绍这两个流程。首先让我们来到MetaTableAccessor.getRegionLocations。1.…

普华永道:AI规模化应用,基础知识先行

来源:Forbes作者:Cindy Gordon编译:科技行者人工智能(AI)是正在改变很多行业的游戏规则。据统计,人工智能有望为2030年的全球经济贡献高达15.7万亿美元,比中国和印度目前的产出之和还要多。其中…

ADMM,ISTA,FISTA算法步骤详解,MATLAB代码,求解LASSO优化问题

ADMM,ISTA,FISTA算法步骤详解,MATLAB代码,求解LASSO优化问题 原创文章!转载需注明来源:©️ Sylvan Ding’s Blog ❤️ 实验目的 了解 ADMM, ISTA, FISTA 算法的基本原理、收敛性和复杂度;使用上述三种算法&#…

Spring详解(八)------事务管理

目录 1、事务介绍2、事务的四个特性(ACID)3、Spring 事务管理的核心接口4、 PlatformTransactionManager 事务管理器5、TransactionStatus 事务状态6、TransactionDefinition 基本事务属性的定义7、Spring 编程式事务和声明式事务的区别 8、不用事务…

A股光刻胶飙涨背后:仅一家可供应高端光刻胶

来源:芯师爷部分素材来源:前瞻产业研究院、华泰证券5月27日,半导体光刻胶概念股开盘即走强,截至收盘,A股光刻胶板块涨幅达6.48%。其中晶瑞股份、广信材料直线拉升大涨20%封涨停,容大感光大涨13.28%&#xf…

二〇二二注定是踔厉奋发、笃行不怠的一年

2021年,我在生活上、学习上、工作上都有着太多太多遗憾,很多想做的事、计划好的事并没有得到落实。但正如张宇老师所说,人生本来就是一段段幸福夹杂着不可避免的遗憾组成的,所取得的成绩远远大于遗憾,毕竟前途似海&…

为什么机器学习算法难以优化?一文详解算法优化内部机制

来源: 机器之心作者:JONAS DEGRAVE、IRA KORSHUNOVA编辑:小舟选自:engraved.blog损失线性组合是正确的选择吗?这篇文章或许能够给你答案。在机器学习中,损失的线性组合无处不在。虽然它们带有一些陷阱&…

论文作者串通抱团、威胁审稿人,ACM Fellow炮轰「同行评审」作弊

来源:机器之心编辑:陈萍、杜伟布朗大学计算机科学系教授、机器学习研究者、2018 年 ACM Fellow 迈克尔 利特曼(Michael L. Littman)在 ACM 通讯上发文斥责「部分学者正在威胁计算机科学研究的诚实性」。他在文章中指出了同行评审…

JDG人脸识别课堂管理系统全栈开发流程报告-软件工程实践报告

JDG人脸识别课堂管理系统全栈开发流程报告-软件工程 ⭐️ 本报告的代码部分和程序设计参考了 计算机18-1班张宇哲(学号181002406)同学 在Gitee仓库发布的AI-Attendance,本文档基于软件工程的具体流程,从软件工程的角度细化的张同学…

浅谈贝叶斯统计

来源:京师统计团总支学生会编辑: ∑Gemini浅谈贝叶斯统计贝叶斯统计是英国学者托马斯贝叶斯在《论有关机遇问题的求解》中提出一种归纳推理的理论,后被一些统计学者发展为一种系统的统计推断方法,称为贝叶斯方法。本文旨在通过实际…

浅析虚拟语气 (Subjunctive mood)

浅析虚拟语气 (Subjunctive mood) 本文旨在通过一种时序逻辑上的联系,帮助读者更好的记忆和运用虚拟语气。文中提及的概念不一定正确,但一定程度上能辅助记忆,最终达到熟练运用的目的。(有些语法不用刨根问底,都是约定…

数论重大突破:120年后,希尔伯特的第12个数学难题借助计算机获得解决

来源:机器之心编辑:nhyilin德国数学家大卫 希尔伯特(David Hilbert)是二十世纪最伟大的数学家之一,被后人称为「数学世界的亚历山大」。他对数学领域做出了广泛和重大的贡献,研究领域涉及代数不变式、代数…

Linux进程通信的四种方式——共享内存、信号量、无名管道、消息队列|实验、代码、分析、总结

Linux进程通信的四种方式——共享内存、信号量、无名管道、消息队列|实验、代码、分析、总结 每个进程各自有不同的用户地址空间,任何一个进程的全局变量在另一个进程中都看不到,所以进程之间要交换数据必须通过内核,在内核中开辟…

美国人测评马斯克的星链服务: 现实太骨感,梦想已破灭

来源: 风闻社区、3D实验室最近看到外国人测评马斯克的starlink服务,满篇吐槽,无数缺陷,而且都是原理上无法克服的那种缺陷,跟大家分享一下。首先星链服务不是你想像的那种一卡在手,天下我有的服务。用它之前…

编译过程中的链接地址对最终编译镜像文件的影响

MDK和交叉编译工具编译时都会指定程序的下载的地址(其实就是告诉程序它将在那个地址上开始执行),这有什么意义吗? 其实这么设计有原因的,因为这里涉及到全局变量和全局函数指针的地址问题,加入当你在编译时…