Ubuntu上安装Hadoop集群

戳蓝字“CSDN云计算”关注我们哦!


前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道,Hadoop在实际工作中都是以集群的形式存在的,毕竟需要处理大量的数据,单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。


准备阶段


640?wx_fmt=png


三台在同一局域网内的Linux机器或者虚拟机。

配置好Host文件,让三台机器可以通过主机名进行访问。

三台机器上都安装了JDK。

在其中一台上安装好Hadoop,安装方法可以参考前面的文章。

配置SSH免密登录


你可能很奇怪我要搭建的是Hadoop集群,为啥需要配置SSH免密登录呢。有两点原因:


在启动集群上所有的节点的时候无需重复输入密码。

我们在搭建集群的时候需要将Hadoop的文件夹复制到其他机器上,如果是一两台的话copy起来很快,

但是如果是几百台呢,所以这个时候如果机器之间可以免密登录的话我们可以很方便的使用脚本完成整个工作。

具体的配置方式可以看下我之前的文章,SSH免密登录(内含批量配置脚本)


修改单机版的配置文件


1、修改core-site.xml,只需要修改fs.defaultFS配置项即可,hadoop.tmp.dir不需要修改。


640?wx_fmt=png


2、修改``hdfs-site.xml`,主要是修改HDFS存储文件副本的数量,之前单机版的时候设置为1,现在改为2(这个配置项默认的配置为2)。


640?wx_fmt=png


安装包复制,并设置环境变量


其实在我们搭建好一台机器的Hadoop环境后只需要下面几步就可以完成集群环境的搭建了:


将Hadoop的安装目录拷贝到其他机器上。

在其他机器上配置Hadoop环境变量。

执行source /etc/profile命令,使得环境变量生效。

修改namenode的slave文件,指定datanode是哪几台机器

前面两步我写好了脚本,直接执行一下就可以了。第3步中说的slave文件在hadoop的安装目录下的etc/hadoop/slave,我这里用的test01和test02两台机器做datanode。


640?wx_fmt=png

脚本地址


附上脚本使用说明


640?wx_fmt=png


需要保证脚本文件夹中的两个脚本文件在同一目录下。

如果Hadoop的安装目录不为/root/apps/hadoop/hadoop-2.8.5,则需要修改脚本中hadoop的安装位置(两个脚本中都需要修改)。

修改脚本中机器名称,SERVERS变量。

环境启动


1、在namenode机器上执行下面的命令


640?wx_fmt=png


2、在浏览器中访问`http://{机器IP}:50070,查看到如下结果即代表成功。


640?wx_fmt=png


--------------------- 


作者:名字想好没。 

来源:CSDN 

原文:

https://blog.csdn.net/sinat_27629035/article/details/85561666 

版权声明:本文为博主原创文章,转载请附上博文链接!


推荐阅读

  • 罗永浩“咬定”微信不放松

  • 一篇文章带你快速理解微服务架构,由浅入深带你走进微服务架构的核心

  • 对不起,我就是喜欢问你Spring构造器注入原理

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?

  • Spark+Alluxio性能调优十大技巧

  • 从云计算到AI:NetApp的数据网络转型之道


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。

640?wx_fmt=png喜欢就点击“好看”吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524866.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Gartner的预言:通向混合IT之旅

戳蓝字“CSDN云计算”关注我们哦!“企业上云之旅是一个非常复杂的旅程,因为它不仅仅只是对基础设施的升级,还是对应用的整个生命周期管理的升级和业务交付模式的升级。”Gartner高级研究总监季新苏在近日举行的媒体见面会上表示。“这个旅程不…

OpenStack精华问答 | OpenStack是操作系统?

戳蓝字“CSDN云计算”关注我们哦!关于OpenStack的探讨几乎从未间断,从2010年10月份一个版本正式发布至今,OpenStack在8年发展历程中,成为了最有争议的那一个。今天,我们就来看看有关于OpenStack的精华问答吧1Q&#xf…

有问有答 | 精华问题汇总

出品 | CSDN云计算 有问有答,一问一答的形式,帮助大家快速解决更多专业难题。 边缘计算精华问答 | 边缘计算有哪些应用场景? 物联网对物联网技术的快速发展和云服务的推动使得云计算模型已经不能很好的解决现在的问题,于是&…

云重磅栏目专题汇总

嗨,大家好,头条君带来的【云重磅】特别栏目,会在每周二第一时间为大家带来头条新闻。把握技术风向标,了解行业应用与实践,就交给我头条君吧! 云重磅 | 阿里云开源Blink;华为发布5G Cloud VR&am…

云漫圈栏目精华汇总

云漫圈,用漫画的形式,帮你轻松掌握云中知识,从此周末不在寂寞。 云漫圈 | 学Python还是Java, 8张漫画带你全面分析 Java和Python两门语言都是目前非常热门的语言,可谓北乔峰南慕容,二者不分上下,棋逢对手…

Kafka精华问答 | kafka的使用场景是什么?

戳蓝字“CSDN云计算”关注我们哦!Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特性。今天,就让我们一起来看看关于它的精华问答吧!1Q&a…

要闻君说:微软拿下五角大楼超大云服务订单!恒大玩儿起了充电桩and新能源汽车?苹果公司要放弃自动驾驶业务?...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨,大家好!偶是要闻君。新年说着说着就要到啦,在逐渐缩短的工作日中,我们还是继续哼着歌儿look look新闻吧!文/要闻君“过…

云漫圈 | 有趣的海盗问题 (完整版)

戳蓝字“CSDN云计算”关注我们哦!作者:小灰来源:程序员小灰小灰发布的关于海盗问题的漫画,得到了大家的热烈讨论,很感谢大家的支持。这一次,小灰做了如下更新:1.修正了小灰面试阶段的一个数字错…

请重视!服务器这几个“异常”可能性预警

戳蓝字“CSDN云计算”关注我们哦!原文:https://mp.weixin.qq.com/s/qAkoG-Hut9Tfd9tOFRwafg提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不…

趣挨踢 | 那些出现在电影或电视剧中的精彩代码,你认出来几个?

戳蓝字“CSDN云计算”关注我们哦!程序员最幽默(ID:humor1024)编译链接:https://moviecode.tumblr.com/一些比较良心的电视和电影中会把代码这些细节做到机制,就算是屏幕上一闪而过,也都有理有据…

Hadoop精华问答 | 非大数据的项目能否用Hadoop?

戳蓝字“CSDN云计算”关注我们哦!技术的日新月异,让我们见证了Hadoop十年从无到有,再到称王。2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”以及与…

要闻君说:很惊喜!原来坐火车也可以刷支付宝啦!加速5G,IBM要和沃达丰宣布成立合资公司!特斯拉要裁员7% 以削减成本...

关注并标星星CSDN云计算每周三次,打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨,大家好!偶是要闻君。新年将至,年会未满,先听一首有关“假日”的歌曲吧,别忘记看要闻鸭!文/要闻君春节即将…

K8S的SDN容器网络解决方案【机制篇】

戳蓝字“CSDN云计算”关注我们哦!编者按:关于容器网络的解决方案业界已经有较多的讨论,笔者无意继续赘述。本文从K8S的网络实现入手,重点阐述SDN在容器网络中的应用价值。K8S及其网络模型体现了鲜明的解耦设计思想,采用…

总编下午茶专题汇总

《总编下午茶》是CSDN一档关注技术应用和IT前沿的访谈类栏目,由CSDN各主编担任该节目主持人,并邀请众多技术大咖分享技术热点与前沿知识,同时也是技术小伙伴们分享交流的最佳平台。 NLP可行性研究方向和应用热点 “现在NLP技术处于什么发展…

云重磅 |央视专访任正非;拼多多被薅上亿羊毛;甲骨文对云未来的10项技术预测...

戳蓝字“CSDN云计算”关注我们哦!嗨,大家好,重磅君带来的【云重磅】特别栏目,如期而至,每周二第一时间为大家带来重磅新闻。把握技术风向标,了解行业应用与实践,就交给我重磅君吧!重…

关于云原生,这是最详细的技术知识

戳蓝字“CSDN云计算”关注我们哦!本文旨在揭示现代软件行业的关键主题——云原生应用程序。这篇文章涉及微服务、容器和无服务器应用程序。在这里,我们将讨论这些技术的实际优点和缺点。微服务是什么微服务架构作为构建现代软件应用程序的强大方法而享有…

html之引入独立js方便维护jq代码

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

容器精华问答 | Docker是否比虚拟技术要好?

戳蓝字“CSDN云计算”关注我们哦&#xff01;云计算的发展日新月异&#xff0c;新技术层出不穷&#xff0c;尤其容器技术自2013年Docker容器问世以来一路高歌猛进红遍大江南北&#xff0c;与虚拟机相比&#xff0c;容器更显优势&#xff0c;有着更轻量、更快捷、占用资源更少&a…

Kubernetes API 与 Operator:不为人知的开发者战争

戳蓝字“CSDN云计算”关注我们哦&#xff01;前情回顾&#xff1a;《Kubernetes API 与 Operator&#xff1a;不为人知的开发者战争&#xff08;上&#xff09;》2016 年秋天&#xff0c;原 CoreOS 公司的工程师邓洪超像往常一样&#xff0c;来到了同事位于福斯特城&#xff08…

要闻君说:国产5G 手机只比普通版手机贵500元?菜鸟物联网机器人分拨中心首落南京!亚马逊推出的AWS集中式备份服务来啦!...

关注并标星星CSDN云计算每周三次&#xff0c;打卡即read更快、更全了解泛云圈精彩newsgo go go 嗨&#xff0c;大家好&#xff01;偶是要闻君。借着自家年会即将开幕的兴奋劲&#xff0c;继续给各位看官们带来最新、最扎眼的泛云圈大新闻&#xff0c;还是先听首歌曲&#xff0c…