Ubuntu上安装Hadoop集群

戳蓝字“CSDN云计算”关注我们哦!


前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道,Hadoop在实际工作中都是以集群的形式存在的,毕竟需要处理大量的数据,单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。


准备阶段


640?wx_fmt=png


三台在同一局域网内的Linux机器或者虚拟机。

配置好Host文件,让三台机器可以通过主机名进行访问。

三台机器上都安装了JDK。

在其中一台上安装好Hadoop,安装方法可以参考前面的文章。

配置SSH免密登录


你可能很奇怪我要搭建的是Hadoop集群,为啥需要配置SSH免密登录呢。有两点原因:


在启动集群上所有的节点的时候无需重复输入密码。

我们在搭建集群的时候需要将Hadoop的文件夹复制到其他机器上,如果是一两台的话copy起来很快,

但是如果是几百台呢,所以这个时候如果机器之间可以免密登录的话我们可以很方便的使用脚本完成整个工作。

具体的配置方式可以看下我之前的文章,SSH免密登录(内含批量配置脚本)


修改单机版的配置文件


1、修改core-site.xml,只需要修改fs.defaultFS配置项即可,hadoop.tmp.dir不需要修改。


640?wx_fmt=png


2、修改``hdfs-site.xml`,主要是修改HDFS存储文件副本的数量,之前单机版的时候设置为1,现在改为2(这个配置项默认的配置为2)。


640?wx_fmt=png


安装包复制,并设置环境变量


其实在我们搭建好一台机器的Hadoop环境后只需要下面几步就可以完成集群环境的搭建了:


将Hadoop的安装目录拷贝到其他机器上。

在其他机器上配置Hadoop环境变量。

执行source /etc/profile命令,使得环境变量生效。

修改namenode的slave文件,指定datanode是哪几台机器

前面两步我写好了脚本,直接执行一下就可以了。第3步中说的slave文件在hadoop的安装目录下的etc/hadoop/slave,我这里用的test01和test02两台机器做datanode。


640?wx_fmt=png

脚本地址


附上脚本使用说明


640?wx_fmt=png


需要保证脚本文件夹中的两个脚本文件在同一目录下。

如果Hadoop的安装目录不为/root/apps/hadoop/hadoop-2.8.5,则需要修改脚本中hadoop的安装位置(两个脚本中都需要修改)。

修改脚本中机器名称,SERVERS变量。

环境启动


1、在namenode机器上执行下面的命令


640?wx_fmt=png


2、在浏览器中访问`http://{机器IP}:50070,查看到如下结果即代表成功。


640?wx_fmt=png


--------------------- 


作者:名字想好没。 

来源:CSDN 

原文:

https://blog.csdn.net/sinat_27629035/article/details/85561666 

版权声明:本文为博主原创文章,转载请附上博文链接!


推荐阅读

  • 罗永浩“咬定”微信不放松

  • 一篇文章带你快速理解微服务架构,由浅入深带你走进微服务架构的核心

  • 对不起,我就是喜欢问你Spring构造器注入原理

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?

  • Spark+Alluxio性能调优十大技巧

  • 从云计算到AI:NetApp的数据网络转型之道


1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!


2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。

640?wx_fmt=png喜欢就点击“好看”吧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/524866.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jq之无callback,有 alert hide

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 const 修饰指针 - C语言零基础入门教程

目录 一.const 简介二.const 修饰指针 1.const int *p2.int const *p3.int * const p4.const int * const p 三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.const 简介 const 是 constant 的缩写&#xff0c;意思是“恒定不变的”&#xf…

Gartner的预言:通向混合IT之旅

戳蓝字“CSDN云计算”关注我们哦&#xff01;“企业上云之旅是一个非常复杂的旅程&#xff0c;因为它不仅仅只是对基础设施的升级&#xff0c;还是对应用的整个生命周期管理的升级和业务交付模式的升级。”Gartner高级研究总监季新苏在近日举行的媒体见面会上表示。“这个旅程不…

jq之slideDown() stop()

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 const 修饰函数返回值 - C语言零基础入门教程

目录 一.const 简介 1.const 修饰变量2.const 修饰指针 二.const 修饰在函数名前面三.const 修饰在函数名后面四.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.const 简介 const 是 constant 的缩写&#xff0c;“恒定不变”的意思。被 cons…

OpenStack精华问答 | OpenStack是操作系统?

戳蓝字“CSDN云计算”关注我们哦&#xff01;关于OpenStack的探讨几乎从未间断&#xff0c;从2010年10月份一个版本正式发布至今&#xff0c;OpenStack在8年发展历程中&#xff0c;成为了最有争议的那一个。今天&#xff0c;我们就来看看有关于OpenStack的精华问答吧1Q&#xf…

jq之callback

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 const 修饰函数参数 - C语言零基础入门教程

目录 一.const 简介 1.const 修饰变量2.const 修饰指针3.const 修饰在函数名前面4.const 修饰在函数名后面 二.const 修饰函数参数 1.值传递2.址传递3.const 修饰函数参数 三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.const 简介 const …

有问有答 | 精华问题汇总

出品 | CSDN云计算 有问有答&#xff0c;一问一答的形式&#xff0c;帮助大家快速解决更多专业难题。 边缘计算精华问答 | 边缘计算有哪些应用场景&#xff1f; 物联网对物联网技术的快速发展和云服务的推动使得云计算模型已经不能很好的解决现在的问题&#xff0c;于是&…

jq之animate() left font

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 const 和 define 区别 - C语言零基础入门教程

目录 一.const 使用 1.const 修饰变量2.const 修饰指针3.const 修饰在函数名前面4.const 修饰在函数名后面5.const 修饰函数参数 二.define 使用 1.define 定义常量2.define 定义函数3.define 定义多行函数4.define 防止头文件重复包含 三.const 和 define 区别 1.就起作用的阶…

jq之animate()队列

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

云重磅栏目专题汇总

嗨&#xff0c;大家好&#xff0c;头条君带来的【云重磅】特别栏目&#xff0c;会在每周二第一时间为大家带来头条新闻。把握技术风向标&#xff0c;了解行业应用与实践&#xff0c;就交给我头条君吧&#xff01; 云重磅 | 阿里云开源Blink&#xff1b;华为发布5G Cloud VR&am…

C语言 __STDC__ - C语言零基础入门教程

目录 一.__STDC__简介二.__STDC__实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.__STDC__简介 ANSI C 定义了许多宏。在编程中您可以使用这些宏&#xff0c;但是不能直接修改这些预定义的宏。 __DATE__ 当前日期&#xff0c;一个以 “…

C语言 __LINE__ - C语言零基础入门教程

目录 一.__LINE__简介二.__LINE__实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.__LINE__简介 ANSI C 定义了许多宏。在编程中您可以使用这些宏&#xff0c;但是不能直接修改这些预定义的宏。 __DATE__ 当前日期&#xff0c;一个以 “…

云漫圈栏目精华汇总

云漫圈&#xff0c;用漫画的形式&#xff0c;帮你轻松掌握云中知识&#xff0c;从此周末不在寂寞。 云漫圈 | 学Python还是Java, 8张漫画带你全面分析 Java和Python两门语言都是目前非常热门的语言&#xff0c;可谓北乔峰南慕容&#xff0c;二者不分上下&#xff0c;棋逢对手…

Rust 生命周期

Rust 第17节 生命周期 先看一段错误代码 /* //一段错误的代码 // Rust 编译时会报错&#xff1b; */let r;{let x 5;r &x;}println!("{}",r);Rust 在编译时使用 借用检查器&#xff0c; 比较作用域来检查所有的借用是否合法&#xff1b; 很明显&#xff1b;r…

jq之animate() toggle

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>jq之demo</title><!--线上jq库--><script src"https://code.jquery.com/jquery-3.4.1.min.js"></script><scrip…

C语言 __FILE__ - C语言零基础入门教程

目录 一.__FILE__简介二.__FILE__实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.**__FILE**__简介 ANSI C 定义了许多宏。在编程中您可以使用这些宏&#xff0c;但是不能直接修改这些预定义的宏。 __DATE__ 当前日期&#xff0c;一个以…

Kafka精华问答 | kafka的使用场景是什么?

戳蓝字“CSDN云计算”关注我们哦&#xff01;Kafka是由Apache软件基金会开发的一个开源流处理平台&#xff0c;由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统&#xff0c;有着诸多特性。今天&#xff0c;就让我们一起来看看关于它的精华问答吧&#xff01;1Q&a…