hadoop 2.7.2 + zookeeper 高可用集群部署

一.环境说明

虚拟机:vmware 11

操作系统:Ubuntu 16.04

Hadoop版本:2.7.2

Zookeeper版本:3.4.9

二.节点部署说明

三.Hosts增加配置

sudo gedit /etc/hosts

wxzz-pc、wxzz-pc0、wxzz-pc1、wxzz-pc2均配置如下:

127.0.0.1 localhost
192.168.72.132 wxzz-pc
192.168.72.138 wxzz-pc0
192.168.72.135 wxzz-pc1
192.168.72.136 wxzz-pc2

 四.zookeeper上配置

Zoo.cfg配置文件内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.9/tmp/dataDir
dataLogDir=/opt/zookeeper-3.4.9/tmp/logs/
clientPort=2181
server.1=wxzz-pc:2182:2183
server.2=wxzz-pc0:2182:2183
server.3=wxzz-pc1:2182:2183

 在/opt/zookeeper-3.4.9/tmp/dataDir下新建”myid”文件,wxzz-pc、wxzz-pc0、wxzz-pc1三台虚拟机中myid文件分别对应的内容为:1、2、3,也就是server.X=wxzz-pc:2182:2183,对应X的数值。

五.Hadoop配置

1.core-site.xml 配置

<configuration><property><name>fs.defaultFS</name><value>hdfs://myhadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value></property><property><name>ha.zookeeper.quorum</name><value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value></property>
</configuration>

2. hdfs-site.xml 配置

<configuration><property><name>dfs.replication</name><value>2</value></property><property> <name>dfs.block.size</name> <value>10485760</value> </property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value></property><property><name>dfs.namenode.name.dir</name><value>${hadoop.tmp.dir}/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>${hadoop.tmp.dir}/dfs/data</value></property><property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property>   <name>dfs.webhdfs.enabled</name>   <value>true</value>   </property><property><name>dfs.nameservices</name><value>myhadoop</value></property><property><name>dfs.ha.namenodes.myhadoop</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.myhadoop.nn1</name><value>wxzz-pc:8020</value></property><property><name>dfs.namenode.http-address.myhadoop.nn1</name><value>wxzz-pc:50070</value></property><property><name>dfs.namenode.rpc-address.myhadoop.nn2</name><value>wxzz-pc0:8020</value></property><property><name>dfs.namenode.http-address.myhadoop.nn2</name><value>wxzz-pc0:50070</value></property><property><name>dfs.namenode.servicerpc-address.myhadoop.nn1</name><value>wxzz-pc:53310</value></property><property><name>dfs.namenode.servicerpc-address.cluster1.nn2</name><value>wxzz-pc0:53310</value></property><property><name>dfs.ha.automatic-failover.enabled.cluster1</name><value>true</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://wxzz-pc:8485;wxzz-pc0:8485;wxzz-pc1:8485/myhadoop</value></property><property><name>dfs.client.failover.proxy.provider.myhadoop</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.journalnode.edits.dir</name><value>/opt/hadoop-2.7.2/journal</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/opt/hadoop-2.7.2/.ssh/id_rsa</value></property><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>1000</value></property><property><name>dfs.namenode.handler.count</name><value>10</value></property><property><name>dfs.ha.automatic-failover.enabled.myhadoop</name><value>true</value></property>
</configuration>

3. mapred-site.xml 配置

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>0.0.0.0:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>0.0.0.0:19888</value></property>
</configuration>

4.yarn-site.xml 配置

<configuration><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.cluster-id</name><value>rm-id</value></property><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>wxzz-pc</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>wxzz-pc0</value></property><property><name>yarn.resourcemanager.zk-address</name><value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

六.服务启动

1.在各个Journal Node节点上,输入以下命令启动Journal Node

         sbin/hadoop-daemon.sh start journalnode

2.在[nn1]上,进行格式化,并启动

         bin/hdfs namenode -format

         sbin/hadoop-daemon.sh start namenode

3.在[nn2]上,同步[nn1]的元数据信息,并启动

         bin/hdfs namenode -bootstrapStandby

         sbin/hadoop-daemon.sh start namenode

   经过以上3步,[nn1]和[nn2]均处在standby状态

4.[nn1]节点上,将其转换为active状态

         bin/hdfs haadmin –transitionToActive --forcemanual nn1

5.在[nn1]上,启动所有datanode

         sbin/hadoop-daemons.sh start datanode

6.在[nn1]上,启动yarn

         sbin/start-yarn.sh

如果要关闭集群,在[nn1]上输入sbin/stop-all.sh即可。以后每次启动的时候,需要按照上面的步骤启动,不过不需要执行2 的格式化操作。

七.运行效果

管理界面:

 

命令行效果:

 


1.[连载]《C#通讯(串口和网络)框架的设计与实现》

2.[开源]C#跨平台物联网通讯框架ServerSuperIO(SSIO)介绍

2.应用SuperIO(SIO)和开源跨平台物联网框架ServerSuperIO(SSIO)构建系统的整体方案

3.C#工业物联网和集成系统解决方案的技术路线(数据源、数据采集、数据上传与接收、ActiveMQ、Mongodb、WebApi、手机App)

5.ServerSuperIO开源地址:https://github.com/wxzz/ServerSuperIO

物联网&集成技术(.NET) QQ群54256083 

 

转载于:https://www.cnblogs.com/lsjwq/p/6145386.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/417623.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

最全面的Android Studio使用教程【申明:来源于网络】

最全面的Android Studio使用教程【申明&#xff1a;来源于网络】 http://www.admin10000.com/document/5496.html 转载于:https://www.cnblogs.com/yearHeaven/p/6741388.html

linkedhashmap 顺序_LinkedHashMap 源码详细分析(JDK1.8)

1. 概述LinkedHashMap 继承自 HashMap&#xff0c;在 HashMap 基础上&#xff0c;通过维护一条双向链表&#xff0c;解决了 HashMap 不能随时保持遍历顺序和插入顺序一致的问题。除此之外&#xff0c;LinkedHashMap 对访问顺序也提供了相关支持。在一些场景下&#xff0c;该特性…

testNG入门详解

TestNG 的注释: DataProvider ExpectedExceptions Factory Test Parameters <suite name"ParametersTest"><test name"Regression1"><classes><class name"com.example.ParameterSample" /><class name"com.exa…

尼康相机报错err_数码相机遇到这12种错误,自己动手就能解决,再不用找人维修...

如果您资深摄影师或者专业摄影爱好者&#xff0c;那么您必须熟悉下面提到的数码相机所出现的问题和错误。如果您没有遇到任何问题&#xff0c;要么您是初学者&#xff0c;要么您已经很少拍摄了。下面列出的常见相机问题及其解决方案&#xff0c;会为您在使用数码相机的过程中提…

mysql 慢查询过多_MySQL 慢查询优化

为什么查询速度会慢1.慢是指一个查询的响应时间长。一个查询的过程&#xff1a;客户端发送一条查询给服务器服务器端先检查查询缓存&#xff0c;如果命中了缓存&#xff0c;则立可返回存储在缓存中的结果。否则进入下一个阶段服务器端进行SQL解析、预处理&#xff0c;再由优化器…

android beta项目官方页面,安卓7.0开发者预览版如何安装?Android Beta项目正式上线...

谷歌现在越来越不按常理出牌了&#xff0c;今天早些时候&#xff0c;他们已经提前秀出了Android 7.0。从最新亮相的Android N开发者预览版来看&#xff0c;谷歌进行了一些调整&#xff0c;但更重要的是&#xff0c;增加了一些新的功能&#xff0c;比如分屏、新的通知控制等。那…

iOS-模糊查询

http://blog.csdn.net/qq_33701006/article/details/51836914 版权声明&#xff1a;本文为博主原创文章&#xff0c;未经博主允许不得转载。 目录(?)[] 前言: 为了巩固FMDB,就来找个简单的Demo学习一下。不好找工作啊&#xff0c;就学习吧&#xff0c;没应聘的消遣吧。 简单介…

钱币掉落动画android,mpvue实现小程序签到金币掉落动画(api实现)

这里使用小程序自带的api来实现&#xff0c;用小程序来写动画的恶心点在于&#xff0c;没有帧&#xff0c;只能用setimeout 来作为帧来使用&#xff0c;下面是实现代码&#xff0c; 下面是简单用div代替了图片&#xff0c;需要什么图片&#xff0c;可以自行替换相应的div即可需…

前端学习(2197):__WEBPACK_IMPORTED_MODULE_1_vuex__.a.store is not a constructor

在使用vuex过程中&#xff0c;发现报错 typeError:__WEBPACK_IMPORTED_MODULE_1_vuex__.a.store is not a constructor 经查找发现是实例化时 .store用的小写造成的,如下 new Vuex.store({state:{},mutations:{},actions:{},modules:{} }) 实际应为大写!&#xff08;居然有和…

android特殊代码,安卓手机输入这些特殊代码,电池状态查得清清楚楚!

原标题&#xff1a;安卓手机输入这些特殊代码&#xff0c;电池状态查得清清楚楚&#xff01;智能手机在很大程度上方便了我们的生活&#xff0c;但是我们也逐渐依赖上了手机&#xff0c;想更了解自己的手机&#xff0c;知道自己到底在手机哪些地方花费了多少时间吗&#xff0c;…

android 三星 白色,时尚实用都拥有 白色Android手机盘点

唯美大气&#xff1a;三星I9000三星I9000的高人气不用多说&#xff0c;许多人在看过了黑色之后也等待着白色版本的上市。而在上周该机的白色版本也终于到来&#xff0c;赶在圣诞节之前为我们提供了多一种的白色Android机型选择。从图片中可以看出I9000机身正面依旧为黑色&#…

见微知著(一):解析ctf中的pwn--Fast bin里的UAF

在网上关于ctf pwn的入门资料和writeup还是不少的&#xff0c;但是一些过渡的相关知识就比较少了&#xff0c;大部分赛棍都是在不断刷题中总结和进阶的。所以我觉得可以把学习过程中的遇到的一些问题和技巧总结成文&#xff0c;供大家参考和一起交流。当然&#xff0c;也不想搞…

火狐插件 打开html 死机,火狐flash插件崩溃(Firefox火狐Flash插件卡死问题完美解决方法)...

火狐flash插件崩溃(Firefox火狐Flash插件卡死问题完美解决方法)&#xff0c;哪吒游戏网给大家带来详细的火狐flash插件崩溃(Firefox火狐Flash插件卡死问题完美解决方法)介绍&#xff0c;大家可以阅读一下&#xff0c;希望这篇火狐flash插件崩溃(Firefox火狐Flash插件卡死问题完…

uuid表示时间的部分_技术译文 | UUID 很火但性能不佳?今天我们细聊一聊

作者&#xff1a;Yves Trudeau Yves 是 Percona 的首席架构师&#xff0c;专门研究分布式技术&#xff0c;例如 MySQL Cluster&#xff0c;Pacemaker 和 XtraDB cluster。他以前是 MySQL 和 Sun 的高级顾问。拥有实验物理学博士学位。原文链接&#xff1a;https://www.percona.…

西电计算机科学院实践中心,计算机基础教学实验中心

一、总体情况计算机基础教学实验中心隶属于计算机网络与信息安全国家级实验教学示范中心&#xff0c;承担着全校本科生的计算机基础教学和实验任务&#xff0c;是学校对外的重要窗口。中心总面积4200平方米&#xff0c;固定资产总价值接近1500万元&#xff0c;仪器设备共3907台…

jquery通过attr取html里自定义属性原来这么方便啊

<script type"text/javascript"> function fangGouWuChe(obj) { //放入购物车 var sMat $(obj).parent().parent().parent().parent().attr("material"); var sPrice $(obj).parent().parent().find(em[class"sale-price"]).text(); …