hadoop 2.7.2 + zookeeper 高可用集群部署

一.环境说明

虚拟机:vmware 11

操作系统:Ubuntu 16.04

Hadoop版本:2.7.2

Zookeeper版本:3.4.9

二.节点部署说明

三.Hosts增加配置

sudo gedit /etc/hosts

wxzz-pc、wxzz-pc0、wxzz-pc1、wxzz-pc2均配置如下:

127.0.0.1 localhost
192.168.72.132 wxzz-pc
192.168.72.138 wxzz-pc0
192.168.72.135 wxzz-pc1
192.168.72.136 wxzz-pc2

 四.zookeeper上配置

Zoo.cfg配置文件内容如下:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.9/tmp/dataDir
dataLogDir=/opt/zookeeper-3.4.9/tmp/logs/
clientPort=2181
server.1=wxzz-pc:2182:2183
server.2=wxzz-pc0:2182:2183
server.3=wxzz-pc1:2182:2183

 在/opt/zookeeper-3.4.9/tmp/dataDir下新建”myid”文件,wxzz-pc、wxzz-pc0、wxzz-pc1三台虚拟机中myid文件分别对应的内容为:1、2、3,也就是server.X=wxzz-pc:2182:2183,对应X的数值。

五.Hadoop配置

1.core-site.xml 配置

<configuration><property><name>fs.defaultFS</name><value>hdfs://myhadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value></property><property><name>ha.zookeeper.quorum</name><value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value></property>
</configuration>

2. hdfs-site.xml 配置

<configuration><property><name>dfs.replication</name><value>2</value></property><property> <name>dfs.block.size</name> <value>10485760</value> </property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value></property><property><name>dfs.namenode.name.dir</name><value>${hadoop.tmp.dir}/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>${hadoop.tmp.dir}/dfs/data</value></property><property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property>   <name>dfs.webhdfs.enabled</name>   <value>true</value>   </property><property><name>dfs.nameservices</name><value>myhadoop</value></property><property><name>dfs.ha.namenodes.myhadoop</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.myhadoop.nn1</name><value>wxzz-pc:8020</value></property><property><name>dfs.namenode.http-address.myhadoop.nn1</name><value>wxzz-pc:50070</value></property><property><name>dfs.namenode.rpc-address.myhadoop.nn2</name><value>wxzz-pc0:8020</value></property><property><name>dfs.namenode.http-address.myhadoop.nn2</name><value>wxzz-pc0:50070</value></property><property><name>dfs.namenode.servicerpc-address.myhadoop.nn1</name><value>wxzz-pc:53310</value></property><property><name>dfs.namenode.servicerpc-address.cluster1.nn2</name><value>wxzz-pc0:53310</value></property><property><name>dfs.ha.automatic-failover.enabled.cluster1</name><value>true</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://wxzz-pc:8485;wxzz-pc0:8485;wxzz-pc1:8485/myhadoop</value></property><property><name>dfs.client.failover.proxy.provider.myhadoop</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.journalnode.edits.dir</name><value>/opt/hadoop-2.7.2/journal</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/opt/hadoop-2.7.2/.ssh/id_rsa</value></property><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>1000</value></property><property><name>dfs.namenode.handler.count</name><value>10</value></property><property><name>dfs.ha.automatic-failover.enabled.myhadoop</name><value>true</value></property>
</configuration>

3. mapred-site.xml 配置

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>0.0.0.0:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>0.0.0.0:19888</value></property>
</configuration>

4.yarn-site.xml 配置

<configuration><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.cluster-id</name><value>rm-id</value></property><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>wxzz-pc</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>wxzz-pc0</value></property><property><name>yarn.resourcemanager.zk-address</name><value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

六.服务启动

1.在各个Journal Node节点上,输入以下命令启动Journal Node

         sbin/hadoop-daemon.sh start journalnode

2.在[nn1]上,进行格式化,并启动

         bin/hdfs namenode -format

         sbin/hadoop-daemon.sh start namenode

3.在[nn2]上,同步[nn1]的元数据信息,并启动

         bin/hdfs namenode -bootstrapStandby

         sbin/hadoop-daemon.sh start namenode

   经过以上3步,[nn1]和[nn2]均处在standby状态

4.[nn1]节点上,将其转换为active状态

         bin/hdfs haadmin –transitionToActive --forcemanual nn1

5.在[nn1]上,启动所有datanode

         sbin/hadoop-daemons.sh start datanode

6.在[nn1]上,启动yarn

         sbin/start-yarn.sh

如果要关闭集群,在[nn1]上输入sbin/stop-all.sh即可。以后每次启动的时候,需要按照上面的步骤启动,不过不需要执行2 的格式化操作。

七.运行效果

管理界面:

 

命令行效果:

 


1.[连载]《C#通讯(串口和网络)框架的设计与实现》

2.[开源]C#跨平台物联网通讯框架ServerSuperIO(SSIO)介绍

2.应用SuperIO(SIO)和开源跨平台物联网框架ServerSuperIO(SSIO)构建系统的整体方案

3.C#工业物联网和集成系统解决方案的技术路线(数据源、数据采集、数据上传与接收、ActiveMQ、Mongodb、WebApi、手机App)

5.ServerSuperIO开源地址:https://github.com/wxzz/ServerSuperIO

物联网&集成技术(.NET) QQ群54256083 

 

转载于:https://www.cnblogs.com/lsjwq/p/6145386.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/417623.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

js jquery Ajax同步

Ajax请求默认的都是异步的 如果想同步 async设置为false就可以&#xff08;默认是true&#xff09; var html $.ajax({ url: "some.php", async: false }).responseText; 或者在全局设置Ajax属性 $.ajaxSetup({ async: false }); 再用post&#xff0c;get…

c语言cgi函数库,cgic: 为C语言编写CGI的C函数库

CGIC介绍怎样写CGIC应用程序怎样产生图片在CGIC中?CGI调试特征: 利用捕获cgic函数参考cgic变量参考cgic结果编码参考cgic快速索引一般的Unix系统都支持ANSIC,增加相应的库函数(和相应的h文件)就可以实现CGI。在此我向大家推荐一个用于CGI编程的ANSIC库:cgic。cgic是用来生成基…

python3交互模式下 按上翻箭头显示乱码_CentOS 6.3中,Python-2.7.3交互模式下方向键、退格键等出现乱码...

CentOS 6.3中&#xff0c;Python-2.7.3交互模式下方向键、退格键等出现乱码#安装readline-devel# yum install readline-devl#重新安装python1. 准备工作下载源码包如果没有安装make工具~#rpm -qa|grep makeyum -y install gcc automake autoconf libtool make安装zlibyum inst…

C#实现插入排序法

private int[] test_Insertion(int[] list) //插入排序 传入数组 3, 6, 2, 1, 9, 5, 4, 7 {for(int i 1;i<list.Length;i) //首选取出第一个数&#xff08;3&#xff09;作为一个有序的数组&#xff0c;然后遍历传入数组"3"之后的每一个数{int j ;int key list[…

c3d怎么调语言,falc3d参数调整心得

对于flac3d我是一个菜鸟级新手&#xff0c;刚接触flac3d没几天就要用来做东西&#xff0c;其中的艰辛实在不足为外人道也。不过菜鸟在前进&#xff01;随着使用的次数增多&#xff0c;对于flac的认识也增多了不少&#xff0c;虽然里精通还有十万八千里&#xff0c;但小小的心得…

nvidia驱动崩了 ubuntu_Ubuntu 16.04安装nVidia驱动失败!

Ubuntu 16.04安装nVidia驱动失败&#xff01;发布时间:2016-09-16 10:24:00来源:红联作者:sutao80216我的笔记本是I/N双显卡&#xff0c;CPU是i7&#xff0c;独显是nVidia GEFORCE GT520M&#xff0c;从Ubuntu 13版本系列开始&#xff0c;安装nVidia的独显驱动从来没有成功过&a…

sql 数字转换为16进制数函数

create function [dbo].[IntToHex](num int)returns varchar(100)asbegindeclare re varchar(100)set rewhile num>0select resubstring(0123456789ABCDEF,num%161,1)re,numnum/16return(re)end

移动端REM布局方案

引用http://www.w3cplus.com/mobile/lib-flexible-for-html5-layout.html的方案 下载地址https://github.com/hupan508/lib-flexible 注意点。 1、如果html设置过 meta &#xff0c;js将使用meta 标签的缩放。 <meta http-equiv"X-UA-Compatible" content"I…

c语言插件实现原理,C语言实现插件机制

现在越来越多的软件项目都提供插件机制&#xff0c;这样使得软件的扩展性大大增强&#xff0c;那么到底插件机制的实现是怎么样的呢&#xff1f;在这里只谈论C语言的实现&#xff0c;其实C语言实现插件的例子也很多&#xff0c;像mjpg-streamer就是将输入输出做成插件&#xff…

sql 简单加密函数

用到了之前的数字转换为16进制数函数 IntToHex create function [dbo].[IntToHex](num int)returns varchar(100)asbegindeclare re varchar(100)set rewhile num>0select resubstring(0123456789ABCDEF,num%161,1)re,numnum/16return(re)endcreate function [dbo].[GetUser…

最全面的Android Studio使用教程【申明:来源于网络】

最全面的Android Studio使用教程【申明&#xff1a;来源于网络】 http://www.admin10000.com/document/5496.html 转载于:https://www.cnblogs.com/yearHeaven/p/6741388.html

linkedhashmap 顺序_LinkedHashMap 源码详细分析(JDK1.8)

1. 概述LinkedHashMap 继承自 HashMap&#xff0c;在 HashMap 基础上&#xff0c;通过维护一条双向链表&#xff0c;解决了 HashMap 不能随时保持遍历顺序和插入顺序一致的问题。除此之外&#xff0c;LinkedHashMap 对访问顺序也提供了相关支持。在一些场景下&#xff0c;该特性…

testNG入门详解

TestNG 的注释: DataProvider ExpectedExceptions Factory Test Parameters <suite name"ParametersTest"><test name"Regression1"><classes><class name"com.example.ParameterSample" /><class name"com.exa…

尼康相机报错err_数码相机遇到这12种错误,自己动手就能解决,再不用找人维修...

如果您资深摄影师或者专业摄影爱好者&#xff0c;那么您必须熟悉下面提到的数码相机所出现的问题和错误。如果您没有遇到任何问题&#xff0c;要么您是初学者&#xff0c;要么您已经很少拍摄了。下面列出的常见相机问题及其解决方案&#xff0c;会为您在使用数码相机的过程中提…

c语言 申请1k内存,怎么解决函数内申请内存,函数外释放的问题

由于不同的编译器和库&#xff0c;其内部关于内存申请释放的实现不同&#xff0c;因此不能直接要求用户指定用某个函数释放内存&#xff0c;必须要单独自己封装一个释放的接口。有两种思路&#xff1a;一是以指针作为参数得到数组地址&#xff0c;单独设计一个释放的函数&#…

SQL Server CLR 启用、部署

sqlserver启用CLRexec sp_configure clr enabled,1 --1,启用clr 0,禁用clrRECONFIGURESQL Server CLR 部署到某个数据库后&#xff0c;便成为那个数据库的一部分&#xff0c;即便备份及还原到其它机器上&#xff0c;它依然具有CLR带来的功能。SqlString 数据类型转换成 nvarcha…

mysql 慢查询过多_MySQL 慢查询优化

为什么查询速度会慢1.慢是指一个查询的响应时间长。一个查询的过程&#xff1a;客户端发送一条查询给服务器服务器端先检查查询缓存&#xff0c;如果命中了缓存&#xff0c;则立可返回存储在缓存中的结果。否则进入下一个阶段服务器端进行SQL解析、预处理&#xff0c;再由优化器…

sqlserver获得到当前游标中存在的数据行数

Select CURSOR_ROWS 可以得到当前游标中存在的数据行数。 注意&#xff1a;此变量为一个连接上的全局变量&#xff0c;因此只对应最后一次打开的游标。