Hadoop集群(一) Zookeeper搭建

作为Hadoop初学者，自然要从安装入手。而hadoop的优势就是分布式，所以，也一定要安装分布式的系统。

整体安装步骤，包括Zookeeper+HDFS+Hbase，为了文章简洁，我会分三篇blog记录我的安装步骤。

本文记录的是集群环境准备，zookeeper的安装步骤。

~~~~~~~~~~~环境准备部分~~~~~~~~~~~~~~~~~

IP部署规划（准备了三个虚拟机，操作系统是Centos6.7）

Zookeeper主机分配

192.168.67.101 c6701192.168.67.102 c6702192.168.67.103 c6703

 

HDFS主机分配

192.168.67.101 c6701 --Namenode+datanode192.168.67.102 c6702 --datanode192.168.67.103 c6703 --datanode

 

Hbase主机分配

192.168.67.101 c6701 --Master + region192.168.67.102 c6702 --region192.168.67.103 c6703 --region

 

1. 为了分别管理各个服务，我为每个服务，都单独创建了用户.

创建的用户有:

zk

hdfs

hbase

 

2. 为每一个用户创建ssh免密,并分发到全部节点，这样，我就只在C6701上执行命令，通过远程的方式安装C6702和C6703

ssh-keygen -t rsa -f ~/.ssh/id_rsa

 

拷贝密钥到全部节点即可（只有c6701访问02和03不需要密码，反向访问是需要密码的）

ssh-copy-id  c6701  

ssh-copy-id  c6702

ssh-copy-id  c6703

 

3. 强调一下，/etc/hosts 需要设置

[root@c6701 ~]# more /etc/hosts 192.168.67.101 c6701.org c6701192.168.67.102 c6702.org c6702192.168.67.103 c6703.org c6703

 

4. 下面在C6701执行，中间会调用ssh远程执行一些命令,验证ssh免密是否生效

ssh c6702 "cat /proc/cpuinfo"

ssh c6702 "hostname"

 

5. 下载安装软件（内网地址）

cd /tmp/software

wget http://192.21.104.48/deploy/jdk-8u144-linux-x64.tar.gz

wget http://192.21.104.48/deploy/zookeeper-3.4.6.tar.gz

wget http://192.21.104.48/deploy/hbase-1.1.3.tar.gz

wget http://192.21.104.48/deploy/hadoop-2.6.0-EDH-0u2.tar.gz

wget http://192.21.104.48/deploy/hadoop-2.7.1.tar.gz

 

6. 安装JDK，全部节点都要安装

#tar -xzvf  jdk-8u144-linux-x64.tar.gz -C /usr/local

 

7. 添加下面信息到.bash_profile

export JAVA_HOME=/usr/local/jdk1.8.0_144  

export JRE_HOME=/usr/local/jdk1.8.0_144/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

 

8. 检查版本信息

# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

 

 

~~~~~~~~~~~zookeeper的安装部分~~~~~~~~~~~~~~~~~

1. 在C6701安装Zookeeper

useradd zk

echo "zk:zk" | chpasswd

su - zk

mkdir zk

tar -zxvf /tmp/software/zookeeper-3.4.6.tar.gz -C /home/zk/zk

 

~~~~~~~~~~~~~zoo.cfg的配置~~~~~~~~~~~~~~~

$ pwd/home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg

$ cat /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg |grep -v '^#'

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data/zookeeper/data

dataLogDir=/data/zookeeper/log

clientPort=2181

autopurge.snapRetainCount=3

autopurge.purgeInterval=6

server.1=c6701:2888:3888

server.2=c6702:2888:3888

server.3=c6703:2888:3888~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

2. 根据zoo.cfg创建data和log两个文件夹

#mkdir -p /data/zookeeper/data#mkdir -p /data/zookeeper/log#chown -R zk:zk /data/zookeeper#chown -R zk:zk /data/zookeeper/data#chown -R zk:zk /data/zookeeper/log

 

3.在zookeeper的目录中，创建上述两个文件夹。进入zkdata文件夹，创建文件myid，填入1。这里写入的1，是在zoo.cfg文本中的server.1中的1。当我们把所有文件都配置完毕，我们把hadoop1中yarn目录复制到其它机器中，我们在修改每台机器中对应的myid文本，hadoop2中的myid写入2。其余节点，安照上面配置，依此写入相应的数字。Zkdatalog文件夹，是为了指定zookeeper产生日志指定相应的路径。

# su - zk -c "echo 1 > /data/zookeeper/data/myid"

 

4. 添加环境变量,在/etc/profile目录中,将ZOOKEEPER_HOME/bin在原有的PATH后面加入":$ZOOKEEPER_HOME/bin"

 

关于环境变量修改/etc目录下的profile文件，也可以在根目录下的.bashrc目录下添加环境变量。这两者有什么区别：.bashrc是对当前目录用户的环境变量，profile文件是对所有用户都开放的目录。当系统加载文件中，先从profile找相应的路劲，如果没有会在.bashrc文件中找对应的环境变量路径。这两者大家稍至了解。

然后 source /etc/profile

 

5. 安装c6702的zookeeper

#ssh c6702 "useradd zk"#ssh c6702 "echo "zk:zk" | chpasswd"

 

为zk用户ssh免密

#ssh-copy-id  zk@c6702

 

拷贝软件

#scp -r /tmp/software/hadoop-* root@c6702:/tmp/software#ssh c6702 "chmod 777 /tmp/software/*"

 

创建目录，解压软件

#ssh zk@c6702 "mkdir zk"#ssh zk@c6702 "tar -zxvf /tmp/software/zookeeper-3.4.6.tar.gz -C /home/zk/zk"#ssh zk@c6702 "ls -al zk"#ssh zk@c6702 "ls -al zk/zookeeper*"#ssh zk@c6702 "rm /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg"#scp -r /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg zk@c6702:/home/zk/zk/zookeeper-3.4.6/conf/.#ssh zk@c6702 "cat /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg |grep -v '^#'"

根据zoo.cfg创建目录#ssh c6702 "mkdir -p /data/zookeeper/data"#ssh c6702 "chown -R zk:zk /data/zookeeper"#ssh c6702 "chown -R zk:zk /data/zookeeper/data"#ssh c6702 "mkdir -p /data/zookeeper/log" #ssh c6702 "chown -R zk:zk /data/zookeeper/log"

创建文件myid，填入2

ssh zk@c6702  "echo 2 > /data/zookeeper/data/myid"

 

6. 安装c6703的zookeeper

#ssh c6703 "useradd zk"#ssh c6703 "echo "zk:zk" | chpasswd"

 

为zk用户ssh免密

ssh-copy-id  zk@c6703

 

拷贝软件

#scp -r /tmp/software/hadoop-* root@c6703:/tmp/software#ssh c6703 "chmod 777 /tmp/software/*"

 

创建目录，解压软件

#ssh zk@c6703 "mkdir zk"#ssh zk@c6703 "tar -zxvf /tmp/software/zookeeper-3.4.6.tar.gz -C /home/zk/zk"#ssh zk@c6703 "ls -al zk"#ssh zk@c6703 "ls -al zk/zookeeper*"#ssh zk@c6703 "rm /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg"#scp -r /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg zk@c6703:/home/zk/zk/zookeeper-3.4.6/conf/.#ssh zk@c6703 "cat /home/zk/zk/zookeeper-3.4.6/conf/zoo.cfg |grep -v '^#'"

 

根据zoo.cfg创建目录

#ssh c6703 "mkdir -p /data/zookeeper/data"#ssh c6703 "chown -R zk:zk /data/zookeeper"#ssh c6703 "chown -R zk:zk /data/zookeeper/data"#ssh c6703 "mkdir -p /data/zookeeper/log" #ssh c6703 "chown -R zk:zk /data/zookeeper/log"

创建文件myid，填入3

ssh zk@c6703  "echo 3 > /data/zookeeper/data/myid"

 

7. 启动ZK

/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh start/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh status

 

远程启动命令

ssh zk@c6702 "/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh\ start"

ssh zk@c6703 "/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh\ start"

ssh zk@c6702 "/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh\ status"

ssh zk@c6703 "/home/zk/zk/zookeeper-3.4.6/bin/zkServer.sh\ status"

 

 

8. 没有全部启动三个ZK前的状态

[vagrant@c7003 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by defaultUsing config: /home/vagrant/zookeeper-3.4.10/bin/../conf/zoo.cfg

Error contacting service. It is probably not running.

 

9. 需要将三个ZK全启动之后，才能选举出leader

$ ./zkServer.sh status

ZooKeeper JMX enabled by defaultUsing config: /home/vagrant/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: follower[vagrant@c7002 bin]$ ./zkServer.sh status

ZooKeeper JMX enabled by defaultUsing config: /home/vagrant/zookeeper-3.4.10/bin/../conf/zoo.cfgMode: leader

 

=======2018.1.13更新==========

客户端连接方式

客户端是随机顺序的方式连接server的，无法指定，或者优先读哪个一个zookeeper server。

./zkCli.sh -server c6701:2181,c6702:2181,c6703:2181

输出如下：

第一次连接，连接到c6701上

[zookeeper@c6702 bin]$ /usr/local/hadoop/zookeeper-3.4.6/bin/zkCli.sh -server c6701:2181,c6702:2181,c6703:2181

Connecting to c6701:2181,c6702:2181,c6703:2181......2018-01-11 21:07:30,797 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=c6701:2181,c6702:2181,c6703:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@4b4bc1e

Welcome to ZooKeeper!2018-01-11 21:07:30,830 [myid:] - INFO  [main-SendThread(c6701.python279.org:2181):ClientCnxn$SendThread@975] - Opening socket connection to server c6701.python279.org/192.168.67.101:2181. Will not attempt to authenticate using SASL (unknown error)

JLine support is enabled2018-01-11 21:07:30,873 [myid:] - INFO  [main-SendThread(c6701.python279.org:2181):ClientCnxn$SendThread@852] - Socket connection established to c6701.python279.org/192.168.67.101:2181, initiating session2018-01-11 21:07:30,916 [myid:] - INFO  [main-SendThread(c6701.python279.org:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server c6701.python279.org/192.168.67.101:2181, sessionid = 0x160e70285f70001, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

 

第二次连接，连接到c6702上

Connecting to c6701:2181,c6702:2181,c6703:2181......2018-01-11 21:10:18,442 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=c6701:2181,c6702:2181,c6703:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@4b4bc1e

Welcome to ZooKeeper!2018-01-11 21:10:18,489 [myid:] - INFO  [main-SendThread(c6702.python279.org:2181):ClientCnxn$SendThread@975] - Opening socket connection to server c6702.python279.org/192.168.67.102:2181. Will not attempt to authenticate using SASL (unknown error)

JLine support is enabled2018-01-11 21:10:18,508 [myid:] - INFO  [main-SendThread(c6702.python279.org:2181):ClientCnxn$SendThread@852] - Socket connection established to c6702.python279.org/192.168.67.102:2181, initiating session2018-01-11 21:10:18,561 [myid:] - INFO  [main-SendThread(c6702.python279.org:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server c6702.python279.org/192.168.67.102:2181, sessionid = 0x260e70284650002, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

 

 

 

至此，基础环境部署完。并且zookeeper也安装完成。下面我们会在下一篇文章中，继续安装HDFS。

 

转载于:https://www.cnblogs.com/mylovelulu/p/9521984.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/570506.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

四六级成绩查询，你的『验证码』刷出来了吗？

四六级成绩查询，你的『验证码』刷出来了吗？

沉浸在暑假余温里的小可爱们，今天被四六级成绩查询的验证码无情的伤害了一次。 就在8月22日，也就是今天上午9点，学霸们泰然自若，学渣们瑟瑟发抖，有的人甚至在心里考虑是否发微博、朋友圈谢谢超越姐姐（此时输…
阅读更多...
IOS自动化打包平台

IOS自动化打包平台

http://note.youdao.com/noteshare?iddf404ef54eaf2b5104478e05427550d5转载于:https://www.cnblogs.com/songhaozhi080616/p/9524758.html
阅读更多...
课时40：类与对象：一些相关的BIF

课时40：类与对象：一些相关的BIF

目录： 一、一些相关的BIF 二、、课时40课后习题及答案 ********************** 一、一些相关的BIF ********************** 1、issubclass（class,classinfo） 如果第一个参数（class）是第二个参数（classinfo…
阅读更多...
Visual Studio Code搭建NodeJs的开发环境

Visual Studio Code搭建NodeJs的开发环境

一、Visual Studio Code搭建NodeJs的开发环境 1.下载安装NodeJs并配置环境变量 可以参考：NodeJs的安装和环境变量配置 2.下载安装 VS Code编辑器 可以参考：VsCode插件整理 3.使用Typings工具配置VS Code 的智能提示 可以参考： VS Code智能提示…
阅读更多...
HashMap和Hashtable 线程安全性

HashMap和Hashtable 线程安全性

HashMap和Hashtable的比较是Java面试中的常见问题，用来考验程序员是否能够正确使用集合类以及是否可以随机应变使用多种思路解决问题。HashMap的工作原理、ArrayList与Vector的比较以及这个问题是有关Java 集合框架的最经典的问题。Hashtable是个过时的集合类&#…
阅读更多...
Luogu P1280 Niko的任务【线性dp】By cellur925

Luogu P1280 Niko的任务【线性dp】By cellur925

Nikonikoni~~ 题目传送门 这是当时学长讲dp的第一道例题，我还上去献了个丑，然鹅学长讲的方法我似董非董(??? 我当时说的怎么设计这道题的状态，但是好像说的是二维，本题数据范围均在10000级别，n肯定会空间炸掉的&…
阅读更多...
这项技术竟然一个字也不放过！

这项技术竟然一个字也不放过！

欢迎大家前往腾讯云社区，获取更多腾讯海量技术实践干货哦~ 本文由腾讯云AI中心发表于云社区专栏 摘要：在日常生活工作中，我们难免会遇到一些问题，比如自己辛辛苦苦写完的资料，好不容易打印出来却发现源文件丢了;收集了…
阅读更多...
AltiumDesigner17快捷键

AltiumDesigner17快捷键

画线CtrlW转载于:https://www.cnblogs.com/scrazy/p/9533996.html
阅读更多...
Capistrano deploy flow outline

Capistrano deploy flow outline

Official flow reference: 点击打开链接 An example flow: Deploy: starting Rbenv ensures that the version we configured on config/deploy.rb is installed and that it can write on disc. Checks git repository Create needed folder tree /var/www App_name Shared Pu…
阅读更多...
nginx应用geoip模块，实现不同地区访问不同页面的需求(实践版)

nginx应用geoip模块，实现不同地区访问不同页面的需求(实践版)

https://www.52os.net/articles/configure-nginx-using-geoip-allow-whitelist.html 搞了几天没有搞定，这篇文章一下子解决了问题，点赞 记得nginx编译时一定要加载geoip这个模块 https://blog.csdn.net/beyond__devil/article/details/52838422 …
阅读更多...
GoCD notes

GoCD notes

Every task in a job is run as an independent program.Changes made by a task to any of its environment variables will not affect subsequent tasks.Changes made by a task on the file system will be visible to subsequent tasks.
阅读更多...
给网页标题添加icon小图标

给网页标题添加icon小图标

so easy: 给网页标题添加icon小图标: 直接在html文件的head部分添加下面代码&#xff08;注意href的路径&#xff09;&#xff1a; <link rel"icon" type"image/x-icon" href"../static/images/brand.jpg" />转载于:https://www.cnblogs.c…
阅读更多...
百练2815:城堡问题（DFS）

百练2815:城堡问题（DFS）

描述 1 2 3 4 5 6 7 ############################# 1 # | # | # | | # #####---#####---#---#####---# 2 # # | # # # # # #---#####---#####---#####---# 3 # | | # # # # # #---#########---#####---#---#…
阅读更多...
C++实现二叉树的相应操作

C++实现二叉树的相应操作

1. 二叉树的遍历&#xff1a;先序&#xff08;递归、非递归&#xff09;&#xff0c;中序&#xff08;递归、非递归&#xff09;&#xff0c;后序&#xff08;递归、非递归&#xff09;。 #include <iostream> #include <string> #include <stack>using name…
阅读更多...
MAC 修改文件夹以及子文件夹和子文件权限 以及 修改文件夹owner

MAC 修改文件夹以及子文件夹和子文件权限 以及 修改文件夹owner

1. 打开Finder&#xff0c;找到想要修改权限的文件夹&#xff0c;打开文件信息对话框。 两种打开方式&#xff1a; 右击文件夹&#xff0c;选择“get info”。 使用“ctrli”。 在弹出对话框底部的“Sharing&Permission” section可以查看文件夹权限信息&#xff1a;N…
阅读更多...
windows中使用scrapyd遇到的问题

windows中使用scrapyd遇到的问题

1.window下‘scrapyd_deploy’不是内部或外部命令&#xff0c;也不是可运行的程序 在windows上使用scrapyd-client 安装后&#xff0c;并不能使用相应的命令scrapyd-deploy 需要在"C:\Python27\Scripts" 目录下 增加scrapyd-deploy.bat文件 内容填充为&#xff1a; …
阅读更多...
MAC 设置$PATH 关闭terminal后就失效 解决方案

MAC 设置$PATH 关闭terminal后就失效 解决方案

1 目标 修改$PATH的值 2 问题 在terminal中修改了$PATH&#xff0c;关闭terminal或者换个terminal就不存在了。具体例子&#xff1a; 2.1 查看$PATH当前值 在terminal中输入 echo $PATH2.2 修改$PATH值 此例将/test/folder 加到$PATH的后面。 在terminal中输入 export …
阅读更多...
MAC 更新 PHP 指南 以及 PHP常用命令示例

MAC 更新 PHP 指南 以及 PHP常用命令示例

OS: Mac OS X EI Capitan 当前PHP版本&#xff1a;5.5.30 升级后PHP版本&#xff1a;7.0.11 升级步骤参考&#xff1a;https://coolestguidesontheplanet.com/upgrade-php-on-osx/ 1. 安装新版本PHP&#xff1a; 打开terminal&#xff0c;运行&#xff1a; curl -s http://…
阅读更多...
mac 鼓捣php 多版本切换

mac 鼓捣php 多版本切换

php-v 和 phpinfo()不一样 1.切换httpd.conf 里面的.so文件 2.sudo vi ~/.zshrc 切换 export PATH"/usr/local/opt/php7.1/bin:$PATH"export PATH"/usr/local/opt/php7.1/sbin:$PATH"#export PATH"/usr/local/opt/php7.0/bin:$PATH"#export PATH…
阅读更多...
【刷题】BZOJ 2194 快速傅立叶之二

【刷题】BZOJ 2194 快速傅立叶之二

Description 请计算C[k]sigma(a[i]*b[i-k]) 其中 k < i < n &#xff0c;并且有 n < 10 ^ 5。 a,b中的元素均为小于等于100的非负整数。 Input 第一行一个整数N,接下来N行&#xff0c;第i2..iN-1行&#xff0c;每行两个数&#xff0c;依次表示a[i],b[i] (0 < i …
阅读更多...
最新文章

Copyright @ 2022~2023