Centos7完全分布式搭建Hadoop2.7.3

(一)软件准备

1,hadoop-2.7.3.tar.gz(包)

2,三台机器装有cetos7的机子

(二)安装步骤

  1,给每台机子配相同的用户

    进入root : su root

    创建用户s:  useradd s

    修改用户密码:passwd s

  2.关闭防火墙及修改每台机的hosts(root 下)

    vim /etc/hosts  如:(三台机子都一样)

    vim /etc/hostsname:如修改后参看各自的hostname

    关闭防火墙:

      systemctl stop firewalld.service

      禁用防火墙:systemctl disable firewalld.service

      查看防火墙状态firewall-cmd --state

      重启 reboot

  3,为每台机的用户s配置ssh,以用户s身份登录  (一定要相同的用户,因为ssh通信默认使用相同用户身份访问另一台机子)

    1,root 用户下修改: vim /etc/ssh/sshd_config,设置这三项后,执行service sshd restart

     2,退出root,在用户s下操作

      生成密钥对: ssh-keygen -t dsa(一路回车即可)

      转入ssh目录下:cd .ssh

      导入公钥: cat id_dsa.pub >>  authorized_keys

      修改authorized_keys权限:chmod 644       

      authorized_keys  (修改权限,保证自己免密码能登入)

      验证  ssh Master (在三台机都执行相同的操作)

    3,实现master-slave免密码登录

      在master 上执行:   cat ~/.ssh/id_dsa.pub | ssh s@Slave1 'cat - >> ~/.ssh/authorized_keys'      

                cat ~/.ssh/id_dsa.pub | ssh s@Slave2 'cat - >> ~/.ssh/authorized_keys '  

      验证 :ssh Slave1


 (三 )配置Hadoop集群

    1,解压hadoop和建立文件

      root用户下:tar zxvf  /home/hadoop/hadoop-2.7.3.tar.gz -C /usr/  

       重命名:mv hadoop-2.7.3 hadoop

       授权给s: chown -R  s /usr/hadoop

    2,创建hdfs相关文件(三台机子都需要操作)

      创建存储hadoop数据文件的目录: mkdir /home/hadoopdir

      存储临时文件,如pid:mkdir /home/hadoopdir/tmp

      创建dfs系统使用的dfs系统名称hdfs-site.xml使用:mkdir /home/hadoopdir/dfs/name

      创建dfs系统使用的数据文件hdfs-site.xml文件使用:mkdir  /home/hadoopdir/dfs/data

       授权给s: chown -R  s /home/hadoopdir

     3,配置环境变量(三台机子都需要操作)

     root用户下:vim /etc/profile  添加如图: 保存退出后:source /etc/profile

          验证:hadoop version(这里要修改  /usr/hadoop/etc/hadoop/hadoop-env.sh,即export JAVA_HOME=/usr/lib/jvm/jre)

     4,配置hadoop文件内容

      4.1 修改core-site.xml        

复制代码
<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoopdir/tmp/</value><description>A base for other temporary   directories.</description></property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property>
</configuration>
复制代码

     4.2 修改hdfs-site.xml文件

复制代码
<configuration><property><name>dfs.namenode.name.dir</name><value>file:///home/hadoopdir/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///home/hadoopdir/dfs/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>
</configuration>
复制代码

    4.3 修改mapred-site.xml

复制代码
<configuration>         
<property> <name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property><property><name>mapreduce.jobtracker.http.address</name><value>Master:50030</value></property><property><name>mapred.job.tracker</name><value>Master:9001</value></property>
</configuration>
复制代码

    4.4 修改 yarn-site.xml

复制代码
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property>                                                               
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
<property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.resourcemanager.address</name><value>Master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Master:8088</value></property>
</configuration>
复制代码

    4.5,修改 slaves文件

      

   5,搭建集群(普通用户s)

     格式hadoop文件:hadoop  namenode -format  (最后出现“util.ExitUtil: Exiting with status 0”,表示成功)

     发送dfs内容给Slave1:scp  -r /home/hadoopdir/dfs/*  Slave1:/home/hadoopdir/dfs

      发给dfs内容给Slave2:scp  -r /home/hadoopdir/dfs/*  Slave2:/home/hadoopdir/dfs

     发送hadoop文件给数据节点:scp -r /usr/hadoop/*  Slave1:/usr/hadoop/  scp -r /usr/hadoop/*  Slave2:/usr/hadoop/

   6,启动集群

    ./sbin/start-all.sh

      1,jps(centos 7 默认没有,可以参照这里安装)查看:Master和Slave中分别出现如下所示:

      

      2,离开安全模式(master): hadoop dfsadmin  safemode  leave

       查看结果:hadoop dfsadmin -report,如图

      3,登录网页查看:http://Master:50070  (查看live node)    查看yarn环境(http://Master/8088)

        

 

  (四) 参考网页:

      1,Ubuntu16.04 完全分布式搭建Spark2.0

      2,Cetos6详细搭建hadoop集群

      3,SSH集群搭建

      4,livenode 为0 异常汇总(我就是第二种情况)

转载于:https://www.cnblogs.com/xieyulin/p/7061230.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/400633.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python学习笔记:遍历目录

import os import os.pathif __name__ __main__:root_dirg:\\downloadfor root, dirs, files in os.walk(root_dir):for dir in dirs:print root%s dir%s % (root,dir)#print rootroot dirdirfor file in files:print root%s file%s % (root,file)#print rootroot fiefile 转载…

LeetCode - Majority Element

参考了别人的想法&#xff0c;思路简洁&#xff0c;效率高。虽然是在充分理解别人的思路后写出的代码&#xff0c;但是还是发现了自己的不足之处。以后还是要多思考多写。加油吧&#xff01; public class Solution {public int majorityElement(int[] num) {int ans 0, cnt …

第7章:图像的平滑处理

第7章&#xff1a;图像的平滑处理一、均值滤波&#xff1a;二、方框滤波&#xff1a;三、高斯滤波&#xff1a;四、中值滤波五、双边滤波&#xff1a;六、2D卷积​ 图像的平滑处理是在尽量图像原有信息的情况下&#xff0c;过滤掉图像内部的噪声。由于图像平滑处理的同时通常伴…

【树莓派学习笔记】三、点亮一个LED灯(C语言 - WiringPi、Python - RPi.GPIO/GPIO Zero、bash脚本)

目录C语言WiringPiPythonRPi.GPIOGPIO Zerobash脚本平台&#xff1a;树莓派3B 版本&#xff1a; 2021-05-07-raspios-buster-armhf 若GPIO输出为3.3V 采用压降为1.7V的红色LED灯 设工作电流为15mA&#xff0c;则限流电阻取≥(3.3 - 1.7)/0.015 106.67欧较为安全。 C语言 Wi…

codevs1014 装箱问题

题目描述 Description有一个箱子容量为V&#xff08;正整数&#xff0c;0&#xff1c;&#xff1d;V&#xff1c;&#xff1d;20000&#xff09;&#xff0c;同时有n个物品&#xff08;0&#xff1c;n&#xff1c;&#xff1d;30&#xff09;&#xff0c;每个物品有一个体积&am…

OpenStack 之Nova添加扩展API流程,附带资源的查找功能

例子中涉及到SQLAlchemy 得相关操作&#xff0c;可以参考 上一随笔 Openstack 中规定&#xff0c;扩展openstack得api有两种方式 创建新的WSGI 资源扩展原有得WSGI资源得控制器&#xff08;我得理解是&#xff0c;接受到API请求后&#xff0c;具体得响应逻辑&#xff09;这两种…

转载:ASP.NET在后台代码实现个功能,根据选择提示用户是否继续执行操作

这种情况是指在后台处理一个HTTP Post命令时将时序重新交给浏览器端&#xff0c;然后运行javascript&#xff0c;然后再回到服务器端&#xff0c;然后继续进行后边的操作。如果你会画时序图&#xff0c;就可以发现这种有着两个来回通讯的程序比大多数所知道的那种只有一个来回的…

第8章:形态学操作

第8章&#xff1a;形态学操作one. 腐蚀操作&#xff1a;two. 膨胀&#xff1a;three. 通用形态学函数&#xff1a;four. 开运算&#xff1a;five. 闭运算&#xff1a;six. 形态学梯度运算&#xff1a;seven. 礼帽运算&#xff1a;eight. 黑帽运算&#xff1a;night. 核函数&…

【树莓派学习笔记】四、OpenCV的安装与卸载

目录安装修改host以连接上Github测试IP修改树莓派的hosts安装各种依赖包安装OpenCV只安装核心模块安装核心模块和opencv_contribC Opencv 测试编写测试源码编译测试卸载平台&#xff1a;树莓派3B 版本&#xff1a; 2021-05-07-raspios-buster-armhf 安装 修改host以连接上Git…

MySQL ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

今天在使用mysql时&#xff0c;又遇到了如博文标题所示的问题&#xff0c;以前针对该问题未进行记录&#xff0c;今天特意进行说明存档。 该问题是由键值字段长度过长导致。mysql支持数据库表单一键值的最大长度不能超过767字节&#xff0c;超出这个长度即报错&#xf…

转载:用大白话聊聊分布式系统

转载&#xff1a;http://blog.csdn.net/zhousenshan/article/details/71304922?locationNum10&fps1转载于:https://www.cnblogs.com/wdh1995/p/7067985.html

IE 弹出框处理经验

//各屏幕弹出窗样式 // 1366*768var style_1366x768 "dialogWidth:950px;dialogHeight:650px;help:no;center:yes;status:no;resizable:no;location:yes;"; //弹出窗口示例代码function showDialog(url,title,style) { window.showModalDialog(url, title, style…

第9章:图像梯度

第9章&#xff1a;图像梯度one. Sobel理论基础1. 计算水平方向偏导数的近似值2. 计算垂直方向偏导数的近似值two. Sobel算子及函数的使用:1. 函数语法&#xff1a;2. 对像素取绝对值&#xff1a;3. 方向&#xff1a;three. Scharr 算子及函数使用:1. 函数语法&#xff1a;2. 实…

FreeBSD9.1安装Gnome2桌面

1. #pkg_add -r xorg gnome2 gdm2. #ee /etc/rc.conf  加入hald_enable"YES" dbus_enable"YES gdm_enable"YES" gnome_enable"YES" 3. # /usr/local/etc/rc.d/dbus start # /usr/local/etc/rc.d/hald start4. # ee /etc/fstab 加入pro…

【树莓派学习笔记】五、处理、自动重命名并另存为图片

目录编写源码编译测试平台&#xff1a;树莓派3B 版本&#xff1a; 2021-05-07-raspios-buster-armhf 编写源码 所用源码修改自【机器视觉学习笔记】最近邻插值实现图片任意角度旋转&#xff08;C&#xff09; 在合适的地方编写源码 nano main.cpp#include <opencv2/openc…

【bzoj3744】Gty的妹子序列 分块+树状数组+主席树

题目描述 我早已习惯你不在身边&#xff0c;人间四月天 寂寞断了弦。回望身后蓝天&#xff0c;跟再见说再见……某天,蒟蒻Autumn发现了从 Gty的妹子树(bzoj3720) 上掉落下来了许多妹子,他发现她们排成了一个序列,每个妹子有一个美丽度。Bakser神犇与他打算研究一下这个妹子序列…

Linux系统软件包的管理   3月30日课程

Linux系统软件包的管理一、 rpm工具rpm Redhat Package Manager&#xff0c; 设计理念是开放的&#xff0c;不仅仅是在RedHat平台上&#xff0c;在SUSE上也是可以使用的。rpm包名字构成由-和.分成了若干部分&#xff0c;如abrt-cli-2.0.8-15.el6.centos.i686.rpm&#xff0c;ab…

第10章:Canny图像边缘检测

第10章&#xff1a;Canny图像边缘检测一、Canny边缘检测的基础&#xff1a;1. 应用高斯滤波去除图像噪声&#xff1a;2. 计算梯度3.非极大值抑制4. 应用双阈值确定边缘&#xff1a;二、Canny函数使用&#xff1a;​ Canny边缘检测是一种使用多级边缘检测算法检测边缘的方法。19…

【树莓派学习笔记】六、启用摄像头、实时视频、录像和截图

目录安装摄像头配置使用luvcview平台&#xff1a;树莓派3B 版本&#xff1a; 2021-05-07-raspios-buster-armhf 安装摄像头 配置 sudo raspi-config重启后 cd /dev ls可看到新增了video0设备 使用luvcview 安装 sudo apt-get install luvcview查看摄像设备详细信息 luv…

https 与 http

HTTPS,HTTP over SSL,SSL是解决传输层安全问题的网络协议&#xff0c;其核心是基于公钥密码学理论实现了对服务器身份认证&#xff0c;数据的私密性保护以及对数据完整性的校验等功能。 SSL协议在HTTP请求开始之前增加了握手阶段&#xff0c;SSL/TLS握手———加密的HTTP请求—…