hadoop分布式搭建

一,前提:下载好虚拟机和安装完毕Ubuntu系统。因为我们配置的是hadoop分布式,所以需要两台虚拟机,一台主机(master),一台从机(slave)

       选定一台机器作为 Master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境

       在 Master 节点上安装 Hadoop,并完成配置

       在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境

       将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上

        在 Master 节点上开启 Hadoop

二,在Ubuntu中打开终端,可使用快捷键ctrl+alt+t

      1.首先要搭建好java环境,这时候,Ubuntu安装的时候默认是nat的网络连接,可通过执行命令:

            sudo apt-get install openjdk-8-jre openjdk-8-jdk

         回车,这时候会要求你输入密码,就是安装的时候 你自己设置的密码,输入密码你是不到的,不管它,直接回车,下载的时候会需要一些时间

        下载完毕后,还要安装  ssh  和  vim

         同样的做法:  sudo apt-get install openssh-server

                                 sudo apt-get install  vim

         执行  apt-get  命令的时候要保证网络是通的

        2,好,这时候已经下载完毕,java默认路径是在  /usr/lib/jvm/java-8-openjdk-amd64  

          我们这时候要配置java环境变量,在终端输入 :

            vim ~/.bashrc

           回车

          你就进到一个文件里面,这时候按快捷键   shift+G,跳到文件的最后面部分,你发现,不能够写入数据,按  i   ,进入  insert  模式,这时候输入

            export   JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

           写入完毕,按  esc  然后  shift+冒号(shift + :),然后   wq   (保存并退出)

        3,回到终端,输入

             source   ~/.bashrc

            使环境变量生效

       4.   在终端输入  javac -version出现 java的版本号则说明配置成功

三,ssh实现无密码登录

        1.            

           这时候操作是在master(主机)上,第四张图按两下,其中ip要怎么改呢?,打开你的本机的doc窗口,输入ipconfig,假如你的ip是192.168.41.128,则你的如图所示的ip改为192.168.41.129,记得保存,时候你的虚拟机的网络方式要由默认的  nat  改为桥接模式,怎么改?虚拟机主页左上角有个虚拟机,设置,网络适配器,改为桥接模式,确定。

         由于我们要配置的是hadoop分布式,一个主机一个从机,主机名是master,从机是slave

       2.   vim /etc/hostname

              修改你的用户名为master

            同样在slave中的  /etc/hostname改为slave

       3.    vim /etc/hosts

              添加  :192.168.31.129    master       

                           192.168.41.130    slave 

              重启

             通过ping master和ping  slave 是否成功

       4.  ssh-keygen -t rsa

          一直回车,生成公匙

            cat  ./id_rsa.pub  >>  ./authorized_keys

          授权

       5.   ssh  localhost

             会看到一个welcome页面,不用输入密码,要是还要输入密码,那就是前面的步骤出错了

            scp  ./authorized_keys   192.168.41.130:/home/hadoop/.ssh

             //   这个直接把授权好的钥匙复制到slave上。若是slave上没有.ssh目录,则先生成该目录,一般都有的,

         这一步完成后,执行

              ssh slave

           不用输入密码就可以登录slave。出现欢迎页面,到这里,完成Ubuntu无密码登录

四,hadoop的安装与配置

        1.   首先把下载好的hadoop压缩包解压到指定的文件夹 (hadoop文件:链接:https://pan.baidu.com/s/1kVahwYb 密码:qzpi)

              解压hadoop

               sudo tar  -zxf  hadoop-2.7.4.tar .gz  -C  /usr/local

               这时候的hadoop文件的压缩包是在   /home/hadoop  下,若是操作失败,检查该路径下是否有需要操作的文件

        2.  cd  /usr/local

             //    进入该路径,ls   看一下解压后的hadoop文件是否存在

             sudo  mv  hadoop-2.7.4   hadoop

             //    改hadoop-2.7.4为hadoop,改个文件名而已

            sudo  chown  -R  hadoop  ./hadoop

            //    -R把hadoop下的所有文件和文件夹都改变所属用户为hadoop用户

             cd  hadoop

             bin/hadoop version

           //   测试hadoop是否安装成功,若出现版本号,则说明安装成功

       3.接下来配置hadoop环境变量

          vim  ~/.bashrc

          添加

          export  HADOOP_HOME=/usr/local/hadoop

          export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP/sbin

          同样的

          source ~/.bashrc

          使环境变量生效

        4.修改5个配置文件

           slave

           core-site.xml

           hdfs-site.xml

           mapred-site.xml

           yarn-site.xml

           <1>    vim  /usr/local/hadoop/etc/slave

                    添加

                    salve

          <2>     vim /usr/local/etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property>
</configuration> 
View Code

           <3>     vim /usr/local/etc/hadoop/hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>Master:50090</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
View Code

            <4>    vim /usr/local/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
View Code

            <5>    vim /usr/local/etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
View Code

       5.配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。如果之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行:                        tar -zcf ~/hadoop.master.tar.gz ./hadoop 

                      cd ~

                      scp ./hadoop.master.tar.gz slave:/home/hadoop

          在slave上执行

                      sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local

                      sudo chown -R hadoop /usr/local/hadoop

          同样,如果有其他 Slave 节点,也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。

          首次启动需要先在 Master 节点执行 NameNode 的格式化:
                       hdfs namenode –format
          如果是centos系统,需要关闭防火墙

          这里可能会出现java环境配置不被发现的错误,只需要

                       vim  /usr/local/etc/hadoop/hadoop.env.sh

                       

           记得source ~/.bashrc

          接着可以启动 hadoop 了,启动需要在 Master 节点上进行:
                       start-dfs.sh
                       start-yarn.sh

           通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、

           在 Slave 节点可以看到 DataNode 和 NodeManager 进程,大功告成!!!

           第一次写文档,不足之处,请见谅

转载于:https://www.cnblogs.com/s42-/p/8099365.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/453816.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 第三方模块之 imgaug (图像增强)

imgaug是一个封装好的用来进行图像augmentation的python库,支持关键点(keypoint)和bounding box一起变换。 项目主页: imgaug doc 1. 安装和卸载 # 通过github安装 sudo pip install githttps://github.com/aleju/imgaug# 通过pypi安装 sudo pip install imgaug# 本地安装, …

MPEG(mpeg1,mpeg2,mpeg4) 与H264 QP值间 关系

H264 Quant与MPEG Quant数值参对表 x264vfw 的1pass 是按照I q:21P q:24B q:26的量化算的,而且在vfw里面不能改变这些参数.但在mencoder里则可以定义1pass的 qp_constant<1−51>这个和xvid不同的,xvid一般是用q2跑1pass的,当然你也可以在x264设置一下,但是要清楚的是 H.2…

maya脚本用python还是mel_替换/替换材质的Maya Python/MEL脚本

在CreativeCrash上有一个旧线程处理此问题。我在那里展示的脚本如下(请参阅原始线程了解更多信息)&#xff1a;proc connectAndSet(string $original, string $target){$conn connectionInfo -sfd $original;if ($conn ! ""){connectAttr -force $conn $target;} el…

FreeBSD长模式不兼容

二进制转换与此平台上的长模式不兼容。此虚拟环境中的长模式将被禁用。因此需要使用长模式的应用程序将无法正常运行。请参见 http://vmware.com/info?id152 了解更多详细信息。 mark转载于:https://www.cnblogs.com/tuhooo/p/8116442.html

Python 第三方模块之 numpy.random

本文概述 随机数是NumPy库中存在的模块。该模块包含用于生成随机数的功能。该模块包含一些简单的随机数据生成方法, 一些排列和分布函数以及随机生成器函数。 简单随机数据 简单随机数据具有以下功能&#xff1a; 1)p.random.rand(d0, d1, …, dn) 随机模块的此功能用于生…

xvid 详解 代码分析 编译等

1. Xvid参数详解 众所周知&#xff0c;Mencoder以其极高的压缩速率和不错的画质赢得了很多朋友的认同&#xff01; 原来用Mencoder压缩Xvid的AVI都是使用Xvid编码器的默认设置&#xff0c;现在我来给大家冲冲电&#xff0c;讲解一下怎样使用Mencoder命令行高级参数制作Xvid编…

s4800扫描电镜的CSS3_Hitachi S-4800型场发射扫描电子显微镜+能谱

一、主要部件&#xff1a;S-4800主机(包括真空系统、电子光学系统、检测器)、X射线能谱仪&#xff0c;E-1030喷金喷碳装置等。二、主要性能指标&#xff1a;二次电子分辨率&#xff1a;1.0 nm(15 kV)&#xff1b;2.0 nm(1 kV)&#xff1b;背散射电子分辨率&#xff1a;3.0 nm (…

很多人喜欢露脚踝你觉得时尚吗?

当然是 时尚时尚最时尚的 露&#xff01;****脚&#xff01;脖&#xff01;子&#xff01;image.png人生就是这么奇怪 美容整形可以让你拥有想要的五官 做个手术健个身能让你拥有梦寐的线条 唯独身高这事很难改变&#xff08;说多了都是泪&#xff09; 氮素呢 再难也难不倒众位…

深度学习之生成式对抗网络 GAN(Generative Adversarial Networks)

一、GAN介绍 生成式对抗网络GAN&#xff08;Generative Adversarial Networks&#xff09;是一种深度学习模型&#xff0c;是近年来复杂分布上无监督学习最具前景的方法之一。它源于2014年发表的论文&#xff1a;《Generative Adversarial Nets》&#xff0c;论文地址&#xf…

android object数组赋值_Java对象数组定义与用法详解

本文实例讲述了Java对象数组定义与用法。分享给大家供大家参考&#xff0c;具体如下&#xff1a;所谓的对象数组&#xff0c;就是指包含了一组相关的对象&#xff0c;但是在对象数组的使用中一定要清楚一点&#xff1a;数组一定要先开辟空间&#xff0c;但是因为其是引用数据类…

Fiddler抓取https证书问题

正常的使用方法 Fiddler 抓包工具总结 大部分问题的解决方案 fiddler4在win7抓取https的配置整理 像我脸一样黑的解决方案 Fiddler https 证书问题 可能的解释&#xff1a; Fiddler自带两个cert engine&#xff0c;一个是makecert&#xff0c;一个是CertEnroll&#xff0c;可…

深度学习之目标检测:R-CNN、Fast R-CNN、Faster R-CNN

object detection 就是在给定的图片中精确找到物体所在位置&#xff0c;并标注出物体的类别。object detection 要解决的问题就是物体在哪里&#xff0c;是什么这整个流程的问题。然而&#xff0c;这个问题不是容易解决的&#xff0c;物体的尺寸变化范围很大&#xff0c;摆放物…

九江机器人餐厅_机器人精通200道佳肴 九江学院来了多位机器厨神

九江学院来了多位“机器厨神”●炒菜机一次能炒近10公斤菜&#xff0c;三四分钟就能出锅&#xff0c;味道也不错●煮饭机从淘米到煮熟全部自动机械化操作&#xff0c;效率提高了不少电脑开启&#xff0c;设定好程序&#xff0c;机器就可以自动运转&#xff0c;快速炒出美味可口…

深度学习之边框回归(Bounding Box Regression)

从rcnn&#xff0c; fast rcnn, faster rcnn, yolo, r-fcn, ssd&#xff0c;到cvpr的yolo9000。这些paper中损失函数都包含了边框回归&#xff0c;除了rcnn详细介绍了&#xff0c;其他的paper都是一笔带过&#xff0c;或者直接引用rcnn就把损失函数写出来了。前三条网上解释比较…

2018 年,React 将独占web前端框架鳌头?

相比 Angular 和 Vue&#xff0c; React 是 2017 年的主要 JS 框架&#xff0c;尤其是 React Native 以前所未有的速度提升自己。 Stateofjs 2017前端框架调查结果 相比较 2016 年的调查结果 所以 &#xff0c;1 年过去了&#xff0c;Vue.js 显然在前端框架中占据了领导地位&am…

ffmpeg的编译(for x86,for arm)安装及使用(网络资料整理)

ffmpeg编译及使用 1 ffmpeg介绍 ffmpeg是音视频的分离&#xff0c;转换&#xff0c;编码解码及流媒体的完全解决方案&#xff0c;其中最重要的就是libavcodec库。它被mplayer或者xine使用作为解码器。还有&#xff0c;国内比较流行的播放器影音风暴或MyMPC的后端ffdshow也是使…

python中other_Python other

最新项目django tinymcewrapper允许您轻松地将tinymce小部件添加到其他应用程序管理表单中&#xff0c;而无需修改其他应用程序。此包Python名称&#xff1a;djang ...2020-12-24已阅读: n次##这是什么&#xff1f;愚蠢的服务器可以帮助您模拟一些尚未实现的http服务&#xff0…

python 第三方模块之 pandas 操作 excel

python 解析 excel 对比 包版本xls读xlsx读xls写xlsx写备注xlrd1.1.0&#xff08;2017年8月22日&#xff09;√√2.0 之后不支持xlsxxlwt1.3.0&#xff08;2017年8月22日&#xff09;√openpyxl2.6.2&#xff08;2019年3月29日&#xff09;√√XlsxWriter1.2.1&#xff08;201…

JMeter响应断言详解

响应断言 &#xff1a;对服务器的响应进行断言校验 &#xff08;1&#xff09;应用范围: main sample and sub sample&#xff0c; main sample only &#xff0c; sub-sample only &#xff0c; jmeter variable    关于应用范围&#xff0c;我们大多数勾选“main sample on…

YUV / RGB 格式及快速转换

YUV是指亮度参量和色度参量分开表示的像素格式&#xff0c;而这样分开的好处就是不但可以避免相互干扰&#xff0c;还可以降低色度的采样率而不会对图像质量影响太大。 YUV是一个比较笼统地说法&#xff0c;针对它的具体排列方式&#xff0c;可以分为很多种具体的格式。转载一篇…