搭建分布式hadoop2.x集群

前期准备:

     1.我这里用了三台虚拟机,.默认已经配置好静态IP和IP域名映射,它们相互之间可以ping通

         第一台:192.168.174.131      hadoopNumber01.medal.com

         第二台:192.168.174.132      hadoopNumber02.meda.com

         第三台:192.168.174.133      hadoopNumber03.medal.com

     2.虚拟机最好不要连上网,因为我们后面用的是离线方式安装

一、搭建前的系统设置

    1.将三台虚拟机切换到root用户,禁用IPv6

      命令是:#echo "alias net-pf-10 off"  >> /etc/modprobe.d/dist.conf

          #echo "alias ipv6 off"  >> /etc/modprobe.d/dist.conf

    2.配置普通用户的sudo权限

      命令是:#chmod  u+w   /etc/sudoers

          #vi   /etc/sudoers

             在第一行加上:用户名  ALL=(root)NOPASSWD:ALL

            因为我是以xunzhang这个用户登录的,所以我加上xunzhang ALL=(root)NOPASSWD:ALL

          #chmod  u-w  /etc/sudoers

    3.关闭防火墙

      命令是:$sudo  service iptables stop

          $sudo  chkconfig  iptables  off

    4.禁用selinux

      命令是:$sudo  vi  /etc/sysconfig/selinux

            修改内容:SELINUX= disabled

    5.卸载JdK

      命令是:$sudo  rpm  -qa | grep  java

          $sudo  rpm  -e  --nodeps  xxx   yyy   zzz

    6.设置文件打开数量和用户最大进程数

      命令是:$sudo  vi  /etc/security/limits.conf

          加上内容:

              *  soft   nofiles   65535

              *  hard  nofiles   65535

              *  soft    nproc    32000

              *  hard   nproc    32000

    7.设置集群时间同步(ntp),前提是三台虚拟机之间已经配置ssh免密钥登录

      比如说我现在设置第二台和第三台虚拟机与第一台虚拟机进行时间同步

          1>首先检查第一台虚拟机有没有安装ntp软件,命令是:#rpm  -qa | grep ntp,默认系统已经自带了

         2>编辑配置文件ntp.conf

          命令是:#vi  /etc/ntp.conf

           去掉一行注释,将#restrict  192.168.1.0  mask 255.255.255.0  nomodify  notrap,去掉注释,并将其改成192.168.174.0,因为我的ip是在这个网段里面

           加上三行注释,将service  0.centos.pool.ntp.ort和service  1.centos.pool.ntp.org还有service  2.centos.pool.ntp.org这三行注释掉

           去掉两行注释,将末尾的server  127.127.1.0    #local   clock 和 fudge  127.127.1.0  stratum   10 ,这两行的注释去掉

       3>编辑配置文件ntpd

         命令是:#vi  /etc/sysconfig/ntpd

            内容是:# Drop  root  to id  'ntp:ntp'  by  default.

                SYNC_HWCLOCK =yes

                OPTIONS="-u  ntp:ntp  -p  /var/run/ntpd.pid   -g"

       4>启动服务

         命令是:#service  ntpd  start

             #chkconfig   ntpd  on

       5>在另外两台虚拟机上,写脚本,进行时间的同步

          在第二台虚拟机上,切换到root用户,设置同步

             命令是:crontab  -e

               加上如下内容:

                  0-59 * * * * /usr/sbin/ntpdate  hadoopNumber01.medal.com

                  注意:在这里每个*号之间有一个空格,后面这个域名是我第一台主机的主机名

          在第三台虚拟机上,也做如第二台虚拟机相同的操作

二、搭建Hadoop2.x集群

  1、安装JDK

    1>上传JDK安装包,并将其解压到/opt/modules目录下

    2>配置环境变量

      命令是:sodu  /etc/profile

      在最后加上:###########  JAVA_HOME ##################

            export  JAVA_HOME=/opt/modules/jdk1.7.0_79 (jdk所在的路径),我的jdk是在/opt/modules/下

            export  CLASSPATH=/opt/modules/jdk1.7.0_79/lib

            export  PATH=$PATH:$JAVA_HOME/bin

    3>重启配置文件/etc/profile

      命令是:source  /etc/profile

    4>将jdk分发到另外两台虚拟机中

      命令是:cd  /opt/modules/

          scp -r * xunzhang@hadoopNumber02.medal.com:/opt/modules

          scp -r * xunzhang@hadoopNumber03.medal.com:/opt/modules

     最后在另外两台虚拟机上配置java环境变量

  2.安装Hadoop2.x(我这里是2.5.0)

    1>上传hadoop安装包,并将其解压到/opt/modules目录下,进入hadoop-2.5.0-cdh5.3.6目录下,创建临时缓存目录

        命令是:mkdir  -p  tmp/dir

    2>进入hadoop-2.5.0-cdh5.3.6/ect/hadoop目录下,修改配置文件

      第一个:core-site.xml       

        <configuration>
          <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoopNumber01.medal.com:8020</value>
          </property>
          <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/modules/hadoop-2.5.0-cdh5.3.6/tmp/dir</value>
          </property>
        </configuration>

      第二个:hdfs-site.xml        

        <configuration>
          <property>
            <name>dfs.replication</name>
            <value>2</value>
          </property>
          <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoopNumber02.medal.com:50090</value>
          </property>
        </configuration>

     第三个:mapred-site.xml

        <configuration>
          <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
          </property>
        </configuration>

     第四个:yarn -site.xml

        <configuration>
          <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoopNumber01.medal.com</value>
          </property>
          <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
          </property>
        </configuration>

     第五个:slaves

          hadoopNumber01.medal.com
          hadoopNumber02.medal.com
          hadoopNumber03.medal.com

     第六个:hadoop-env.sh

          配置java的路径:export JAVA_HOME=/opt/modules/jdk1.7.0_79

     第七个:mapred-env.sh

          配置java的路径:export JAVA_HOME=/opt/modules/jdk1.7.0_79

  3.将hadoop分发到其它虚拟机上

     前提:三台虚拟机它们的目录结构,和用户名完全一样

     命令:  scp core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop-env.sh mapred-env.sh                                                                                                          xunzhang@hadoopNumber02.medal.com:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

            scp core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop-env.sh mapred-env.sh                                                                                                          xunzhang@hadoopNumber03.medal.com:/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/

  4.格式化hdfs文件系统

    在第一台虚拟机上

      命令:bin/hdfs namenode -format

          如果没有错误,就继续向下执行,有错误就查看日志信息,进行改正

         sbin/start-dfs.sh

         sbin/start-yarn.sh

至此,集群搭建完成

转载于:https://www.cnblogs.com/medal-li/p/7460423.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/253570.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ortp库使用入门

原创作品&#xff0c;允许转载&#xff0c;转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://ticktick.blog.51cto.com/823160/345642 我们知道&#xff0c; RTP&#xff08;Real-timeTransportProtocol&#xff09;是用于Internet上…

可测性设计技术

传统的设计过程和测试过程是分开的&#xff0c;而且测试往往只在设计阶段的后期才被考虑。近年来&#xff0c;测试越来越早地被考虑并出现在设计过程中&#xff0c;被称为“可测性设计”。可测性设计的主要思路就是在设计之初就考虑关于测试方面的设计&#xff0c;并在设计阶段…

优酷电视剧爬虫代码实现一:下载解析视频网站页面(3)补充知识点:htmlcleaner使用案例...

htmlcleaner 下载地址&#xff1a;htmlcleaner2_1.jar 源码下载&#xff1a;htmlcleaner2_1-all.zip 写一个测试用的html文件&#xff1a;html-clean-demo.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional" "http://www.w3.org/TR/xhtml1/D…

小程序开发-利用canvas实现保存二维码海报到本机

场景及需求 在小程序开发过程中&#xff0c;经常需要实现保存某个页面为带小程序码的二维码海报图片到本地&#xff0c;然后用于分享或者发朋友圈等操作。 主要技术点及小程序相关api 技术注意事项 小程序的canvas与H5 canvas使用api大部分一致&#xff0c;但由于小程序中没有D…

Docker系统六:Docker网络管理

Docker网络 I. Docer的通信方式 默认情况下&#xff0c;Docker使用网桥&#xff08;brige&#xff09; NAT的通信模型. Docker启动时会自动创建网桥Docker0&#xff0c;并配置ip 172.17.0.1/16 ifconfig docker0 docker0 Link encap:Ethernet HWaddr 02:42:e0:31:ac:10inet …

pthread_cond_wait

1. 首先pthread_cond_wait 的定义是这样的 The pthread_cond_wait() andpthread_cond_timedwait() functions are used to block on a condition variable. They are called withmutex locked by the calling thread or undefined behaviour will result. These functions ato…

HDU 1525 Euclid's Game

题目大意&#xff1a; 题目给出了两个正数a.b 每次操作&#xff0c;大的数减掉小的数的整数倍。一个数变为0 的时候结束。 谁先先把其中一个数减为0的获胜。问谁可以赢。Stan是先手。 题目思路&#xff1a; 无论a,b的值为多少&#xff0c;局面&#xff1a;[a%b&#xff0c;b] 一…

SRAM BIST技术学习

MBIST 方法是目前大容量存储器测试的主流技术&#xff0c;该技术利用芯片内部专门设计的BIST 电路进行自动化测试&#xff0c;能够对嵌入式存储器这种具有复杂电路结构的嵌入式模块进行全面的测试。MBIST 电路将产生测试向量的电路模块以及检测测试结果的比较模块都置于芯片的内…

【Zigbee技术入门教程-02】一图读懂ZStack协议栈的核心思想与工作机理

【Zigbee技术入门教程-02】一图读懂ZStack协议栈的核心思想与工作机理 广东职业技术学院 欧浩源 Z-Stack协议栈是一个基于任务轮询方式的操作系统&#xff0c;其任务调度和资源分配由操作系统抽象层OSAL管理着。 你可以理解为&#xff1a;Z-Stack协议栈 OSAL操作系统 CC25…

CMOS图像传感器——SmartSens

近年来CIS发展成为增量市场,国产CIS厂商也踊跃布局,给业界带来许多惊喜。思特威(上海)电子科技股份有限公司(SmartSens)正是国产CIS中亮眼的一家厂商。数据显示,2020年思特威安防监控市场的CIS芯片出货量为1.46亿颗,继续位居全球出货量TOP1的位置;同年,思特威的新兴领…

Servlet第二篇【Servlet调用图、Servlet细节、ServletConfig、ServletContext】

Servlet的调用图 前面我们已经学过了Servlet的生命周期了&#xff0c;我们根据Servlet的生命周期画出Servlet的调用图加深理解 Servlet的细节 一个已经注册的Servlet可以被多次映射 同一个Servlet可以被映射到多个URL上。 <servlet><servlet-name>Demo1</servle…

vue响应式原理

vue响应式原理 initState new Vue() > _init() > initState: function initState (vm: Component) {vm._watchers []const opts vm.$optionsif (opts.props) initProps(vm, opts.props)if (opts.methods) initMethods(vm, opts.methods)if (opts.data) {initData(vm)} …

Oracle数据库管理与开发pdf

下载地址&#xff1a;网盘下载基本介绍编辑内容简介Oracle是一个适合于大中型企事业的数据库管理系统&#xff0c;在银行、电信、移动通信、航空、保险、金融、气象、铁路、跨国公司和电子商务等诸多领域得到了广泛的应用。据统计&#xff0c;在所有数据库管理系统中&#xff0…

DVS/DVR区别

一、DVS &#xff08;Digital Video Server&#xff09;网络视频服务器的简称。DVS(网络视频服务器)的原理网络视频服务器主要实现模拟视音频信号的IP 化。经数字化的视音频信号MPEG-4 视频压缩算法和G.729/ADPCM 音频压缩算法进行压缩编码&#xff0c;然后通过IP 网将低码率的…

自动对焦方法学习

实现自动对焦的方法有很多种,可以根据不同的工作原理,将自动对焦技术分成不同种类。 按照系统是否自带信号发射系统,可以分为主动式与被动式两种类型。 主动式对焦方法是由成像系统中的发射装置发出信号,然后再由接收装置接收从被摄景物所反射回来的反馈信号并利用通过计算…

微粒化运营:升级内容产业消费体验(附视频版)

那些最受欢迎的内容平台做对了什么&#xff1f; Facebook和Google是全球互联网广告产业中最早开始微粒化运营的代表&#xff0c;Google的互联网精准广告的思路与微粒化运营是完全相同的&#xff0c;这两家公司也因此获得了全球超过20%的互联网广告的收入。 以Facebook为例&…

mycat读写分离

只需要读写分离的功能&#xff0c;分库分表的都不需要。 涉及到的配置文件&#xff1a; 1.conf/server.xml 主要配置的是mycat的用户名和密码&#xff0c;mycat的用户名和密码和mysql的用户名密码是分开的&#xff0c;应用连接mycat就用这个用户名和密码。 <?xml version&q…

chisel快速入门(一)

一、概述 Chisel&#xff08;Constructing Hardware In a Scala Embedded Language&#xff09;是一种嵌入在高级编程语言Scala的硬件构建语言。Chisel实际上只是一些特殊的类定义&#xff0c;预定义对象的集合&#xff0c;使用Scala的用法&#xff0c;所以在写Chisel程序时实际…

DVS/DVR常见的监控名词

英文名词 说明BNC 全称Bayonet Nut Connector&#xff0c;一种用于同轴电缆的连接器DHCP 动态主机配置协议&#xff0c;用于动态地指派配置信息DNS 域名系统&#xff0c;以用户友好的方式将名字转换为…

导出数据生成excel

前台&#xff1a; <asp:Button ID"btnMoney" runat"server" Text"经费使用总结表" CssClass"admin_cx marginleft" Height"25" OnClick"btnMoney_Click" /> 后台&#xff1a; protected void btnMoney_Cli…