Hadoop分布式集群搭建详细过程

1. 首先用五台机器搭建分布式,一个为master,剩下四个分别为slave01、slave02、slave03, slave04。

2. 修改机器名

    五台机器分别都执行sudo vim /etc/hostname命令,将文件中的内容分别改为master、slave01、slave02、slave03, slave04。

3. 重启机器,发现机器名修改成功。

4. 修改master的hosts文件,并拷贝到每台slave上。

    (1)修改hosts文件

              sudo vim /etc/hosts

5. 将hosts文件拷贝到另外两台台机器上,覆盖原来的hosts文件。

    master:

           scp /etc/hosts hadoop@slave01的IP:~

           scp /etc/hosts hadoop@slave02的IP:~

           scp /etc/hosts hadoop@slave03的IP:~

           scp /etc/hosts hadoop@slave04的IP:~

     slaver:

           sudo mv hosts /etc/hosts

6.  配置master免密登录

     master:

            ssh-keygen -t rsa

            cat .ssh/id_rsa.pub >> .ssh/authorized_keys

            scp .ssh/id_rsa.pub hadoop@slave01的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave02的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave03的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave04的IP:~/

      slave:

            cat id_rsa.pub >> .ssh/authorized_keys

7. 将hadoop-2.7.6文件从本地拖拽到虚拟机桌面,然后移动到/opt,然后进行解压。

    sudo mv hadoop-2.7.6.tar.gz /opt

    cd /opt

    sudo tar -zxvf hadoop-2.7.6.tar.gz

8. 编辑配置文件

    (1)编辑hadoop-env.sh文件

             sudo vim hadoop-env.sh

            改为:

  (2)编辑core-site.xml文件

           sudo vim core-site.xml

  (3)编辑mapred-site.xml文件  

           首先应通过复制mapred-site.xml.template得到mapred-site.xml文件,然后再进行编辑。

            cp mapred-site.xml.template mapred-site.xml

            sudo vim mapred-site.xml

  (4)编辑hdfs-site.xml文件

           sudo vim hdfs-site.xml

  (5)编辑masters文件

           sudo vim masters

           添加masters的IP地址到该文件

  (6)编辑slaves文件

           sudo vim slaves

           添加slave01、slave02、slave03、slave04的IP地址到该文件,并且删除localhost

9. 将配置文件拷贝到到各台slave

    master:

           scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoop@slave的IP地址:~

    slave:

            sudo mv *.xml /opt/hadoop-2.7.6/etc/hadoop

            sudo mv hadoop-env.sh masters slaves /opt/hadoop-2.7.6/etc/hadoop

10. 设置环境变量

      master:

            master上配置环境变量,然后将文件发给各台slave

            sudo vim /etc/profile

            source /etc/profile

            scp /etc/profile hadoop@slave的ip地址:~

       slave:

            sudo mv profile /etc/profile

            source /etc/profile

11. 更改hadoop-2.7.6的所属人和所属组(root用户)

      chown hadoop:hadoop -R hadoop-2.7.6/

      chmod 775  -R hadoop-2.7.6/

12. master格式化namenode

      ./hdfs namenode -format

       注:只格式化一次,若格式化多次可能导致VERSION不一致,启动namenode和datanode时报错。

              解决方法:

              ① 见https://blog.csdn.net/czw698/article/details/50507265

              ② 删除存name和data的目录,再重新格式化

13. 运行hadoop

       ./start-all.sh

14. 查看进程

      jps

      master进程:

      slave进程:

15. 停止hadoop

       ./stop-all.sh

           这里报错是因为防火墙问题,自己配置可能会出问题,可以选择关闭防火墙。

总结:搭建集群时,所有机器要拥有共同的用户,从而避免权限不够的错误;并且配置以及版本都应相同,否则可能会出现错误,尤其是在ssh免密登录时可能出现的错误最多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/491436.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

徐匡迪、潘云鹤等纷纷撰文,关于人工智能的最新判断都在这里了

来源:《前沿科学》编者按人工智能,近年来成为世界主要发达国家战略中的战略,力争抢占新一轮科技革命的制高点。在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术的驱动下,新一代人工智能加速发展,不断拓…

HDU 5600(瞎搞)

第一场Bestcoder居然爆零。。果然是too naive。。小聪明全部直接输出“YES”过了pretest,结果被叉也是&%$% 找到规律传递下就好。后来看官方题解感觉逼格好高。。然而就是瞎搞,找找规律就好 #include"cstdio" #include"queue" #…

常见25种深度学习模型的github代码

1 Feed forward neural networks (FF or FFNN) and perceptrons (P) 前馈神经网络和感知机,信息从前(输入)往后(输出)流动,一般用反向传播(BP)来训练。算是一种监督学习。 对应的代…

CCAI 2019 | 郑南宁:“自觉性AI技术”可助力无人驾驶

来源:人工智能前沿讲习CCAI 20192019年中国人工智能大会(Chinese Congress on Artificial Intelligence 2019,简称“CCAI 2019”)将于在9月21日-22日在青岛胶州召开。谷歌、特斯拉,百度、滴滴、蔚来……如今从国外到国…

使用Hadoop自带的例子wordcount实现词频统计

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用wordcount实现词频统计。具体步骤如下: 1. 启动Hadoop 切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令 或执行./start-dfs.sh和./start-yarn.sh两条命令 2. 在集群…

使用iozone和bonnie测试磁盘IO

测试linux设备的磁盘IO可以用的工具有很多,主要使用的是iozone和bonnie 1.iozone 安装: 1.下载放到/root目录下,解压文件夹 2.cd iozone3_434/src/current 3.make linux 使用: ./iozone -Rab /root/iozone.xls -s 2G -i 0 -i 1 -y…

使用Hadoop自带的例子pi计算圆周率

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用pi计算圆周率。若想了解其计算原理,参考:http://thinkinginhadoop.iteye.com/blog/710847。 具体步骤如下: 1. 启动Hadoop 切换到Hadoop安装目录下的sb…

.net core 生成jwt+swagger-通过 IHttpContextAccessor读取token信息

1.安装jwt相关包 <ItemGroup><PackageReference Include"Microsoft.AspNetCore.Authentication.JwtBearer" Version"6.0.25" /><PackageReference Include"Microsoft.IdentityModel.Tokens" Version"7.0.3" /><P…

NATURE 人工智能 | 神奇的粒子机器人

没想到吧&#xff0c;像细胞一样自由组合灵活多变的机器人正在从科幻电影中走出来。就像在伤口愈合是活细胞聚集并集体迁移的过程。在生物系统中&#xff0c;群体的大规模集体迁移是通过组件的耦合和协调来实现的&#xff0c;在伤口愈合的过程中&#xff0c;活细胞聚集并集体迁…

表单校验---struts2

一 写validate方伐 1 让你的Action继承ActionSupport类&#xff0c; 重写validate方法&#xff0c;&#xff08;或validateXxxx&#xff09; 判断&#xff0c;写入错误信息 jsp中用标签显示&#xff0c;struts。xml中配置转向的页面 package he.action;import java.util.Map;…

城市大脑与智慧城市前沿趋势

近年来&#xff0c;智慧城市建设出现新的动向&#xff0c;包括城市大脑、城市云脑、城市超级大脑、城市超脑、城市神经网络等“泛城市大脑”概念也大量涌现。杭州、上海、北京、广州等城市各自提出和开展了不同城市大脑建设方案&#xff0c;其中上海市开展了以建设城市神经元系…

python画图去掉边框

axplt.subplot(2,3,1) ... ax.spines[top].set_visible(False) ax.spines[right].set_visible(False) ax.spines[bottom].set_visible(False) ax.spines[left].set_visible(False)

在iOS 8中使用UIAlertController

iOS 8的新特性之一就是让接口更有适应性、更灵活&#xff0c;因此许多视图控制器的实现方式发生了巨大的变化。全新的UIPresentationController在实现视图控制器间的过渡动画效果和自适应设备尺寸变化效果&#xff08;比如说旋转&#xff09;中发挥了重要的作用&#xff0c;它有…

MapReduce分析NCDC 年气象数据最低温度与最高温度

利用hadoop计算技术对采集的气象数据信息进行处理&#xff0c;主要分两个阶段&#xff1a;mapper阶段和reducer阶段&#xff0c;mapper阶段主要是对日志文件进行按行读取并进行字符串截取&#xff0c;reducer阶段对mapper阶段传过来的数据进行大小比较&#xff0c;最终获取每一…

非侵入脑机接口新突破!用意念控制光标,连续追踪效果提升5倍

来源&#xff1a;智东西看点&#xff1a;CMU研究人员在使用非侵入式脑机接口开发了第一个成功用意念控制的机械臂&#xff0c;展现了连续追踪和跟踪计算机光标的能力。智东西6月23日消息&#xff0c;卡内基梅隆大学与明尼苏达大学的研究人员在非侵入式机器人设备控制领域取得了…

python用Matplotlib画箭头

plt.annotate(text,xy(tx0,ty0),xytext(tx1,ty1),arrowpropsdict(arrowstyle"->",connectionstyle"arc3")) 其中&#xff0c;text是在箭头末尾显示的文字&#xff0c;xy是箭头终点坐标&#xff0c;xytext是起点坐标&#xff0c;arrowtypes指定箭头的样…

python中序列(列表list和元组tuple)的用法

数据结构是以某种方式&#xff08;如通过编号&#xff09;组合起来的数据元素的集合。再python中最基本的数据结构为序列&#xff08;sequence&#xff09;。序列中的元素是有序的&#xff0c;索引从0开始&#xff0c;用负索引表示序列末尾元素的位置。 python中常见的序列有两…

Beta版本测试报告

请根据团队项目中软件的需求文档、功能规格说明书和技术规格说明书&#xff0c;写出软件的测试计划、测试过程和测试结果&#xff0c;并回答下述问题。 1. 写出团队项目软件的总体测试计划&#xff0c;记录测试过程&#xff0c;给出测试结果&#xff0c;并说明这些测试怎样对软…