Hadoop分布式集群搭建详细过程

1. 首先用五台机器搭建分布式,一个为master,剩下四个分别为slave01、slave02、slave03, slave04。

2. 修改机器名

    五台机器分别都执行sudo vim /etc/hostname命令,将文件中的内容分别改为master、slave01、slave02、slave03, slave04。

3. 重启机器,发现机器名修改成功。

4. 修改master的hosts文件,并拷贝到每台slave上。

    (1)修改hosts文件

              sudo vim /etc/hosts

5. 将hosts文件拷贝到另外两台台机器上,覆盖原来的hosts文件。

    master:

           scp /etc/hosts hadoop@slave01的IP:~

           scp /etc/hosts hadoop@slave02的IP:~

           scp /etc/hosts hadoop@slave03的IP:~

           scp /etc/hosts hadoop@slave04的IP:~

     slaver:

           sudo mv hosts /etc/hosts

6.  配置master免密登录

     master:

            ssh-keygen -t rsa

            cat .ssh/id_rsa.pub >> .ssh/authorized_keys

            scp .ssh/id_rsa.pub hadoop@slave01的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave02的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave03的IP:~/

            scp .ssh/id_rsa.pub hadoop@slave04的IP:~/

      slave:

            cat id_rsa.pub >> .ssh/authorized_keys

7. 将hadoop-2.7.6文件从本地拖拽到虚拟机桌面,然后移动到/opt,然后进行解压。

    sudo mv hadoop-2.7.6.tar.gz /opt

    cd /opt

    sudo tar -zxvf hadoop-2.7.6.tar.gz

8. 编辑配置文件

    (1)编辑hadoop-env.sh文件

             sudo vim hadoop-env.sh

            改为:

  (2)编辑core-site.xml文件

           sudo vim core-site.xml

  (3)编辑mapred-site.xml文件  

           首先应通过复制mapred-site.xml.template得到mapred-site.xml文件,然后再进行编辑。

            cp mapred-site.xml.template mapred-site.xml

            sudo vim mapred-site.xml

  (4)编辑hdfs-site.xml文件

           sudo vim hdfs-site.xml

  (5)编辑masters文件

           sudo vim masters

           添加masters的IP地址到该文件

  (6)编辑slaves文件

           sudo vim slaves

           添加slave01、slave02、slave03、slave04的IP地址到该文件,并且删除localhost

9. 将配置文件拷贝到到各台slave

    master:

           scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoop@slave的IP地址:~

    slave:

            sudo mv *.xml /opt/hadoop-2.7.6/etc/hadoop

            sudo mv hadoop-env.sh masters slaves /opt/hadoop-2.7.6/etc/hadoop

10. 设置环境变量

      master:

            master上配置环境变量,然后将文件发给各台slave

            sudo vim /etc/profile

            source /etc/profile

            scp /etc/profile hadoop@slave的ip地址:~

       slave:

            sudo mv profile /etc/profile

            source /etc/profile

11. 更改hadoop-2.7.6的所属人和所属组(root用户)

      chown hadoop:hadoop -R hadoop-2.7.6/

      chmod 775  -R hadoop-2.7.6/

12. master格式化namenode

      ./hdfs namenode -format

       注:只格式化一次,若格式化多次可能导致VERSION不一致,启动namenode和datanode时报错。

              解决方法:

              ① 见https://blog.csdn.net/czw698/article/details/50507265

              ② 删除存name和data的目录,再重新格式化

13. 运行hadoop

       ./start-all.sh

14. 查看进程

      jps

      master进程:

      slave进程:

15. 停止hadoop

       ./stop-all.sh

           这里报错是因为防火墙问题,自己配置可能会出问题,可以选择关闭防火墙。

总结:搭建集群时,所有机器要拥有共同的用户,从而避免权限不够的错误;并且配置以及版本都应相同,否则可能会出现错误,尤其是在ssh免密登录时可能出现的错误最多。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/491436.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

徐匡迪、潘云鹤等纷纷撰文,关于人工智能的最新判断都在这里了

来源:《前沿科学》编者按人工智能,近年来成为世界主要发达国家战略中的战略,力争抢占新一轮科技革命的制高点。在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术的驱动下,新一代人工智能加速发展,不断拓…

HDU 5600(瞎搞)

第一场Bestcoder居然爆零。。果然是too naive。。小聪明全部直接输出“YES”过了pretest,结果被叉也是&%$% 找到规律传递下就好。后来看官方题解感觉逼格好高。。然而就是瞎搞,找找规律就好 #include"cstdio" #include"queue" #…

CCAI 2019 | 郑南宁:“自觉性AI技术”可助力无人驾驶

来源:人工智能前沿讲习CCAI 20192019年中国人工智能大会(Chinese Congress on Artificial Intelligence 2019,简称“CCAI 2019”)将于在9月21日-22日在青岛胶州召开。谷歌、特斯拉,百度、滴滴、蔚来……如今从国外到国…

使用Hadoop自带的例子wordcount实现词频统计

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用wordcount实现词频统计。具体步骤如下: 1. 启动Hadoop 切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令 或执行./start-dfs.sh和./start-yarn.sh两条命令 2. 在集群…

使用Hadoop自带的例子pi计算圆周率

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用pi计算圆周率。若想了解其计算原理,参考:http://thinkinginhadoop.iteye.com/blog/710847。 具体步骤如下: 1. 启动Hadoop 切换到Hadoop安装目录下的sb…

.net core 生成jwt+swagger-通过 IHttpContextAccessor读取token信息

1.安装jwt相关包 <ItemGroup><PackageReference Include"Microsoft.AspNetCore.Authentication.JwtBearer" Version"6.0.25" /><PackageReference Include"Microsoft.IdentityModel.Tokens" Version"7.0.3" /><P…

NATURE 人工智能 | 神奇的粒子机器人

没想到吧&#xff0c;像细胞一样自由组合灵活多变的机器人正在从科幻电影中走出来。就像在伤口愈合是活细胞聚集并集体迁移的过程。在生物系统中&#xff0c;群体的大规模集体迁移是通过组件的耦合和协调来实现的&#xff0c;在伤口愈合的过程中&#xff0c;活细胞聚集并集体迁…

表单校验---struts2

一 写validate方伐 1 让你的Action继承ActionSupport类&#xff0c; 重写validate方法&#xff0c;&#xff08;或validateXxxx&#xff09; 判断&#xff0c;写入错误信息 jsp中用标签显示&#xff0c;struts。xml中配置转向的页面 package he.action;import java.util.Map;…

城市大脑与智慧城市前沿趋势

近年来&#xff0c;智慧城市建设出现新的动向&#xff0c;包括城市大脑、城市云脑、城市超级大脑、城市超脑、城市神经网络等“泛城市大脑”概念也大量涌现。杭州、上海、北京、广州等城市各自提出和开展了不同城市大脑建设方案&#xff0c;其中上海市开展了以建设城市神经元系…

在iOS 8中使用UIAlertController

iOS 8的新特性之一就是让接口更有适应性、更灵活&#xff0c;因此许多视图控制器的实现方式发生了巨大的变化。全新的UIPresentationController在实现视图控制器间的过渡动画效果和自适应设备尺寸变化效果&#xff08;比如说旋转&#xff09;中发挥了重要的作用&#xff0c;它有…

MapReduce分析NCDC 年气象数据最低温度与最高温度

利用hadoop计算技术对采集的气象数据信息进行处理&#xff0c;主要分两个阶段&#xff1a;mapper阶段和reducer阶段&#xff0c;mapper阶段主要是对日志文件进行按行读取并进行字符串截取&#xff0c;reducer阶段对mapper阶段传过来的数据进行大小比较&#xff0c;最终获取每一…

非侵入脑机接口新突破!用意念控制光标,连续追踪效果提升5倍

来源&#xff1a;智东西看点&#xff1a;CMU研究人员在使用非侵入式脑机接口开发了第一个成功用意念控制的机械臂&#xff0c;展现了连续追踪和跟踪计算机光标的能力。智东西6月23日消息&#xff0c;卡内基梅隆大学与明尼苏达大学的研究人员在非侵入式机器人设备控制领域取得了…

AI芯片的长征之路:挑战与机遇

来源&#xff1a; 半导体行业观察前言&#xff1a;笔者有幸受邀在六月初北京举行的首届亚洲AI硬件峰会&#xff08;AI Hardware Summit Asia&#xff09;上发表了开幕主题演讲&#xff0c;与全世界的AI硬件专家分享了我对行业的一些看法和想法。演讲以英文形式进行&#xff0c;…

make_moons函数

生成半环形数据 sklearn.datasets.make_moons(n_samples100, shuffleTrue, noiseNone, random_stateNone) 参数&#xff1a; n_samples : 整数型, 可选&#xff0c;默认为100&#xff0c;产生的样本点的数量shuffle : 布尔型&#xff0c;可选填 (默认为True)&#xff0c;是否…

阿里巴巴罗汉堂发布最关乎人类未来的十大问题

来源&#xff1a;中国新闻网中新网杭州6月25日电 (记者 魏晞)25日&#xff0c;阿里巴巴倡议成立的罗汉堂发布最关乎人类未来的十大问题。200多位来自全球的顶尖学者、政界、企业界负责人应邀在杭州“西湖论剑”&#xff0c;闭门研讨十大问题&#xff0c;其中包括6位诺贝尔经济学…

Drive.ai轰然倒下:曾估值两亿,吴恩达夫妇站台,苹果将接盘部分可用技术人才...

来源&#xff1a;大数据文摘曾经估值两个亿美元&#xff0c;吴恩达夫妇亲自站台&#xff0c;风极一时的无人车创业公司Drive.ai轰然倒塌。本月20日&#xff0c;总部位于加州山景城的 Drive.ai 公司被证实已经向一家州政府机构递交了通知&#xff0c;表明即将关闭&#xff0c;并…

PyMC3实现贝叶斯神经网络

转自https://blog.csdn.net/jackxu8/article/details/71308390#commentBox 源地址https://docs.pymc.io/notebooks/bayesian_neural_network_advi.html PyMC3中的贝叶斯深网络 生成数据 产生一个简单的线性不可分的二分类问题的模拟数据。 %matplotlib inline import pymc…

Dynamics CRM 开启图表的3D效果展示

CRM中的图表在我们的业务场景中用的很多&#xff0c;用户可以根据自己的实际需求来构建图表查看数据。我们平时看到的图表都是平面的&#xff0c;像下图中的这种&#xff0c;那有没有一种方式可以让展示3D效果看起来更立体呢&#xff0c;答案是可以的。 这里就以上面的图表为例…

“CRISPR婴儿”计划疯狂重启 顶级科学家们表示无力阻止

来源&#xff1a; 生物通新的“CRISPR婴儿”计划启动&#xff0c;顶级科学人士感到震惊&#xff0c;却表示他们无力阻止它6月10日&#xff0c;俄罗斯分子生物学家Denis Rebrikov表示计划开展基因编辑婴儿实验&#xff0c;并公开了他将跨越“红线”的研究计划。两位有影响力的学…

PyMC3和Lasagne构建神经网络(ANN)和卷积神经网络(CNN)

转自http://www.sohu.com/a/162460147_505915 源地址https://twiecki.io/blog/2016/07/05/bayesian-deep-learning/ 今天&#xff0c;我们将使用Lasagne构建一个更有趣的模型&#xff0c;这是一个灵活的Theano图书馆&#xff0c;用于构建各种类型的神经网络。你可能知道&…