(第2篇)一篇文章教你轻松安装hadoop

摘要: 这篇文章将会手把手教你安装hadoop,只要你细心按照文章中的步骤操作,hadoop肯定能正确安装,绝对不会让你崩溃

博主福利 给大家赠送一套hadoop视频课程

授课老师是百度 hadoop 核心架构师 
内容包括hadoop入门、hadoop生态架构以及大型hadoop商业实战案例。 
讲的很细致, MapReduce 就讲了 15 个小时。 
学完后可以胜任 hadoop 的开发工作,很多人学的这个课程找到的工作。 
(包括指导书、练习代码、和用到的软件都打包了) 
先到先得先学习。联系老师微信ganshiyu1026,备注OSchina。即可免费领取

部分视频截图展示

 

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装。

 

     安装hadoop环境

由于大家在学习hadoop时候,主要以Hadoop 1.0环境为主学习就可以,所以这主要介绍如何搭建Hadoop 1.0分布式环境。

整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安装这里暂不做过多介绍。

安装Hadoop分布式环境:

1) 下载Hadoop安装包:

百度网盘下载地址:点击下载   中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中。

同样在securtcrt中ll时,能得到

wKiom1i9F9qy0HX0AAATy1RdtgU723.png 

2) 安装Hadoop安装包:

l 首先将安装包解压缩:

wKiom1i9GGmCm4LeAAAG4cUdGEE348.png 

l Linux终端执行cd进入相应目录:

wKioL1i9GH_BoTYWAAAFZmV6gII833.png 

l 新增tmp目录,mkdir  /home/hadoop/hadoop-1.2.1/tmp

wKiom1i9GIuRskYWAAAHBSfEaFM953.png-wh_50 

3) 配置Hadoop:

l 使用vim修改master文件内容:

wKioL1i9GJrQSsEFAAAGnVd9gy8281.png 

将localhost修改成master:

wKiom1i9GKng4YOXAAACSXSEt9Q809.png 

最后保存退出。

l 修改slaves文件

注意,这里准备设置几台slave机器,就写几个,因为当前分布式环境有四个虚拟机,一台做master,三台做slave,所以这里写成了三个slave

wKiom1i9GLvS-Av1AAADOTvQKiM647.png 

l 修改core-site.xml文件:

wKioL1i9GN2xyowrAAAl8Zm5yoU738.png 

【注意】中间的ip地址,不要输入192.168.2.55,根据自己的情况设置。

l 修改mapred-site.xml文件:

wKiom1i9GPCyHskZAAAdn3UeMfY705.png 

【注意】记得value的内容要以http开头。

l 修改hdfs-site.xml文件:

wKioL1i9GQyDn_16AAAa4Ix1FME248.png 

其中,<value>3</value>视情况修改,如果有三台slave机器,这里设置成3,如果只有1台或2台,修改成对应的值即可。

l 修改hadoo-env.sh文件

wKiom1i9GSWTsT2VAAAHAP4ucUo649.png

下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

wKiom1i9GTaSynbfAAAROvWzmaE162.png 

l 修改本地网络配置:编辑/etc/hosts文件

wKioL1i9GUWDRTYvAAAFmOzKru4982.png 

wKioL1i9GVKx_bHeAAAeJg3-4UE604.png 

【注意】Ip地址根据具体的情况要进行修改。

4) 复制虚拟机

l 关闭当前虚拟机,并复制多份

wKioL1i9GWHwbOzrAABhSFCsoA8814.png 

【注意】要选择初始化所有网卡的mac地址

wKiom1i9GXCQrToNAABxZOKumhk663.png 

根据自己需求,复制2到3台虚拟机作为slave,同样要确认网络连接方式为桥接。

l 设置所有机器的IP地址

分别启动虚拟机,修改机器的ip 地址,在虚拟机的图形界面里,选择设置wKioL1i9GX2jj9tvAAAXl1DIpGY120.png单击打开,在弹出来的窗口里,选择wKioL1i9GYuSK9rHAAAQLU7Emi8564.png

wKiom1i9GZmRwowUAACNB0eCXL0826.png 

 

打开wKiom1i9GajRan1pAAAJmUNkLT4338.png,修改成如下的形式,选择ipv4 ,分配方式选择成manual。

【注意】具体的ip地址,根据实际的情况来设置,因为培训教室里都是192.168.2.x的网段,所以我这里设置成了192.168.2.x,每个人选择自己的一个ip地址范围,注意不要和其它人冲突了。

wKiom1i9GbbgMMKrAAC1oGxNw-I833.png 

5) 建立互信关系

l 生成公私钥,在master机器的虚拟机命令行下输入ssh-keygen,一路回车,全默认

wKiom1i9GcTD6lnhAAAxcEfnen4184.png 

l 复制公钥

复制一份master的公钥文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

wKioL1i9GdOgUxAvAAAHNrcRKbA533.png 

同样,在所有的slave机器上,也在命令行中输入ssh-keygen,一路回车,全默认

在所有的salve机器上,从master机器上复制master的公钥文件:

wKiom1i9GeKAPqV5AAAQq4fCfiI739.png 

l 测试连接

在master机器上分别向所有的slave机器发起联接请求:

如:ssh slave1

wKiom1i9Gf7S6xsjAAA23m5aHXA808.png 

【注意】记得一旦联接上,所有的操作,就视同在对应的slave上操作,所以一定要记得使用exit退出联接。

6) 启动Hadoop:

l 初始化:在master机器上,进入/home/hadoop/hadoop-1.2.1/bin目录

wKiom1i9GguQkjOZAAAGCmWS5Fs931.png 

在安装包根目录下运行./hadoop namenode –format来初始化hadoop的文件系统。

wKiom1i9Gh2B4SiZAACLSioOSuo295.png 

l 启动

执行./start-all.sh,如果中间过程提示要判断是否,需要输入yes

wKioL1i9GjGCHL5vAABPIz5CbCU870.png 

输入jps,查看进程是否都正常启动。

wKiom1i9GkCiUcv5AAAPoFhJhtM163.png 

如果一切正常,应当有如上的一些进程存在。

7) 测试系统

输入./hadoop fs –ls /

wKiom1i9Gk3Rmh2mAAAOOSTK388153.png 

能正常显示文件系统。

如此,hadoop系统搭建完成。否则,可以去/home/hadoop/hadoop-1.2.1/logs目录下,查看缺少的进程中,对应的出错日志。

转载于:https://www.cnblogs.com/shijiaoyun/p/6761653.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/393075.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python接口自动化2-发送post请求

前言 发送post的请求参考例子很简单&#xff0c;实际遇到的情况却是很复杂的&#xff0c;首先第一个post请求肯定是登录了&#xff0c;但登录是最难处理的。登录问题解决了&#xff0c;后面都简单了。 一、查看官方文档 1.学习一个新的模块&#xff0c;其实不用去百度什么的&am…

Linux查看tar实用程序,linux tar指令常用选项

linux的tar指令经常被用到&#xff0c;因为压缩文件的时候通常需要打包文档&#xff0c;而tar指令就是打包指令&#xff0c;同时gzip压缩程序和bzip2压缩程序都是支持tar指令的&#xff0c;所以tar指令在打包的同时还可以用gzip和bzip进行压缩&#xff0c;这样多文件可以打包的…

DaVinci各版本安装指南

链接: https://pan.baidu.com/s/1g1kaXZxcw-etsJENiW2IUQ?pwd0531 ​ #2024版 1.鼠标右击【DaVinci_Resolve_Studio_18.5(64bit)】压缩包&#xff08;win11及以上系统需先点击“显示更多选项”&#xff09;【解压到 DaVinci_Resolve_Studio_18.5(64bit)】。 2.打开解压后的文…

使用 Servlet 读取表单数据

Technorati 标签: servlet&#xff1b;java 一、概述 Servlet 有一个比较好的功能就是可以自动处理表单提交的数据。我们只需要调用HttpServletRequest#getParameter(String name),就可以获得指定参数的值&#xff08;String&#xff09;&#xff0c;注意此方法是大小写敏感的。…

linux文档权限

1、登录 root 用户&#xff1a;su - mac一开始进入创建的用户是具有管理员权限的用户&#xff0c;但是密码却不是进入 root 用户的密码&#xff0c;可以使用 sudo su - 免密进入 root 用户。 2、退出 root 用户&#xff1a;exit 3、列出档案&#xff08;包括隐藏的档案&#xf…

linux开启ping服务,Linux 云服务器禁止和开启Ping

原标题&#xff1a;Linux 云服务器禁止和开启Ping在使用Linux服务器的时候&#xff0c;一般系统默认是开启ping的&#xff0c;比如我们可以ping测试网络的延迟质量。当然也有部分服务商是可以通过安全组设置禁止ping的&#xff0c;我们可以设置安全组对应项目开启或禁止ping&am…

红外感应模块+蜂鸣器实现简易报警(转)

拿到了一个红外感应模块HC-SR501&#xff0c;于是就用它和蜂鸣器简单试验了下。主要是试验一下这个红外感应模块的功能&#xff0c;所以代码也写的很随便啦&#xff0c;逻辑上也欠考虑。实现基本功能&#xff1a;运行脚本后&#xff0c;感应模块每隔一定时间检测&#xff0c;如…

linux运行apktool签名,解决Linux中使用ApkTool遇到问题

8种机械键盘轴体对比本人程序员&#xff0c;要买一个写代码的键盘&#xff0c;请问红轴和茶轴怎么选&#xff1f;遇到问题在Linux中使用IntelliDroid工具时&#xff0c;按要求配置好环境之后&#xff0c;始终无法成功运行该工具内部的ApkTool&#xff0c;导致后续的安卓静态分析…

python 脚本学习(二)

task1&#xff1a; 在一个文件中&#xff0c;单词之间使用空格、分号、逗号或者句号分隔&#xff0c;请提取全部单词。 代码实例&#xff1a; 1234567891011#!/usr/local/python27/bin/python2.7import sys import re words [] with open(sys.argv[1]) as f: for line in f: #…

2.2 Consumer API官网剖析(博主推荐)

不多说&#xff0c;直接上干货&#xff01; 一切来源于官网 http://kafka.apache.org/documentation/ 2.2 Consumer API 2.2、消费者API 随着0.9.0版本&#xff0c;我们已经增加了一个新的Java消费者替换我们现有的基于zookeeper的高级和低级消费者。这个客户端还是测试版的质量…

mybatis-generator-gui如何打包成exe

快速阅读&#xff1a; ​ 用wix和inno setup把mybatis-generator-gui 打包成exe和安装文件。 以后使用的时候方便&#xff0c;不用每次打开eclipse运行。 使用inno setup 5 和wix 3.11 基于mybatis generator开发一款界面工具, 非常容易及快速生成Mybatis的Java POJO文件及数据…

NeHe OpenGL教程 第三十课:碰撞检测

转自【翻译】NeHe OpenGL 教程 前言 声明&#xff0c;此 NeHe OpenGL教程系列文章由51博客yarin翻译&#xff08;2010-08-19&#xff09;&#xff0c;本博客为转载并稍加整理与修改。对NeHe的OpenGL管线教程的编写&#xff0c;以及yarn的翻译整理表示感谢。 NeHe OpenGL第三十课…

andorid手机电脑操作

之前一直使用androidscreencast在pc上对手机进行操作,好久都没用了,前些天再次用的时候,提演示样例如以下: 决定还是自己写一个吧,由于7月份要做一个小分享,打算讲一些android的东西,须要在电脑上显示手机这边的画面,提供一定的操作. 花了一点时间做好了,给大家截一个图,代码放…

在组策略中使用脚本为域用户添加网络打印机

使用脚本为用户添加网络打印机 如果你想让培训部门的用户登录后就能添加网络打印机&#xff0c;就可以使用登录脚本来实现。其中DCServer是域控制&#xff0c;MarketPC1是市场部门的计算机&#xff0c;韩立辉用户是培训部门的用户。下面就验证使用组策略为培训部门的用户添加网…

为什么我从 Git Flow 开发模式切换到了 Trunk Based 开发模式?

我已经使用 Git Flow 构建我的 Git 分支有几年了。但是&#xff0c;我遇到了 Git Flow 的一些问题&#xff0c;其中大部分来自长期存在的分支。解决这些问题的方案就是 Trunk Based Development。这是一个非常简单的技术&#xff0c;也是有效的持续交付的基础。在这篇文章中&am…

DedeCMS 提示信息! ----------dede_addonarticle

把数据保存到数据库附加表 dede_addonarticle 时出错&#xff0c;请把相关信息提交给DedeCms官方。Duplicate entry ’2532′ for key ‘PRIMARY’出现这种情况其实是你的主键是不可重复的&#xff0c;现在重复插入值为2532的主键了。可以去掉主键唯一&#xff0c;或是设成自增…

搭建基于.NetFrameWork的私有nuget服务端及打包项目发布上传

一、私有Nuget服务端搭建 1.创建一个.NetFramework web项目 2.在nuget管理中 安装 nuget.server包 3.安装完成后修改web.config里面的 apikey 和 packagesPath apikey&#xff1a;推送包到nuget服务端 packpage: 上传上来的包存放的服务器位置 4.发布web项目到IIS中&#xff0c…

linux 网络配置 阮一峰,Vim 配置入门

Vim 是最重要的编辑器之一&#xff0c;主要有下面几个优点。可以不使用鼠标&#xff0c;完全用键盘操作。系统资源占用小&#xff0c;打开大文件毫无压力。键盘命令变成肌肉记忆以后&#xff0c;操作速度极快。服务器默认都安装 Vi 或 Vim。Vim 的配置不太容易&#xff0c;它有…

Linux 文件区块连续吗,关于Linux文件系统的的简单理解和认识

关于Linux文件系统的的简单理解和认识关于文件系统的运作&#xff0c;这与操作系统带的档案数据有关。例如Linux操作系统的档案权限(rwx)与文件属性(拥有者&#xff0c;群组&#xff0c;时间参数等)。文件系统通常会将这两部分的数据分别存放在不同的区块&#xff0c;权限与属性…

Microsoft Desktop Virtualization

基本上有两套啦&#xff0c;一是大家较为熟悉的MED-V。另外就是VDI(虚拟桌面基础架构)&#xff0c;也就是以下的组合&#xff1a;1、Windows Server 2008 with Hyper-V 2、System Center Virtual Machine Manager (VMM) 2008 VMM 20083、Windows Vista Enterprise Centralized …