服务器虚拟多台linux,VirtualBox环境下基于多台Ubuntu虚拟机的Hadoop分布式计算环境搭建...

export PATH=$HADOOP_HOME/bin:$PATH

接下来需要修改hadoop/conf/目录下的配置文件,共有6个文件需要修改,分别是masters、slaves、core-site.xml、mapred-site.xml、hdfs-site.xml、hadoop-env.sh,修改如下

文件masters

UB01

文件slaves

UB02

UB03

文件core-site.xml

hadoop.tmp.dir

/home/vbox/tmp

As you like

fs.default.name

hdfs://UB01:9000

文件mapred-site.xml

mapred.job.tracker

UB01:9001

文件hdfs-site.xml

dfs.replication

1

文件hadoop-env.sh在末尾添加

export JAVA_HOME=/home/vbox/jdk1.6.0_25

说明几个地方,以上几个文件中具体的版本号、路径与ip地址要根据各自虚拟机信息区别配置,不要把我的ip抄到你的文件里,没用的。注意hdfs-site.xml中设定为1的value是最小节点数,之前为3,会出现2个slave运行不能的情况,以上配置信息对UB01、UB02和UB03完全一致。

执行wordcount例程

进入/home/vbox/hadoop/目录,格式化文件系统并启动所有服务

hadoop namenode -format;

start-all.sh

编写输入文件,建立input输入并将文件写入input

echo “It is such a boring thing” > input_test_01;

echo “But I like it” > input_test_02;

hadoop fs -mkdir input;

hadoop fs -copyFormatLocal input_test_0* input;

执行wordcount并察看计数结果

hadoop jar hadoop-0.20.2-examples.jar wordcount input output;

hadoop fs -cat output/part-r-00000;

会在Terminal中看到如下wordcount信息

5 1

Damn! 1

NAT 1

...

注意,在第一次执行wordcount后,input和output文件依旧存在,若再次执行wordcount会出现无法响应的错误,需要通过以下的命令删除input与output,系统才会正常工作。使用xxxxxx命令关闭防火墙。

hadoop dfs -rmr input output

观察运行结果,有三种方式

通过web方式 http://UB01:50070

通过java方式Terminal输入jps

监测HDFS方式 Terminal输入hadoop dfsadmin -report

过程截图

常用hadoop命令

hadoop namenode -format 格式化节点

start-all.sh 开启所有服务

hadoop dfsadmin -report 察看报告

hadoop fs -mkdire input 新建输入目录

hadoop fs -ls/ 列出文件系统

hadoopfs -put conf input 将conf目录put到input目录

hadoop fs -rmr output 删除output目录

hadoop jar hadoop-0.20.2-examples.jar wordcount input output 运行wordcount

hadoop fs -get ouput /home/output 拷贝到本地

home/cat otuput/* 显示

hadoop fs -copyToLocal input /home/vbox 拷贝,同fs -get

Some tips

Q:datanode个数为0或者小于预设值

A:删除各个/home/vbox/tmp文件夹

Q:将各个节点的id_rsa.pub相互追加后无法实现ssh无密码互访

A:先搞二个互访,再一个一个加上去

Q:3台Ubuntu 11.04的虚拟机慢死了

A:换成10.04

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/410875.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

程序员的培养

作者: RayChase 来源: ITeye 发布时间: 2012-05-22 09:01 阅读: 2335 次 原文链接 全屏阅读  [收藏] 这篇文字是我好久以来的想法,有一些感悟,有一些激烈的言辞,我很自豪我就是一名程序员,我希望给程序员或者前程序员们带来…

[html] 你最喜欢html的哪个标签?为什么?

[html] 你最喜欢html的哪个标签?为什么? div,因为此标签是用得最多的也是最强大的HTML标签,许多其它标签也是基于此标签而产生的。个人简介 我是歌谣,欢迎和大家一起交流前后端知识。放弃很容易, 但坚持一…

linux普通用户发送信号,Linux信号发送与作业控制

前言Linux中进程间通信又称为IPC(Inter process communication),大致上可以分为这么几类:消息队列(message queue),旗语(semerpore),共享内存(shared memory),信号(signal),Unix域套接字,socket…

[html] 写一个三栏布局,中间固定,两边自适应(平均)

[html] 写一个三栏布局&#xff0c;中间固定&#xff0c;两边自适应&#xff08;平均&#xff09; <style>html,body {height: 100%;margin: 0;padding: 0;}.container {display: flex;flex-wrap: wrap;width: 100%;height: 100%;}.content {flex: 1;}.side,.right {wid…

《图解CSS3:核心技术与案例实战》

《图解CSS3&#xff1a;核心技术与案例实战》 基本信息 作者&#xff1a; 大漠 丛书名&#xff1a; Web开发技术丛书 出版社&#xff1a;机械工业出版社 ISBN&#xff1a;9787111469209 上架时间&#xff1a;2014-7-2 出版日期&#xff1a;2014 年7月 开本&#xff1a;16开 …

对页面文章过长的处理方法

当在 一个页面显示一个文章的内容时&#xff0c;如果文章太长&#xff0c;会造成页面无限高&#xff0c;样式很不好看&#xff0c;对此我有两种解决方法&#xff1a;一&#xff0c;将内容放在<div>标签中&#xff0c;然后设置标签的style&#xff0c;具体<div style&q…

kali linux重启网络服务报错,Web安全学习笔记之在Kali Linux上安装Openvas以及启动失败修复...

现在用的kali linux是2018.1的版本&#xff0c;在安装openvas的时候报错&#xff0c;无法通过网络下载和安装openvas。主要错误是源配置错误&#xff0c;可能现在用的kali很久没更新了。一、解决和配置更新源问题apt-get upgrade报错显示无法更新&#xff0c;apt-get install o…

This document is opened by another project error message

This is quite annoying error. Finally, Ive found the problem is caused by Visual SVN VS 2008, but no further solution or path to fix this problem by Visual SVN at the moment. So I have to kick it out of my HDD. :( 转载于:https://www.cnblogs.com/javafun/ar…

linux下解压 cpio.gz格式文件

我是在安装oracle10G时从官网找的压缩吧。我个人觉得第二个好。 第一种方法&#xff1a; zcat 10201_database_linux_x86_64.cpio.gz| cpio –idmv 第二种方法 &#xff1a;第一步&#xff1a; gunzip 10201_database_linux_x86_64.cpio.gz第二步&#xff1a; cpio -idmv <…

linux脚本语句,LINUX shell 脚本语句

LINUX中shell脚本中语句的基本用法一、if ...then...fiif [ 条件判断一 ] && (||) [ 条件判断二 ]; then <if 是起始&#xff0c;后面可以接若干个判断式&#xff0c;使用 && 或 || 执行判断elif [ 条件判断三 ] && (||) [ …

Rstudio调用plot()函数时,出现错误的处理方法

按照书上的例子敲出代码后&#xff0c;发现Rstudio无法识别C盘user文件夹下的中文用户名。如下图所示&#xff1a; 按照网上的做法&#xff0c;尝试修改计算机user下的用户名&#xff0c;没修改成功。 另一种做法是在plot()函数前面加上一句dev.new(),便可绘制成功&#xff0c;…

外挂的介绍 什么是外挂

一、 前言 所谓游戏外挂&#xff0c;其实是一种游戏外辅程序&#xff0c;它可以协助玩家自动产生游戏动作、修改游戏网络数据包以及修改游 戏内存数据等&#xff0c;以实现玩家用最少的时间和金钱去完成功力升级和过关斩将。虽然&#xff0c;现在对游戏外挂程序的“合法” 身份…

linux清理备份日志,服务器日志清理备份

"历史上的今天"有没有API接口的功能想添加一个历史上今天功能。人生就像一张有去无回的单程车票&#xff0c;没有彩排&#xff0c;每一场都是现场直播&#xff0c;把握好每次演出便是对人生最好的珍惜。?《历史上的今天》有没有API接口&#xff1f;这个可以参考 Lss…

人事面试的那些问题及背后的考察点

问题 请你自我介绍一下你自己&#xff1f; 你觉得你个性上最大的优点是什么&#xff1f; 说说你最大的缺点&#xff1f; 你对加班的看法&#xff1f; 你对薪资的要求&#xff1f; 在五年的时间内&#xff0c;你的职业规划&#xff1f; 你朋友对你的评价&#xff1f; 你还有什么…

[html] 你知道短链接的生成原理吗?

[html] 你知道短链接的生成原理吗&#xff1f; 目的将长度较长的链接压缩成较短的链接&#xff0c;并通过跳转的方式&#xff0c;将用户请求由短链接重定向到长链接上去1.二种方式生成短链hash-可能会重复发号器发号压缩 URL2.短链跳转方式301 - 用户第一次访问某个短链接后&a…

股神巴菲特揭示致富的十大秘籍[转]

1. Reinvest your profits. “Even a small sum can turn into great wealth,” Schroeder writes, if you’re disciplined to not touch your profits. Let the power of compound interest work for you。   1. 把你现有的财富做再投资。就像史诺德写到过的那样&#xff1…

linux火狐浏览器49.0安装教程,火狐浏览器Linux最新版下载

火狐浏览器是一款免费开源的跨平台浏览器&#xff0c;firefox for linux引入了扩展同步机制用户能够在家用电脑和办公电脑之间进行无缝同步&#xff0c;能给用户更为流畅和高速的上网浏览体验&#xff0c;同时也让开发者能够开发出更为快速的网络应用和网站&#xff0c;有需要的…

shell与其他语言不同点

1.定义变量时&#xff0c;变量名不加美元符号&#xff08;$&#xff0c;PHP语言中变量需要&#xff09;&#xff0c;如&#xff1a; your_name"w3cschool.cn" 注意&#xff0c;变量名和等号之间不能有空格&#xff0c;这可能和你熟悉的所有编程语言都不一样。同时&am…

jquery +做CheckBoxList全选,反选

以前我们做CheckBoxList全选&#xff0c;反选&#xff0c;一般用AspxCodeFile、或者用JavaScript 现在我们可以用JQuery来帮我Easy Choose. 这里我来写三种&#xff1a; 第一种 全选 $(".checkBoxSelect").each(function() { $(this).attr("ch…

jQuery使用ajax传输xml文档在IE中无法正确解析的问题

在jQuery中使用$.get()或$.post()从服务端获取xml文档时&#xff0c;必须在服务器端将返回的Http头的ContentType设为text/xml&#xff0c;否则即使在$.get()或$.post()的最后一个参数指定了xml&#xff0c;在IE中仍然无法正确解析&#xff0c;IE会将其作为一个字符串处理&…