linux下的单机工具,Linux下单机模式的Hadoop部署

需要软件:

ssh:fedore 9 自带。

jdk:http://java.sun.com/javase/downloads/index.jsp,下最近版本jdk-6u18-linux-i586

Hadoop:http://apache.etoak.com/hadoop/core/hadoop-0.20.1/,最新版本0.20.1,据说这个版本jdk必须1.6以上。

三种运行模式:

单机(非分布式)模式,伪分布式运行模式(用不同进程模仿分布式运行中的各类结点),分布式运行模式。

其中前两种运行模式体现不了Hadoop分布式计算的优势,并没有什么实际意义,但对程序的测试及调试很有帮助。现在只有一台机器, 主要想了解基于Hadoop的分布式并行程序是如何运行的。

单机模式安装步骤:

1.解压安装包至:/usr/local/hadoop

如果安装jdk已经设置了路径,安装完毕。否则:

2.cd /usr/local/hadoop/conf,修改hadoop-env.sh,最后一行添加:export JAVA_HOME=/usr/local/jdk1.6.0_18(jdk路径).

看看这玩意怎么跑的:

1.

[root@localhost hadoop]# mkdir input

[root@localhost hadoop]# cp conf/*.xml input

[root@localhost hadoop]# bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+'

10/01/26 00:22:54 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

10/01/26 00:22:54 INFO mapred.FileInputFormat: Total input paths to process : 5

...

[root@localhost hadoop]# cat output/*

1    dfsadmin

[root@localhost hadoop]# ls output/

part-00000

程序是hadoop自带的,把conf下的xml文件拷贝到input下作为输入,找到并显示所有与最后一个正则表达式匹配的行,输出到output.

jar 是 bin/hadoop 脚本定义的参数,会调用 Hadoop 自己的一个工具类 RunJar,这个工具类能够执行一个 Jar 文件。

2.

[root@localhost hadoop]# mkdir test-in

[root@localhost hadoop]# echo "hello world bye world" > test-in/file1.txt

[root@localhost hadoop]# echo "hello hadoop googbye hadoop" > test-in/file2.txt

[root@localhost hadoop]# bin/hadoop jar hadoop-0.20.1-examples.jar wordcount  test-in test-out

10/01/26 00:43:46 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

10/01/26 00:43:46 INFO input.FileInputFormat: Total input paths to process : 2

...

[root@localhost hadoop]# cat test-out/*

bye    1

googbye    1

hadoop    2

hello    2

world    2

[root@localhost hadoop]# ls test-out/

part-r-00000

这个程序也是hadoop自带的,统计各个单词出现次数。

刚开始上网搜的结果都是修改fs.default.name,mapred.job.tracker等等,都是分布式运行模式的配置,没想到单机模式这么简单,浪费了不少时间。0b1331709591d260c1c78e86d0c51c18.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487761.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全球顶尖计算机科学家排名,中科大上榜人数全国第一

来源:今日头条一年一度的全球顶尖计算机科学家TOP1000榜单出炉,这份由Guide2Research发布的计算机科学家排名中,中国科学技术大学以16人入选力压清华、北大、浙大等计算机科学强校,高居全国第一!中科大张亚勤等13位本科…

Linux可以对目录进行硬链接,Linux硬链接与软链接原理及用法解析

在linux系统中有种文件是链接文件,可以为解决文件的共享使用。链接的方式可以分为两种,一种是硬链接(hard link),另一种是软链接或者也称为符号链接(symbolic link)。硬链接概念硬链接(hard link, 也称链接)就是一个文件的一个或多个文件名硬…

CentOS6实现路由器功能

网络之间的通信主要是依靠路由器,当然生成环境中是拥有路由器的,但是系统中的路由配置也是需要了解一下地,今天讲解一下在CentOS6环境下搭建路由器,此乃入门级的简单实验。拓扑如上图已经规划好,暂且使用静态路由演示。…

在近期,美众议院为何密集提出了15项新兴技术法案?

来源:资本实验室近期,美国众议院能源和商业委员会及消费者保护与商业小组委员会密集提出了15项与新兴技术相关的法案议程。这些法案开宗明义,建立了明确的目标:确保美国在新兴技术领域的领导地位,以在全球竞争力方面战…

javascript测试框架mocha

node测试框架mocha 简单、灵活、有趣,mocha是一个功能丰富的javascript测试框架,运行在node和浏览器中,使异步测试变得更加简单有趣。http://mochajs.org/ 安装 $ npm install --global mocha//全局安装$ npm install --save-dev mocha//项…

复杂指令集linux,精简指令集和复杂指令集区别

精简指令集概述精简指令集计算机(RISC:Reduced Instruction Set Computing RISC)是一种执行较少类型计算机指令的微处理器,起源于80年代的MIPS主机(即RISC机),RISC机中采用的微处理器统称RISC处理器。这样一来,它能够以更快的速度执行操作(每…

求助马斯克实现载人飞行,NASA省了近300亿美元

出品 | 网易科技《知否》栏目组当美国宇航局(NASA)的宇航员于当地时间5月27日搭乘SpaceX的载人龙飞船升空时,他们将不仅仅是进入太空,还将开启一个可能具有变革意义的新时代,因为此前没有任何私人公司将人类送入轨道。…

Codeforces 138C(区间更新+离散化)

题意:有n棵树在水平线上,给出每棵树的坐标和高度,然后向左倒的概率和向右倒的概率,和为1,然后给出了m个蘑菇的位置,每一个蘑菇都有一个魔法值,假设蘑菇被压死了,也就是在某棵树[a[i]…

linux基础操作与实践,Linux操作系统基础与实践

《21世纪高等院校计算机网络工程专业规划教材:Linux操作系统基础与实践》由清华大学出版社出版。19.18定价:29.50(6.51折)/2014-06-01《Linux劋作系统基础与实践/21世纪高等院校计算机网络工程专业规划教材》内容共分10章,第1章主要讲解劋作系统概述、劋…

MIT机器学习种菜项目永久关停

来源:IEEE电气电子工程师Photo: Harry Goldstein麻省理工学院媒体实验室的开放农业计划(Open Agriculture Initiative),由首席科学家Caleb Harper领导,于2020年4月30日被该大学永久关闭。媒体关系总监Kimberly Allen在…

FastLeaderElection

FastLeaderElection是zookeeper默认的选举算法,当peer处于ServerState.Looking状态时会执行FastLeaderElection.lookForLeader进行选主. 重要数据结构: 1.HashMap<Long, Vote> recvset: 本轮选举中来自 ServerState处于 Looking的 Peer的选票信息. 用于判断是否选举结束…

linux安装-bin.rpm,Linux离线安装jdk,bin、rpm和tar.gz三种方式及配置jdk环境变量

本文主要是为了记录安装过程&#xff0c;方便后续用到时可及时翻阅&#xff0c;如有不对之处&#xff0c;请各位不吝赐教。因离线安装方法较为常用&#xff0c;故本文主要说明使用离线方式安装jdk的方法&#xff0c;在线安装方法后续补充。第一步&#xff1a;下载jdk官网下载地…

万字总结,知识蒸馏如何在推荐系统中大显身手?

来源&#xff1a;AI科技评论作者 | 张俊杰编辑 | 丛 末本文首发于知乎 https://zhuanlan.zhihu.com/p/143155437随着深度学习的快速发展&#xff0c;优秀的模型层出不穷&#xff0c;比如图像领域的ResNet、自然语言处理领域的Bert&#xff0c;这些革命性的新技术使得应用效果快…

【模板】快速幂取模

快速幂取模的模板&#xff0c;要注意所有变量都要开成long long类型的防溢出&#xff1a; #include<cstdio> #include<algorithm> #include<cstring> typedef long long LL; const LL mod1e97; using namespace std; LL a,b; LL mi(LL x,LL y) {LL res1;whil…

linux vim debugger,Vim 调试:termdebug 入门

简介termdebug 是从 Vim 8.1 开始内置的调试插件&#xff0c;仅支持 GDB。本教程仅在 Linux 下(Ubuntu 16.04)测试通过。安装将 Vim 升级至 8.1 或以上版本。GDB 需升级至 7.12 或以上版本。启动默认情况下需手动加载 termdebug 插件&#xff1a;:packadd termdebug假设我们有一…

时空大数据可视化表达分析,看MapGIS七大“超能力”

文章转载自微信公众号中地数码MapGIS&#xff0c;版权归原作者及刊载媒体所有。伴随着人们探索空间的过程&#xff0c;信息的获取范围也从局部地面、全球地表、地球各个圈层扩展到地球内外的整个空间&#xff0c;从原有的二维平面空间基准逐步演变到三维空间基准&#xff0c;进…

map key char*

STL中map的key能否用char 呢&#xff1f;当然可以&#xff01; 在程序中需要用到一个map&#xff0c;本来是这样写的&#xff0c; map<string, int> mapStr; 为了追求效率&#xff0c;把string改成了char &#xff0c; map<char , int> mapStr; 结果呢&#xff1f;…

深扒ASML 的玩法,对工控企业生态圈的思考

来源&#xff1a;中国传动网自从美国的新一轮技术封锁发生后&#xff0c;普天之下的吃瓜群众为华为操碎了心&#xff0c;甚至卖菜的大妈偶尔讨论这件事。由此可见&#xff0c;半导体对国家科技、工业的影响有多大。半导体制造产业中&#xff0c;光刻机是核心设备&#xff0c;对…

c语言第一周作业答案,C语言程序设计下mooc答案.pdf

《C语言程序设计下mooc答案.pdf》由会员分享&#xff0c;可在线阅读&#xff0c;更多相关《C语言程序设计下mooc答案.pdf(27页珍藏版)》请在装配图网上搜索。1、2016.03.2806.30 北京理工大学 MOOC C语言程序设计(下)网上作业答案 第一周编程作业 1、求最大公约数和最小公倍数(…

吃货联盟

public class eat {public static void main(String[] args) {Scanner input new Scanner(System.in);String[] names new String[4]; // 订餐人名字String[] dishMegs new String[4]; // 保存所选的信息,包括菜品名及份数int[] times new int[4]; // 保存订餐时间double[]…