linux下的单机工具,Linux下单机模式的Hadoop部署

需要软件:

ssh:fedore 9 自带。

jdk:http://java.sun.com/javase/downloads/index.jsp,下最近版本jdk-6u18-linux-i586

Hadoop:http://apache.etoak.com/hadoop/core/hadoop-0.20.1/,最新版本0.20.1,据说这个版本jdk必须1.6以上。

三种运行模式:

单机(非分布式)模式,伪分布式运行模式(用不同进程模仿分布式运行中的各类结点),分布式运行模式。

其中前两种运行模式体现不了Hadoop分布式计算的优势,并没有什么实际意义,但对程序的测试及调试很有帮助。现在只有一台机器, 主要想了解基于Hadoop的分布式并行程序是如何运行的。

单机模式安装步骤:

1.解压安装包至:/usr/local/hadoop

如果安装jdk已经设置了路径,安装完毕。否则:

2.cd /usr/local/hadoop/conf,修改hadoop-env.sh,最后一行添加:export JAVA_HOME=/usr/local/jdk1.6.0_18(jdk路径).

看看这玩意怎么跑的:

1.

[root@localhost hadoop]# mkdir input

[root@localhost hadoop]# cp conf/*.xml input

[root@localhost hadoop]# bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+'

10/01/26 00:22:54 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

10/01/26 00:22:54 INFO mapred.FileInputFormat: Total input paths to process : 5

...

[root@localhost hadoop]# cat output/*

1    dfsadmin

[root@localhost hadoop]# ls output/

part-00000

程序是hadoop自带的,把conf下的xml文件拷贝到input下作为输入,找到并显示所有与最后一个正则表达式匹配的行,输出到output.

jar 是 bin/hadoop 脚本定义的参数,会调用 Hadoop 自己的一个工具类 RunJar,这个工具类能够执行一个 Jar 文件。

2.

[root@localhost hadoop]# mkdir test-in

[root@localhost hadoop]# echo "hello world bye world" > test-in/file1.txt

[root@localhost hadoop]# echo "hello hadoop googbye hadoop" > test-in/file2.txt

[root@localhost hadoop]# bin/hadoop jar hadoop-0.20.1-examples.jar wordcount  test-in test-out

10/01/26 00:43:46 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

10/01/26 00:43:46 INFO input.FileInputFormat: Total input paths to process : 2

...

[root@localhost hadoop]# cat test-out/*

bye    1

googbye    1

hadoop    2

hello    2

world    2

[root@localhost hadoop]# ls test-out/

part-r-00000

这个程序也是hadoop自带的,统计各个单词出现次数。

刚开始上网搜的结果都是修改fs.default.name,mapred.job.tracker等等,都是分布式运行模式的配置,没想到单机模式这么简单,浪费了不少时间。0b1331709591d260c1c78e86d0c51c18.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487761.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全球顶尖计算机科学家排名,中科大上榜人数全国第一

来源:今日头条一年一度的全球顶尖计算机科学家TOP1000榜单出炉,这份由Guide2Research发布的计算机科学家排名中,中国科学技术大学以16人入选力压清华、北大、浙大等计算机科学强校,高居全国第一!中科大张亚勤等13位本科…

CentOS6实现路由器功能

网络之间的通信主要是依靠路由器,当然生成环境中是拥有路由器的,但是系统中的路由配置也是需要了解一下地,今天讲解一下在CentOS6环境下搭建路由器,此乃入门级的简单实验。拓扑如上图已经规划好,暂且使用静态路由演示。…

在近期,美众议院为何密集提出了15项新兴技术法案?

来源:资本实验室近期,美国众议院能源和商业委员会及消费者保护与商业小组委员会密集提出了15项与新兴技术相关的法案议程。这些法案开宗明义,建立了明确的目标:确保美国在新兴技术领域的领导地位,以在全球竞争力方面战…

求助马斯克实现载人飞行,NASA省了近300亿美元

出品 | 网易科技《知否》栏目组当美国宇航局(NASA)的宇航员于当地时间5月27日搭乘SpaceX的载人龙飞船升空时,他们将不仅仅是进入太空,还将开启一个可能具有变革意义的新时代,因为此前没有任何私人公司将人类送入轨道。…

linux基础操作与实践,Linux操作系统基础与实践

《21世纪高等院校计算机网络工程专业规划教材:Linux操作系统基础与实践》由清华大学出版社出版。19.18定价:29.50(6.51折)/2014-06-01《Linux劋作系统基础与实践/21世纪高等院校计算机网络工程专业规划教材》内容共分10章,第1章主要讲解劋作系统概述、劋…

MIT机器学习种菜项目永久关停

来源:IEEE电气电子工程师Photo: Harry Goldstein麻省理工学院媒体实验室的开放农业计划(Open Agriculture Initiative),由首席科学家Caleb Harper领导,于2020年4月30日被该大学永久关闭。媒体关系总监Kimberly Allen在…

万字总结,知识蒸馏如何在推荐系统中大显身手?

来源:AI科技评论作者 | 张俊杰编辑 | 丛 末本文首发于知乎 https://zhuanlan.zhihu.com/p/143155437随着深度学习的快速发展,优秀的模型层出不穷,比如图像领域的ResNet、自然语言处理领域的Bert,这些革命性的新技术使得应用效果快…

【模板】快速幂取模

快速幂取模的模板&#xff0c;要注意所有变量都要开成long long类型的防溢出&#xff1a; #include<cstdio> #include<algorithm> #include<cstring> typedef long long LL; const LL mod1e97; using namespace std; LL a,b; LL mi(LL x,LL y) {LL res1;whil…

linux vim debugger,Vim 调试:termdebug 入门

简介termdebug 是从 Vim 8.1 开始内置的调试插件&#xff0c;仅支持 GDB。本教程仅在 Linux 下(Ubuntu 16.04)测试通过。安装将 Vim 升级至 8.1 或以上版本。GDB 需升级至 7.12 或以上版本。启动默认情况下需手动加载 termdebug 插件&#xff1a;:packadd termdebug假设我们有一…

时空大数据可视化表达分析,看MapGIS七大“超能力”

文章转载自微信公众号中地数码MapGIS&#xff0c;版权归原作者及刊载媒体所有。伴随着人们探索空间的过程&#xff0c;信息的获取范围也从局部地面、全球地表、地球各个圈层扩展到地球内外的整个空间&#xff0c;从原有的二维平面空间基准逐步演变到三维空间基准&#xff0c;进…

深扒ASML 的玩法,对工控企业生态圈的思考

来源&#xff1a;中国传动网自从美国的新一轮技术封锁发生后&#xff0c;普天之下的吃瓜群众为华为操碎了心&#xff0c;甚至卖菜的大妈偶尔讨论这件事。由此可见&#xff0c;半导体对国家科技、工业的影响有多大。半导体制造产业中&#xff0c;光刻机是核心设备&#xff0c;对…

2019-2020年人工智能产业发展深度报告

来源&#xff1a;华泰证券人工智能市场格局人工智能&#xff08;Artificial Intelligence&#xff0c;AI&#xff09;是利用机器学习和数据分析方法赋予机器模拟、延 申和拓展类人的智能的能力&#xff0c;本质上是对人类思维过程的模拟。AI 概念最早始于 1956 年 的达特茅斯会…

c语言求字符串复制函数,快速上手系列-C语言之字符串处理函数(一)

C语言中常用的字符串操作函数&#xff0c;有比如计算字符串长度、字符串拷贝&#xff0c;字符串比较等这样的整体操作函数&#xff0c;有字符串查询函数&#xff0c;也有字符串转换函数等等&#xff0c;这里先介绍字符串整体操作函数。字符串整体操作函数实际编程中&#xff0c…

宇宙的第一推动力,必然存在吗?

《创造世界与逐出乐园》&#xff08;The Creation of the World and the Expulsion from Paradise&#xff09;&#xff0c;乔万尼迪保罗&#xff08;Giovanni di Paolo&#xff09;&#xff0c;1445年&#xff0c;© 公共领域文/StillJustJames译/苦山校对/光明左使原文/m…

良好编程习惯的养成

在开发中&#xff0c;一个良好的编程习惯对这个团队也是一种带动作用&#xff0c;今天在网上看到了一坨这样的代码和屎&#xff0c;他恶心了&#xff01;再次强调 一定要注意代码的缩进和格式化&#xff01;&#xff01;切记&#xff01;切记&#xff01;&#xff01; 一定 不可…

科技部:学术不端零容忍!违规人员所获职称、奖金等全部清退归零

文章 | 募格学术来源 | 科技部、科奖中心、新京报国务院新闻办公室2020年5月19日下午举行新闻发布会&#xff0c;介绍加快建设创新型国家、支撑引领高质量发展有关情况。科技界的学风和作风一直都是各方高度关注的问题&#xff0c;科技部是如何加强科技界的作风和学风建设的&am…

一文看懂台积电的研发实力

来源&#xff1a;内容来自「台积电财报」&#xff0c;谢谢。在一个月的文章《这才是台积电的真正实力》中&#xff0c;我们对台积电公司的实力做了一个概述。今天&#xff0c;我们从台积电去年底的研发投入和成果&#xff0c;看清这家晶圆代工巨头的真正技术实力。研发团队之组…

VS2015 IIS Express 无法启动 解决办法(转)

因为安装各种乱七八糟的软件&#xff0c;然后不小心把IIS Express卸载掉了&#xff0c;网上下载了一个IIS Express 7&#xff0c;安装之后本地使用VS 2015无法启动调试&#xff0c;F5 无法启动IIS&#xff0c; 再次F5调试&#xff0c;没有反应IIS Express没有启动。 日志记录错…

【数字孪生】数字孪生十问:分析与思考

本文来源&#xff1a;数字孪生DigitalTwin(北京航空航天大学&#xff0c;自动化科学与电气工程学院&#xff0c;数字孪生研究组)摘 要&#xff1a;当前数字孪生备受学术界、工业界、金融界以及政府部门关注。然而各界对数字孪生存在不同的理解和认识&#xff0c;对数字孪生相关…

图解机器学习

来源&#xff1a;大数据实验室机器学习这个主题已经很普遍了&#xff0c;每个人都在谈论它&#xff0c;但很少有人能够透彻地了解它。当前网络上的一些机器学习文章晦涩难懂&#xff0c;理论性太强&#xff0c;或者通篇云里雾里地介绍人工智能、数据科学的魔力以及未来的工作等…