1.单机部署hadoop测试环境

之前看了很多理论上的知识,感觉云里雾里的,所以赶紧着手搭建个单机版的hadoop跑一跑,开启自学大数据技术的第一步~~

  1.在开源的世界里,我就是个土豪,要啥有啥,所以首先你得有个jdk,有钱所以用最新的java8,hadoop使用的是hadoop2.6.0。

  2.配置好java后,可以在/etc/profile里配置好环境变量,方便之后使用,紧接着解压hadoop2.6.0.tar.gz。

  3.接下来配置hadoop,所有的配置文件都在hadoop文件夹下的etc/hadoop中:

 (1)hadoop-env.sh :这个脚本只需要修改最上面的JavaHome即可,修改为自己的java路径

 (2)core-site.xml,mapred-site.xml,hdfs-site.xml这几个配置完事再补上吧~~~,网上挺多的,不过要找自己对应的版本,不然会出很多奇怪的问题。

  4.配置好之后就要启动了

  (1)启动之前首先要把namenode格式化一下,这是第一次启动hadoop需要做的动作,他会把hdfs中所有的东西全部清空掉的,所以要慎用~~

[qiang@localhost hadoop-2.6.0]$  bin/hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.15/08/11 08:25:43 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.6.0
.....
.....
.....
15/08/11 08:25:46 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

  格式化会出现一大堆信息,如果没有报错,那么说明之前的配置应该是可以滴~~~

  (2)启动的时候,可以直接使用sbin/start-all.sh,但是这种方式太low,如果集群启动出现错误,那么不会知道是那一部分的问题,不便于问题的排查,所以我们来一个一个启动它

启动namenode:

[qiang@localhost hadoop-2.6.0]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /home/qiang/hadoop-2.6.0/logs/hadoop-qiang-namenode-localhost.localdomain.out

启动datanode:

[qiang@localhost hadoop-2.6.0]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /home/qiang/hadoop-2.6.0/logs/hadoop-qiang-datanode-localhost.localdomain.out

可以用jps命令查看是否启动

[qiang@localhost ~]$ jps
17254 Jps
16473 NameNode
16698 DataNode

当然也可以使用开放的端口在web浏览器上查看:(hdfs开放的端口为50070)

开了当然要用用他了,看看是不是唬人的,所以我们向hdfs中上传点东西试试:

[qiang@localhost hadoop-2.6.0]$ bin/hadoop fs -mkdir /home
[qiang@localhost hadoop-2.6.0]$ bin/hadoop fs -mkdir /home/qiangweikang
[qiang@localhost hadoop-2.6.0]$ bin/hadoop fs -put README.txt /home/qiangweikang

点击uitilites中的system source会看到我们之前传进去的东东:

 好开森~~

完事我们继续启动yarn

[qiang@localhost hadoop-2.6.0]$ sbin/start-yarn.sh

在web上就可以看到传说中的那只大象....  ,而且我们可以看到有一个活动的节点(yarn的ResourceManager的默认端口号是8088)

 

接下来我们再跑一个demo,看看hadoop是怎么去运行的(在share下有自带的demo可供测试)这个pi的计算很有意思,是对一个圆做投掷飞镖的动作,第一个参数是map操作的次数

第二个参数是每次投掷多少个飞镖,好高大上啊,pi还可以这样算~~~,难道这就是传说中的概率统计?

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 100
Number of Maps  = 2
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Starting Job
15/08/11 08:54:24 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/08/11 08:54:25 INFO input.FileInputFormat: Total input paths to process : 2
15/08/11 08:54:25 INFO mapreduce.JobSubmitter: number of splits:2
15/08/11 08:54:25 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1439308289430_0001
15/08/11 08:54:26 INFO impl.YarnClientImpl: Submitted application application_1439308289430_0001
15/08/11 08:54:26 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1439308289430_0001/
15/08/11 08:54:26 INFO mapreduce.Job: Running job: job_1439308289430_0001
15/08/11 08:54:41 INFO mapreduce.Job: Job job_1439308289430_0001 running in uber mode : false
15/08/11 08:54:41 INFO mapreduce.Job:  map 0% reduce 0%
15/08/11 08:54:51 INFO mapreduce.Job:  map 50% reduce 0%
15/08/11 08:54:52 INFO mapreduce.Job:  map 100% reduce 0%
15/08/11 08:55:04 INFO mapreduce.Job:  map 100% reduce 100%
15/08/11 08:55:05 INFO mapreduce.Job: Job job_1439308289430_0001 completed successfully
15/08/11 08:55:06 INFO mapreduce.Job: Counters: 49File System CountersFILE: Number of bytes read=50FILE: Number of bytes written=317688FILE: Number of read operations=0FILE: Number of large read operations=0FILE: Number of write operations=0HDFS: Number of bytes read=526HDFS: Number of bytes written=215HDFS: Number of read operations=11HDFS: Number of large read operations=0HDFS: Number of write operations=3Job Counters Launched map tasks=2Launched reduce tasks=1Data-local map tasks=2Total time spent by all maps in occupied slots (ms)=14463Total time spent by all reduces in occupied slots (ms)=10093Total time spent by all map tasks (ms)=14463Total time spent by all reduce tasks (ms)=10093Total vcore-seconds taken by all map tasks=14463Total vcore-seconds taken by all reduce tasks=10093Total megabyte-seconds taken by all map tasks=14810112Total megabyte-seconds taken by all reduce tasks=10335232Map-Reduce FrameworkMap input records=2Map output records=4Map output bytes=36Map output materialized bytes=56Input split bytes=290Combine input records=0Combine output records=0Reduce input groups=2Reduce shuffle bytes=56Reduce input records=4Reduce output records=0Spilled Records=8Shuffled Maps =2Failed Shuffles=0Merged Map outputs=2GC time elapsed (ms)=412CPU time spent (ms)=4770Physical memory (bytes) snapshot=680353792Virtual memory (bytes) snapshot=6324887552Total committed heap usage (bytes)=501743616Shuffle ErrorsBAD_ID=0CONNECTION=0IO_ERROR=0WRONG_LENGTH=0WRONG_MAP=0WRONG_REDUCE=0File Input Format Counters Bytes Read=236File Output Format Counters Bytes Written=97
Job Finished in 42.318 seconds
Estimated value of Pi is 3.12000000000000000000

 

最后记得把yarn关掉~~

[qiang@localhost hadoop-2.6.0]$ sbin/stop-yarn.sh 

 

转载于:https://www.cnblogs.com/qiangweikang/p/4723196.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/290661.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode之Merge Sorted Array

1、问题 Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array. Note: You may assume that nums1 has enough space (size that is greater or equal to m n) to hold additional elements from nums2. The number of elements ini…

.NET6之MiniAPI(二十一):限流

限流,可以网络的基础设施进行配置实现,也可以在网关的地方进行限流,但服务本身的限流也不可或缺,因为当多副本时,一个副本故障,流量对于其他副本来说会提高,如果超过其承受请求量的范围&#xf…

《互联网+流通——F2R助力传统产业创新与转型》一一第1章 “互联网+”的新时代...

第1章 “互联网+”的新时代 回顾过去20多年,互联网在中国不断发展壮大,从根本上重构了中国人的生活方式。伴随“互联网”在2015年正式被写入国家战略,“互联网”将助推国民经济三驾马车的再造新生,以创新驱动中国经济的…

Oracle数据库体系结构

文章目录Oracle系统体系结构由三个部分组成:**实例、物理结构和逻辑结构**实例和物理结构(数据库)组成了Oracle服务器。一、实例1.1 内存结构1.1.1 系统全局区(SGA)1.1.1.1 共享池(共享储存区)1…

Distributed transactions with multiple databases, Spring Boot, Spring Data JPA and Atomikos

2019独角兽企业重金招聘Python工程师标准>>> A couple of weeks ago I was evaluating the possibility to use Spring Boot, Spring Data JPA and Atomikos for distributed transactions involving multiple databases. After looking at the Spring blog articl…

js如何查看元素类型

<script type"text/javascript"> //定义变量temp var temp Object.prototype.toString.apply("abcdef"); alert(temp); //执行结果------>[Object String] //定义变量temp var temp Object.prototype.toString.apply(123456); alert(te…

Android之用adb命令快速获取手机IP方法总结

方法1 adb shell netcfg 方法2 adb shell netstat 找到local address 方法3 手机root 安装busyboxadb shell ifconfig

Avalonia跨平台入门第十四篇之ListBox折叠列表

在前面分享的几篇中咱已经玩耍了Popup、ListBox多选、Grid动态分、RadioButton模板、控件的拖放效果、控件的置顶和置底、控件的锁定、自定义Window样式、动画效果、Expander控件;今天趁着空闲时间接着去摸索基于ListBox的折叠列表的效果,最终实现的效果如下图:先来看看布局吧:…

《HTML5触摸界面设计与开发》——1.4 神秘谷,是什么让触摸界面反应灵敏?...

本节书摘来自异步社区《HTML5触摸界面设计与开发》一书中的第1章&#xff0c;第1.4节,作者&#xff1a; 【美】Stephen Woods 更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 神秘谷&#xff0c;是什么让触摸界面反应灵敏&#xff1f; 我有个两岁半的儿子。他从一…

Android之获取移动网络ip

1、获取移动网络ip 2、代码 public String getLocalIpAddress() { try { for (Enumeration<NetworkInterface> en = NetworkInterface.getNetworkInterfaces(); en.hasMoreElements();) { NetworkInterface intf = en.nextElement(); for (Enumeration<InetAddres…

GCD

使用GCD 什么是GCD Grand Central Dispatch (GCD)是Apple开发的一个多核编程的解决方法。该方法在Mac OS X 10.6雪豹中首次推出&#xff0c;并随后被引入到了iOS4.0中。GCD是一个替代诸如NSThread, NSOperationQueue, NSInvocationOperation等技术的很高效和强大的技术。 GCD和…

软件测试技术——系统测试

文章目录一、功能测试二、回归测试定义测试时机三、性能测试定义目标性能测试类型压力负载测试1.并发性能测试&#xff08;重点&#xff09;2. 疲劳强度测试3. 大数据量测试压力测试&负载测试四、其他非功能测试1. 安全性测试功能性测试&安全性测试2. 可靠性3. 容错性测…

nagios-3.4.3搭建

nagios转载于:https://blog.51cto.com/yujianglei/1557718

.NET Core程序瘦身器发布,压缩程序尺寸到1/3

.NET Core具有【剪裁未使用的代码】的功能&#xff0c;但是由于它是使用静态分析来实现的&#xff0c;因此它的剪裁效果并不是最优的。它有如下两个缺点&#xff1a;不支持Windows Forms和WPF&#xff0c;而对于程序剪裁功能需求最强烈的其实反而是桌面程序的开发者。无法删除运…

Android之切换账号登录依然能登录成功问题解决办法

1、问题 切换账号登录依然能登录成功 2、原因和解决办法 原因是因为我调用了第三方的sdk,里面有个生成签名文件的函数&#xff0c;写死了一个参数&#xff0c;导致每次生成签名文件内容都是一致&#xff0c;导致到服务端验证通过成功。 分析路线&#xff1a; 1、 先打印日志…

《大型网站服务器容量规划》一1.1 容量规划背景

本节书摘来异步社区《大型网站服务器容量规划》一书中的第1章&#xff0c;第1.1节&#xff0c;作者&#xff1a; 郑钢 责编&#xff1a; 张涛&#xff0c;更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.1 容量规划背景 如今人们已经习惯从互联网上获取信息&#xf…

iptables配置详解

-A参数是将规则写到现有链规则的最后面-I 参数默认是将一条规则添加到现有规则链的最前面&#xff0c;当然也可以指定插入到第几行 行数可以用数字来指定 比如说将一条规则添加到某一条链的第三行 那么原来在第三行的规则就会降到下一行第四行。例如&#xff1a; iptables -I …

软件测试技术——单元测试和集成测试

一、单元测试 为何要进行单元测试&#xff1f; 尽早发现错误 错误发现越早&#xff0c;成本越低。发现问题比较容易修正问题更容易 1.定义 单元测试是对软件基本的组成单元进行独立的测试 2.目标 单元模块是否被正确编码。信息能否正确地流入和流出单元。在单元工作过程中…

文本框输入值文字消失常用的两种方法

1.这种相对来说较简单&#xff0c;举例子&#xff1a; <input name"textfield" type"text" value"点击添入标题" style"color: gray;" onfocus"if (value 点击添入标题){value }" onblur"if (value ){value点击添…

C语言之strstr函数类似Java字符串的contain函数

1、strstr函数介绍 找出haystack字符串在needle字符串中第一次出现的位置&#xff08;不包括needle的串结束符&#xff09;。返回该位置的指针&#xff0c;如找不到&#xff0c;返回空指针。 2、举例 3、运行结果