Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)

在开始配置前,我们先了解Hadoop的三种运行模式。

Hadoop的三种运行模式

  • 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便,因此该模式在开发阶段比较适合。
  • **伪分布式模式:**Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。
  • **全分布式模式:**Hadoop守护进程运行在一个集群上。

下面我们进入正题,即如何在Windows 7上搭建Hadoop伪分布式环境。

  1. 安装JDK,设置环境变量。
    首先,在控制面板上查看自己的操作系统是32位还是64位。
    然后,检查自己的电脑上是否已经具备Java环境。步骤如下:
    1)Ctrl+R
    2)cmd
    3)输入java -version,若正常显示java版本,证明本机已安装java环境,跳到步骤2.若显示“不是内部或外部命令”,则需要安装JDK,继续步骤4)
    4) 安装JDK,楼主用的是jdk-8u131-windows-x64.exe,因为不允许重复上传CSDN资源,所以楼主无法提供给大家,可以自行下载。说明:只需安装JDK,不需要安装JRE。
    5)配置Java环境变量,配置路径:计算机(右键)–属性–高级系统设置—高级–环境变量。
    在系统变量处新建,变量名:JAVA_HOME;变量值:你安装JDK的位置,楼主的是D:\Tools\jdk
    修改path:在原有的那串变量值后增加%JAVA_HOME%\bin;…
    6)测试Java环境
    在cmd窗口:
    测试Java环境:
    echo %JAVA_HOME%
    echo %path%
    path
    java -version
    javac -version
  2. 下载Hadoop 2.7.7,这个楼主传了资源,诚信赚分,哈哈(https://download.csdn.net/download/u013159040/10620584)
    下载,解压到某个文件夹,如D:\Tools\Hadoop
  3. 下载window util for hadoop。为了配合hadoop 2.7.7,楼主也上传了资源(https://download.csdn.net/download/u013159040/10620589),下载后解压到hadoop2.7.7的bin目录下,直接覆盖该目录下的所有内容。请注意此util与具体的hadoop版本是有关的,如果选用不同的hadoop版本,需要找到正确的util。
  4. 添加Hadoop环境变量,参考Java的,新建HADOOP_HOME 变量名同样是自己存放hadoop的位置,如D:\Tools\Hadoop\hadoop-2.7.7, 并添加path路径:%HADOOP_HOME%\bin
  5. 创建nodename和datanode目录,用来保存数据,如:
    d:\tools\hadoop\data\namenode
    d:\tools\hadoop\data\datanode

  6. 在D:\Tools\Hadoop\hadoop-2.7.7\etc\hadoop里修改4个配置文件:core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>   
</configuration>

hdfs-site.xml(不要直接复制楼主的,要看看自己的namenode和datanode存放的位置是否和楼主一致,不一致的要修改):

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/D:/Tools/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/D:/Tools/data/datanode</value></property>
</configuration>

mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

yarn-site.xml:

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>4096</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>2</value></property>
</configuration>

7.上面步骤完成设置后,就可以试着运行Hadoop了。
Hadoop 启动命令start -all.cmd
Hadoop 结束命令stop -all.cmd
进入到自己的hadoop sbin目录(一直cd就行了),启动start-all.cmd,再jps查看java进程,如下图
这里写图片描述
同时,会跳出4个窗口
DataNode
namenode
nodemanager
resourcemanager

web方式查看文件系统:http://localhost:50070/
查看mapreduce job:http://localhost:8088
由NameNode(守护进程)服务提供


下面可以测试Hadoop自带的Wordcount

  1. 在d盘新建一个txt文件t1.txt
    t1.txt
  2. 把t1上传到HDFS: hadoop fs -put d:\t1.txt /t1/t1.txt
  3. cd进到mapreduce,然后可以开始运行wordcount了:
    hadoop jar /D:\Application\hadoop-2.7.7\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.7.jar wordcount \t1 \output
    这里写图片描述
  4. 然后我们可以看到词频统计结果:
    这里写图片描述
    网页上查看的如下:
    这里写图片描述
    可以下载分布式文件系统上的这个t1.txt文件。

——————————————–欢迎一起学习探讨————————————————

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/385985.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

7年老Android一次操蛋的面试经历,讲的太透彻了

由于涉及到的面试题较多导致篇幅较长&#xff0c;我根据这些面试题所涉及到的常问范围总结了并做出了一份学习进阶路线图​​​​​​​及面试题答案免费分享给大家&#xff0c;文末有免费领取方式&#xff01; View面试专题 View的滑动方式View的事件分发机制View的加载流程…

80后程序员月薪30K+感慨中年危机,面试必问!

说说程序猿行业 现在社会上给IT行业贴上了几个标签&#xff1a;高薪、高危、高大上、秃顶&#xff08;哈哈&#xff09;。这些标签我相比大家都比较清楚&#xff0c;至于为什么是这些标签呢&#xff1f;而且这些标签是真实还是假象呢&#xff1f; 高薪 作为IT行业来说&#…

华为照片在哪个文件夹_原来华为手机还能这样清理垃圾,怪不得你的手机可以多用5年...

对于目前市场上的智能手机来说&#xff0c;大家的手机功能都是差不多的&#xff0c;除了一些外观上的差别之外&#xff0c;最大的区别就是手机的内存&#xff0c;但是很多朋友却表示手机内存很大&#xff0c;但是没用多久&#xff0c;手机就会出现卡顿或者是运行速度变慢的现象…

996页阿里Android面试真题解析火爆全网,全网首发!

在安卓系统中&#xff1a; 当系统内存不足时&#xff0c;Android系统将根据进程的优先级选择杀死一 些不太重要的进程&#xff0c;优先级低的先杀死。进程优先级从高到低如下。 前台进程 处于正在与用户交互的activity与前台activity绑定的service调用了startForeground&…

996页阿里Android面试真题解析火爆全网,分享面经!

导语 学历永远是横在我们进人大厂的一道门槛&#xff0c;好像无论怎么努力&#xff0c;总能被那些985,211 按在地上摩擦&#xff01; 不仅要被“他们”看不起&#xff0c;在HR挑选简历&#xff0c;学历这块就直接被刷下去了&#xff0c;连证明自己的机会也没有&#xff0c;学…

access ole 对象 最大长度_Redis 数据结构和对象系统,有这 12 张图就够了!

作者 | 程序员历小冰责编 | 林瑟Redis 是一个开源的 key-value 存储系统&#xff0c;它使用六种底层数据结构构建了包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象的对象系统。 今天我们就通过 12 张图来全面了解一下它的数据结构和对象系统的实现原理。01数据结…

【面试总结】2021Java春招面试经历

三、堆空间 基本描述 JVM启动时创建堆区&#xff0c;是内存管理的核心区&#xff0c;通常情况下也是最大的内存空间&#xff0c;是被所有线程共享的&#xff0c;几乎所有的对象实例都要在堆中分配内存&#xff0c;所以这里也是垃圾回收的重点空间。 堆栈关系 栈是JVM运行时的…

【高级Java架构师系统学习】最新Java高级面试题汇

性能调优 影响MySQLServer 性能的相关因素 商业需求对性能的影响系统架构及实现对性能的影响Query语句对系统性能的影响Schema设计对系统的性能影响硬件环境对系统性能的影响 MySQL 数据库锁定机制 MySQL锁定机制简介各种锁定机制分析合理利用锁机制优化MySQL MySQL数据库Qu…

vue 安装指定版本swiper_Vue中的runtime-only和runtime-compiler

在我们使用vue-cli的时候&#xff0c;会提示你安装的版本可以看到有两种版本&#xff1a;Routime Only和Runtime Compiler版本1.Runtime Only - 代码中不可以有任何template 性能更高在该版本下&#xff0c;通常需要借助如webpack的vue-loader发工具把.vue文件编译成js因为是在…

一文搞懂JVM架构:入职3个月的Java程序员面临转正

Java基础 1.JAVA 中的几种数据类型是什么&#xff0c;各自占用多少字节。 2.String 类能被继承吗&#xff0c;为什么。 3. 两个对象的 hashCode() 相同&#xff0c;则 equals() 也一定为 true&#xff0c;对吗&#xff1f; 4. String 属于基础的数据类型吗&#xff1f; 5.…

不显示调用super_让不懂编程的人爱上iPhone开发(2017秋iOS11+Swift4+Xcode9版)-第11篇

欢迎回到我们的iPhone开发教程系列&#xff0c;让我们继续前进吧。重新来过别害怕&#xff0c;哥不是让你抛弃之前所有的源代码&#xff0c;从零开始重新构建这个项目&#xff01;这里说的是游戏界面里面的“Start over”按钮。在我们的to-do清单里面曾经提到过&#xff0c;这个…

一文搞懂JVM架构:跳槽面试大厂被拒

正文 在实际的工作项目中&#xff0c; 缓存成为高并发、高性能架构的关键组件 &#xff0c;那么Redis为什么可以作为缓存使用呢&#xff1f;首先可以作为缓存的两个主要特征&#xff1a; 在分层系统中处于内存/CPU具有访问性能良好&#xff0c;缓存数据饱和&#xff0c;有良好…

全局变量_Python函数中的全局变量与局部变量

# a,b变量是全局变量,在整个py文件中都可以访问a 11b 12# 定义一个函数def first():# 这个变量是函数内部定义的变量,属于局部变量,只能在函数中使用c "Hello"# 大括号{} 是format()函数的用法,格式化print("c {}".format(c))# 如果局部变量定义的名称…

一文详解:字节面试官必问的Mysql锁机制

一面 1 自我介绍和项目 2 Java的内存分区 3 Java对象的回收方式&#xff0c;回收算法。 4 CMS和G1了解么&#xff0c;CMS解决什么问题&#xff0c;说一下回收的过程。 5 CMS回收停顿了几次&#xff0c;为什么要停顿两次。 6 Java栈什么时候会发生内存溢出&#xff0c;Jav…

install npm 到某个文件下执行_你可能不知道的 npm 依赖管理那些事

点击上方蓝字关注我们npm 是 Node.js 默认的、以 JavaScript 编写的包管理工具&#xff0c;如今&#xff0c;它已经成为世界上最大的包管理工具&#xff0c;是每个前端开发者必备的工具。不知你是否遇到过下面问题&#xff1a;哎&#xff1f;我本地明明是好的&#xff0c;线上的…

万字总结!腾讯、字节跳动面经已发

二、常见的并发问题 1、脏读 一个事务读取了另一个事务未提交的数据 2、不可重复读 一个事务对同一数据的读取结果前后不一致。两次读取中间被其他事务修改了 3、幻读 幻读是指事务读取某个范围的数据时&#xff0c;因为其他事务的操作导致前后两次读取的结果不一致。幻读…

ncbi查找目的基因序列_NCBI大搜索之目的基因寻踪

NCBI大搜索之目的基因寻踪最近经常碰到查找目的基因的问题&#xff0c;那今天就讲一下如何利用NCBI数据库查找目的基因&#xff01;NCBI(National Center For Biotechnology Information),美国国家生物技术信息中心&#xff0c;分子生物学&#xff0c;生物化学及遗传学领域常用…

万字长文!2020-2021京东Java面试真题解析

我整理的spring学习笔记&#xff1a; 像spring这种知识点我们不能盲目的学习&#xff0c;首先我们得有一套学习路线&#xff0c;我总结了一套spring的学习思维导图&#xff0c;今天通过我整理的Spring学习路线.xmind给大家分析spring需要掌握的一些核心知识点。 spring的特点&…

echarts label固定位置_ECharts+百度地图网络拓扑应用

前一篇谈及到了ECharts整合HT for Web的网络拓扑图应用&#xff0c;后来在ECharts的Demo中看到了有关空气质量的相关报表应用&#xff0c;就想将百度地图、ECharts和HT for Web三者结合起来也做一个类似空气质量报告的报表拓扑图应用&#xff0c;于是有了下面的Demo&#xff1a…

三年Java开发,你连基础的JVM运行时内存布局都忘了

面&#xff1a;为什么要使用双亲委派机制去加载类&#xff1f; 答&#xff1a;避免多份同样字节码的加载&#xff0c;浪费内存。 类的加载方式 隐式加载&#xff1a;new显示加载&#xff1a;loadClass、forName等 类的装载过程如下图&#xff1a; 面&#xff1a;loadClass和…