【大数据系列】hadoop单节点安装官方文档翻译

Hadoop: Setting up a Single Node Cluster.

HADOOP：建立单节点集群

  • Purpose
  • Prerequisites
    • Supported Platforms
    • Required Software
    • Installing Software
  • Download
  • Prepare to Start the Hadoop Cluster
  • Standalone Operation
  • Pseudo-Distributed Operation
    • Configuration
    • Setup passphraseless ssh
    • Execution
    • YARN on a Single Node
  • Fully-Distributed Operation

目的

前置条件

    支持的平台

    需要的软件

   安装软件

下载

准备开始建立hadoop集群

单机操作

伪分布式操作

   配置

  设置ssh免密登陆

  扩展

  单节点中YARN

完全分布式

Purpose

This document describes how to set up and configure a single-node Hadoop installation so that you can quickly perform simple operations using Hadoop MapReduce and the Hadoop Distributed File System (HDFS).

目的

该文档描述了如何安装和配置一个单节点的Hadoop,以便于你可以快速的使用MapReduce和HDFS执行简单的操作。

Prerequisites

前置条件

Supported Platforms

  • GNU/Linux is supported as a development and production platform. Hadoop has been demonstrated on GNU/Linux clusters with 2000 nodes.

  • Windows is also a supported platform but the followings steps are for Linux only. To set up Hadoop on Windows, see wiki page.

支持的平台

     开发和生产环境支持GUN/linux环境。Hadoop在GUN/LINUX平台下证实可以创建2000个节点。

     windows平台也是支持的，但是如下的操作只是针对linux平台的，在windows上安装hadoop,请参考 wiki page.

Required Software

Required software for Linux include:

  1. Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.

  2. ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons if the optional start and stop scripts are to be used. Additionally, it is recommmended that pdsh also be installed for better ssh resource management.

需要的软件

    Java是必须的，需求的Java版本请查看HadoopJavaVersions.

   ssh是必须的，sshd必须使用hadoop脚本运行，如果使用开启或关闭脚本来管理远程机器上的hadoop进程。此外，为了更好的管理ssh资源pdsh也是需要安装的。

Installing Software

If your cluster doesn’t have the requisite software you will need to install it.

For example on Ubuntu Linux:

  $ sudo apt-get install ssh$ sudo apt-get install pdsh

安装软件

如果你的集群没有必要的软件，你需要去安装它。

例如在Ubuntu linux系统上：

   sudo apt-get install ssh

  sudo apt-get install pdsh

Download

To get a Hadoop distribution, download a recent stable release from one of the Apache Download Mirrors.

下载：

为了获取hadoop发行版，从Apache Download Mirrors.下载一个最近的稳定的发行版

Prepare to Start the Hadoop Cluster

Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:

  # set to the root of your Java installationexport JAVA_HOME=/usr/java/latest

Try the following command:

  $ bin/hadoop

This will display the usage documentation for the hadoop script.

Now you are ready to start your Hadoop cluster in one of the three supported modes:

  • Local (Standalone) Mode
  • Pseudo-Distributed Mode
  • Fully-Distributed Mode

准备去启动hadoop集群

解压下载的hadoop发行版，在解压文件中，编辑etc/hadoop/hadoop-env.sh去设置如下的参数：

# set to the root of your Java installationexport JAVA_HOME=/usr/java/latest
执行如下命令
$bin/hadoop
这将会展现使用hadoop脚本的文档现在你可以准备去启动你的hadoop集群从以下3种模式之一
本地模式
伪分布式
完全分布式

Standalone Operation

By default, Hadoop is configured to run in a non-distributed mode, as a single Java process. This is useful for debugging.

The following example copies the unpacked conf directory to use as input and then finds and displays every match of the given regular expression. Output is written to the given output directory.

  $ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha4.jar grep input output 'dfs[a-z.]+'$ cat output/*

单机操作模式
默认情况下，hadoop是设置为非分布式模式，作为一个单独的Java进程。这对于调试是有用的。以下的例子复制解压的配置文件并且符合给定的表达式的文件作为输入。输出是被写到给定的输出文件夹。 
$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha4.jar grep input output 'dfs[a-z.]+'$ cat output/*

Pseudo-Distributed Operation

Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.

伪分布式

hadoop同样可以运行为单节点的伪分布式模式，在这种情况下每一个hadoop进程作为一个单独的Java进程单独运行。

Configuration

Use the following:

etc/hadoop/core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
配置如下

etc/hadoop/core-site.xml:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

Setup passphraseless ssh

Now check that you can ssh to the localhost without a passphrase:

  $ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands:

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

设置免密登陆

现在检查你可以不使用密码ssh到本地

   $ ssh localhost 

如果你不可以没有密码ssh到本地，执行如下命令：

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 $ chmod 0600 ~/.ssh/authorized_keys

Execution

The following instructions are to run a MapReduce job locally. If you want to execute a job on YARN, see YARN on Single Node.

  1. Format the filesystem:

      $ bin/hdfs namenode -format

  2. Start NameNode daemon and DataNode daemon:

      $ sbin/start-dfs.sh

    The hadoop daemon log output is written to the $HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).

  3. Browse the web interface for the NameNode; by default it is available at:

    • NameNode - http://localhost:9870/

  4. Make the HDFS directories required to execute MapReduce jobs:

      $ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/<username>

  5. Copy the input files into the distributed filesystem:

      $ bin/hdfs dfs -mkdir input$ bin/hdfs dfs -put etc/hadoop/*.xml input

  6. Run some of the examples provided:

      $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha4.jar grep input output 'dfs[a-z.]+'

  7. Examine the output files: Copy the output files from the distributed filesystem to the local filesystem and examine them:

      $ bin/hdfs dfs -get output output$ cat output/*

    or

    View the output files on the distributed filesystem:

      $ bin/hdfs dfs -cat output/*

  8. When you’re done, stop the daemons with:

      $ sbin/stop-dfs.sh

执行

以下的指导描述了如何在本地运行一个MapReduce任务，如果你希望在YARN上执行MapReduce任务请参考后面

1、格式化文件系统

bin/hdfs  namenode -format

2、启动NameNode和DataNode

sbin/start-dfs.sh

hadoop进程日志的输出文件夹由HADOOP_LOG_DIR设置

3、浏览NameNode的web页面，默认是

NameNode http://localhost:9870

4、创建执行MapReduce任务的目录

$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>

5、拷贝输入文件到文件系统

$ bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input

6、运行提供的一些例子

  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha4.jar grep input output 'dfs[a-z.]+'

7、检查输出文件：从分布式文件系统中拷贝输出文件到本地并且检查他们

$ bin/hdfs dfs -get output output
$ cat output/*
或者

在分布式系统中查看输出文件:

$ bin/hdfs dfs -cat output/*

8、做完之后，关闭hadoop进程

$ sbin/stop-dfs.sh

YARN on a Single Node

You can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemon and NodeManager daemon in addition.

The following instructions assume that 1. ~ 4. steps of the above instructions are already executed.

  1. Configure parameters as follows:

    etc/hadoop/mapred-site.xml:

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

    etc/hadoop/yarn-site.xml:

    <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
</configuration>

  2. Start ResourceManager daemon and NodeManager daemon:

      $ sbin/start-yarn.sh

  3. Browse the web interface for the ResourceManager; by default it is available at:

    • ResourceManager - http://localhost:8088/

  4. Run a MapReduce job.

  5. When you’re done, stop the daemons with:

      $ sbin/stop-yarn.sh
YARN上运行单节点
你可以通过在伪分布式系统中配置一些参数在YARN上运行一个MapReduce job,除此之外还可以运行ResourceManager和NodeManager
如下的操作假设1~4步已经执行执行

配置参数如下：

etc/hadoop/mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

启动ResourceManager进程和NodeManager进程：

$ sbin/start-yarn.sh

浏览ResourceManager的web界面，默认认识http://localhost:8088/
ResourceManager - http://localhost:8088/

运行一个MapReduce job

完成之后，停止进程

$ sbin/stop-yarn.sh

 

转载于:https://www.cnblogs.com/dream-to-pku/p/7298423.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/455456.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

qmlcanvas绘制3d图形_透视Matplotlib核心功能和工具包 - 绘制3D图形

qmlcanvas绘制3d图形_透视Matplotlib核心功能和工具包 - 绘制3D图形

关联知识MatplotlibPython线图在此&#xff0c;我们将学习如何创建3D线图。 它类似于2D等效折线图&#xff0c;并且2D折线图的许多属性都结转到3D。我们将在相同的轴上绘制凹凸曲线&#xff0c;并从不同角度查看它们&#xff0c;例如平行视图&#xff0c;顶视图以及围绕z轴的旋…
阅读更多...
264 解码之 yuv

264 解码之 yuv

博客访问量日渐减少&#xff0c;于是我决定丢一点技术东东上去&#xff0c;吸引爬虫光顾一下。先谈谈 h.264 的编解码问题。个人建议做视频、音频的孩子们&#xff0c;一定要抓住 RFC 和 standard &#xff0c;然后多看开源编解码程序。近来抽空看了两个 decoder &#xff0c;一…
阅读更多...
Java笔记12-函数式接口

Java笔记12-函数式接口

主要内容 自定义函数式接口函数式编程常用函数式接口 第一章 函数式接口 概念 函数式接口在java中指的是:有且只有一个抽象方法的接口 函数式接口,即适用于函数式编程场景的接口.而java中共的函数式编程体现就是Lambda,所以函数式接口就是可以适用于lambda使用的接口.只有…
阅读更多...
雷军晒3亿估值，意欲“收编”台湾硬件创业者？

雷军晒3亿估值，意欲“收编”台湾硬件创业者？

1月13日&#xff0c;在台湾的CSMIC 2015移动互联网两岸年会上&#xff0c;雷军以猎豹移动董事长的身份做了《给年轻创业者的两大方向性建议》演讲。 演讲中雷军表示&#xff0c;“在未来5到10年&#xff0c;特别适合台湾年轻创业者做的两个方向&#xff0c;一个是移动互联网&am…
阅读更多...
网页“console”输出图文信息

网页“console”输出图文信息

http://www.monmonkey.com/javascript/jiben2.html 参考以上链接中的转义字符使用。 http://www.cnblogs.com/Wayou/p/chrome_dev_tool_style_console.html https://segmentfault.com/a/1190000002511877 以上链接里有各种 console 输出 ASCII图文的实现方法。 ASCII图文动态效…
阅读更多...
记事本安卓软件代码设计_用轻量级工具 Notepad3 替代 36 岁的微软记事本

记事本安卓软件代码设计_用轻量级工具 Notepad3 替代 36 岁的微软记事本

一不小心&#xff0c;微软记事本发布 36 年了。虽然微软记事本自 1985 年 Windows 1.0 以来已包含在所有版本的 Microsoft Windows 中&#xff0c;但它太基础了&#xff0c;以至于几乎所有人都要替代它&#xff0c;比如轻量级的 Notepad3&#xff0c;支持代码高亮/折叠、括号匹…
阅读更多...
H.264编码技术

H.264编码技术

H.264基本概况随着HDTV的兴起&#xff0c;H.264这个规范频频出现在我们眼前&#xff0c;HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。而且自2005年下半年以来&#xff0c;无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最值得夸耀的视频技术。H.264到底是何方“神…
阅读更多...
Java笔记13-兄弟连在线考试系统

Java笔记13-兄弟连在线考试系统

今天内容&#xff1a; 1.兄弟连在线考试系统 1.1 软件开发的流程 需求分析文档 > 概要设计文档 > 详细设计文档 > 编码和测试1.2 编写目的 (1)复习JavaSE所学的所有内容。 (2)锻炼基本的编程能力。 1.3 功能分析 考试系统&#xff1a;(1)学员系统a.修改密码b.开始…
阅读更多...
macOS自带Python2.7删除之后的悲剧

macOS自带Python2.7删除之后的悲剧

2019独角兽企业重金招聘Python工程师标准>>> 起因 今天打开xcode想要开始继续写项目的时候悲剧了. Loading a plug-in failed. The plug-in or one of its prerequisite plug-ins may be missing or damaged and may need to be reinstalled. 尝试用终端打开看看报…
阅读更多...
EasyUI 表格点击右键添加或刷新 绑定右键菜单

EasyUI 表格点击右键添加或刷新 绑定右键菜单

例1 在HTML页面中设置一个隐藏的菜单&#xff08;前提是已经使用封装的Easyui&#xff09; 代码&#xff1a; <div id"contextMenu_jygl" class"easyui-menu" style"width: 80px; display: none;"> <div …
阅读更多...
python神奇的小海龟_Python笔记_第一篇_面向过程_第一部分_8.画图工具(小海龟turtle)...

python神奇的小海龟_Python笔记_第一篇_面向过程_第一部分_8.画图工具(小海龟turtle)...

turtle 是一个简单的绘图工具。提供一个小海龟&#xff0c;可以把它理解为一个机器人&#xff0c;只能听懂有限的命令&#xff0c;且绘图窗口的原点(0,0)在中间&#xff0c;默认海龟的方向是右侧海龟的命令包括三类&#xff1a;运动命令、笔画控制命令、其他命令。1. 运动命令…
阅读更多...
jupyter浅析

jupyter浅析

一、jupyter 起步:简介 Jupyter Notebook是一个开源的Web应用程序&#xff0c;允许用户创建和共享包含代码、方程式、可视化和文本的文档。它的用途包括&#xff1a;数据清理和转换、数值模拟、统计建模、数据可视化、机器学习等等。它具有以下优势&#xff1a; 可选择语言&a…
阅读更多...
我在全球最大的同性社交平台那点事

我在全球最大的同性社交平台那点事

本文作者&#xff1a;夏之冰雪&#xff0c;i春秋签约作家 《我在百度网盘上看到上万条车主个人信息,企业、政府高官信息、各种数据库和无穷无尽的盗版》&#xff0c;一时间&#xff0c;这篇文章就火了&#xff0c;火爆程度另百度猝不及防。 其实呢&#xff0c;这事真不能全怪百…
阅读更多...
H.264的CAVLC(编码.解码)过程详解

H.264的CAVLC(编码.解码)过程详解

看264也看到CAVLC来了&#xff0c;把这方面的资料贴在这里&#xff1a; 编码过程&#xff1a; 假设有一个4*4数据块 &#xff08;变化&#xff0c;量化后就送入熵编码&#xff09;{ 0 , 3 , -1 , 0, 0, -1 , 1, 0, 1 , 0 , 0 , 0, 0 , 0 , 0 , 0 } 数据重排列&a…
阅读更多...
python进程通信方式有几种_python全栈开发基础【第二十一篇】互斥锁以及进程之间的三种通信方式（IPC）以及生产者个消费者模型...

python进程通信方式有几种_python全栈开发基础【第二十一篇】互斥锁以及进程之间的三种通信方式（IPC）以及生产者个消费者模型...

一、互斥锁进程之间数据隔离&#xff0c;但是共享一套文件系统&#xff0c;因而可以通过文件来实现进程直接的通信&#xff0c;但问题是必须自己加锁处理。注意&#xff1a;加锁的目的是为了保证多个进程修改同一块数据时&#xff0c;同一时间只能有一个修改&#xff0c;即串行…
阅读更多...
Python实现修改图片尺寸

Python实现修改图片尺寸

起步 很多小伙伴从网上找的图片可能图片尺寸与自己的需求不符合 今天小编就教大家使用python写一个简单脚本程序实现修改图片的尺寸 环境准备 首先我们需要python环境,它的安装可以参考:python安装以及版本检测 其次我们还需要安装一个python图形化的库PIL PIL的安装,这里…
阅读更多...
数据集

数据集

https://zhuanlan.zhihu.com/p/25138563转载于:https://www.cnblogs.com/zhangbojiangfeng/p/7039725.html
阅读更多...
常见的攻击手段及其防御方式

常见的攻击手段及其防御方式

本文简单介绍几种常见的攻击手段及其防御方式 XSS(跨站脚本攻击)CSRF&#xff08;跨站请求伪造&#xff09;SQL注入DDOSXSS 概念 全称是跨站脚本攻击&#xff08;Cross Site Scripting&#xff09;&#xff0c;指攻击者在网页中嵌入恶意脚本程序。案列 比如说我写了一个博客网站…
阅读更多...
使用ffmpeg进行h.264编码

使用ffmpeg进行h.264编码

m_fmt->video_codec CODEC_ID_H264; /* 添加视频流 */ m_video_st av_new_stream(m_oc, 0); if (!m_video_st) { return 0; } m_videocavcodec_alloc_context(); m_videoc m_video_st->codec; /* 视频相关参数 */ m_videoc->codec_id m_fmt->video_codec; m_…
阅读更多...
关于java的关键字 transient

关于java的关键字 transient

我们都知道一个对象只要实现了Serilizable接口&#xff0c;这个对象就可以被序列化&#xff0c;Java的这种序列化模式为开发者提供了很多便利&#xff0c;我们可以不必关系具体序列化的过程&#xff0c;只要这个类实现了Serilizable接口&#xff0c;这个的所有属性和方法都会自…
阅读更多...
最新文章

Copyright @ 2022~2023