【Hadoop】

Hadoop是一个开源的分布式离线数据处理框架，底层是用Java语言编写的，包含了HDFS、MapReduce、Yarn三大部分。

组件配置文件启动进程备注
Hadoop HDFS需修改需启动
NameNode(NN)作为主节点
DataNode(DN)作为从节点
SecondaryNameNode(SNN)主节点辅助		分布式文件系统
Hadoop YARN需修改需启动
ResourceManager(RM)作为集群资源管理者
NodeManager(NM)作为单机资源管理者
ProxyServer代理服务器提供安全性
JobHistoryServer历史服务器记录历史信息和日志		分布式资源调度
Hadoop MapReduce需修改无需启动任何进程
MapReduce程序运行在YARN容器内		分布式数据计算

Hadoop集群 = HDFS集群 + YARN集群
图中是三台服务器，每个服务器上运行相应的JAVA进程
在这里插入图片描述

HDFS集群对应的web UI界面：http://namenode_host:9870(namenode_host是namenode运行所在服务器的ip地址)
YARN集群对应的web UI界面：http://resourcemanager_host:8088(resourcemanager_host是resourcemanager运行所在服务器的ip地址)

在这里插入图片描述

一、HDFS

1.1 HDFS简介

  • HDFS的全称为Hadoop Distributed File System，是用来解决大数据存储问题的，分布式说明其是横跨多台服务器上的存储系统
  • HDFS使用多台服务器存储文件，提供统一的访问接口，使用户像访问一个普通文件系统一样使用分布式文件系统
  • HDFS集群搭建完成后有个抽象统一的目录树，可以向其中放入文件，底层实际是分块存储（物理上真的拆分成多个文件，默认128M拆分成一块）在HDFS集群的多个服务器上，具体位置是在hadoop的配置文件中所指定的

1.2 HDFS shell命令行

  • 命令行界面（command-line interface，缩写：cli），指用户通过指令进行交互
  • Hadoop操作文件系统shell命令行语法：hadoop fs [generic options]
  • 大部分命令与linux相同
hadoop fs -ls file:///  # 操作本地文件系统
hadoop fs -ls hdfs://node1:8020/ # 操作HDFS文件系统，node1:8020是NameNode运行所在的机器和端口号
hadoop fs -ls / #直接根目录，没有指定则默认加载读取环境变量中fs.defaultFS的值，作为要读取的文件系统

上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> <dst>
# 将本地文件传到HDFS文件系统中
# -f 覆盖目标文件
# -p 保留访问和修改时间，所有权和权限
# <localsrc>本地文件系统中的文件（客户端所在机器），<dst>HDFS文件系统的目录

下载HDFS文件

hadoop fs -get [-f] [-p] <src> <localdst>
# 将本地文件传到HDFS文件系统中
# -f 覆盖目标文件
# -p 保留访问和修改时间，所有权和权限
# <src>HDFS文件系统中的文件，<localdst>本地文件系统的目录

追加数据到HDFS文件中

hadoop fs -appendToFile <localsrc>...<dst>
# <localsrc>本地文件系统中的文件，<dst>HDFS文件系统的文件（没有文件则自动创建）
# 该命令可以用于小文件合并

1.3 HDFS架构

HDFS包含3个进程NameNode、DataNode、SecondaryNameNode
（都是Java进程，可以在服务器上运行jps查看正在执行的java进程）

HDFS是主从模式（Master - Slaves），基础架构如下：
在这里插入图片描述

  • NameNode： 维护和管理文件系统元数据，包括HDFS目录树结构，文件和块的存储位置、大小、访问权限等信息。NameNode是访问HDFS的唯一入口
  • DataNode： 负责具体的数据块存储
  • SecondNameNode： 是NameNode的辅助节点，但不能替代NameNode。主要是帮助NameNode进行元数据文件的合并。
  • NameNode不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息在系统启动时从DataNode重建
  • NameNode是Hadoop集群中的单点故障
  • NameNode所在机器通常配置大内存（RAM），因为元数据都存在内存中，定时进行持久化存到磁盘中。
  • DataNode所在机器通常配置大硬盘空间，因为数据存在DataNode中

HDFS集群部署举例：
node1、node2、node3表示三台服务器，形成一个集群：
在这里插入图片描述
node1服务器性能比较高，因此在node1上运行三个进程：NameNode、DataNode、SecondaryNameNode
在node2及node3上只运行DataNode进程

1.4 HDFS写数据流程

在这里插入图片描述

  1. HDFS客户端创建对象实例DistributeFileSystem（Java类的对象），该对象中封装了与HDFS文件系统操作的相关方法。
  2. 调用DistributeFileSystem对象的create()方法，通过RPC请求NameNode创建文件，NameNode执行各种检查判断：目标文件是否存在，客户端是否有权限等。检查通过后返回FSDataOutputStream输出流对象给客户端用于写数据。
  3. 客户端用FSDataOutputStream开始写数据
  4. 客户端写入数据时，将数据分成一个个数据包（packet 默认64k），内部组件DataStreamer请求NameNode挑选出适合存储数据副本的一组DataNode地址，默认是3副本存储（即3个DataNode）。DataStreamer将数据包流式传输（每一个packet 64k传输一次）到pipeline的第一个DataNode，第一个DataNode存储数据后传给第二个DataNode，第二个DataNode存储数据后传给第三个DataNode。
  5. 传输的反方向上，会通过ACK机制校验数据包传输是否成功
  6. 客户端完成数据写入后，在FSDataOutputStream输出流上调用close()方法关闭。
  7. DistributeFileSystem告诉NameNode文件写入完成。

二、Yarn

2.1 Yarn简介

Yarn是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。

通用： 不仅支持MapReduce程序，理论上支持各种计算程序，YARN只负责分配资源，不关心用资源干什么。
资源管理系统： 集群的硬件资源，和程序运行相关，比如内存、cpu等
调度平台： 多个程序同时申请计算资源如何分配，调度的规则

2.2 Yarn架构

Yarn与HDFS一样，也是主从模式，包含以下4个进程

  • ResourceManager：管理整个群集的资源，负责协调调度各个程序所需的资源。（申请资源必须找RM）
  • NodeManager：管理单个服务器的资源，负责调度单个服务器上的资源提供给应用程序使用。

NodeManager通过创建Container容器来分配服务器上的资源。
应用程序运行在NodeManager所创建的容器中。
一个服务器上可以创建多个Container容器，各Container容器之间相互独立，实现了一个服务器上跑多个程序。
Container容器是具体运行 Task（如 MapTask、ReduceTask）的基本单位。

  • ProxyServer代理服务器： ProxyServer默认继承在ResourceManager中，可以通过配置分离出来单独启动，可以提高YARN在开放网络中的安全性。
  • JobHistoryServer历史服务器： 记录历史程序运行信息和日志，开放web ui提供用户通过网页访问日志。

YARN架构图：
在这里插入图片描述
ApplicationMaster(App Mstr)： 应用程序内的“老大”，负责程序内部各阶段的资源申请，管理整个应用。（当YARN上没有程序运行，则没有这个组件）

一个应用程序对应一个ApplicationMaster。
ApplicationMaster 运行在 Container 中，运行应用的各个任务（比如 MapTask、ReduceTask）。
YARN 中运行的每个应用程序都有一个自己独立的 ApplicationMaster。（以MapReduce为例，其中的MRAppMaster就是对应的具体实现，管理整个MapReduce程序）

YARN集群部署举例：
node1、node2、node3表示三台服务器，形成一个集群：
在这里插入图片描述
node1性能高，因此在node1上运行四个进程：ResourceManager、NodeManager、ProxyServer、JobHistoryServer
在node2及node3上只运行NodeManager进程

三、MapReduce

MapReduce程序在运行时有三类进程：

  • MRAppMaster：负责整个MR程序的过程调度及状态协调
  • MapTask： 负责map阶段的整个数据处理流程
  • ReduceTask： 负责reduce阶段的整个数据处理流程
  1. 在一个MR程序中MRAppMaster只有一个，MapTask和ReduceTask可以有一个也可以有多个
  2. 在一个MR程序中只能包含一个Map阶段和一个Reduce阶段，或者只有Map阶段
  3. 在整个MR程序中，数据都是以kv键值对的形式流转的

MapReduce整体执行流程图：
左边是maptask，右边是reducetask，红框里是shuffle过程（shuffle包含了map和reduce）
在这里插入图片描述

2.1 map阶段执行过程

  • 第一阶段： 把所要处理的文件进行逻辑切片（默认是每128M一个切片），每一个切片由一个MapTask处理。
  • 第二阶段： 按行读取切片中的数据，返回<key,value>对，key对应行数，value是本行的文本内容
  • 第三阶段： 调用Mapper类中的map方法处理数据，每读取解析出来一个<key,value>，调用一次map方法
  • 第四阶段（默认不分区）： 对map输出的<key,value>对进行分区partition。默认不分区，因为只有一个reducetask，分区的数量就是reducetask运行的数量。
  • 第五阶段： Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key按照字典序（a~z）进行排序sort
  • 第六阶段： 对所有溢出文件进行最终的merge合并，形成一个文件（即一个maptask只输出一个文件）

2.2 reduce阶段执行过程

  • 第一阶段： ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据
  • 第二阶段： 把拉取来的数据，全部进行合并merge，即把分散的数据合并成一个大的数据，再对合并后的数据进行排序
  • 第三阶段： 对排序后的<key,value>调用reduce方法，key相同<key,value>调用一次reduce方法。最后把输出的键值对写入到HDFS中

2.3 shuffle机制

  • shuffle指的是将map端的无规则输出变成具有一定规则的数据，便于reduce端接收处理。
  • 一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称为Shuffle
  • Shuffle过程是横跨map和reduce两个阶段的，分别称为Map端的Shuffle和Reduce端的Shuffle
  • Shuffle中频繁涉及到数据在内存、磁盘之间的多次往复，是导致mapreduce计算慢的原因

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/222713.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何学习Kubernetes，学习K8S入门教程

如何学习Kubernetes，学习K8S入门教程

学习 Kubernetes&#xff08;K8s&#xff09;确实不容易 你的硬件资源有限时&#xff0c;不过别担心&#xff0c;我帮你理清思路&#xff0c;让你在学习 K8s 的路上更加从容。 1、资源限制下的学习方法 当硬件资源有限时&#xff0c;一个好的选择是使用云服务提供的免费层或者…
阅读更多...
✺ch2——OpenGL图像管线

✺ch2——OpenGL图像管线

目录 基于C图形应用&#xff06;管线概览OpenGL类型第一个C/OpenGL应用程序◍API (1) GLSL类型着色器——画一个点的程序◍API (2)◍API (3) 栅格化像素操作——Z-buffer算法检测 OpenGL 和 GLSL 错误◍API (4) 从顶点来构建一个三角形场景动画◍API (5) OpenGL某些方面的数值—…
阅读更多...
C语言第四十九弹----模拟使用strcpy函数

C语言第四十九弹----模拟使用strcpy函数

使用C语言模拟使用strcpy函数 定义&#xff1a;strcpy 函数是 C 标准库中用于字符串复制的函数。它接受两个参数&#xff0c;第一个参数 dest 是目标字符串的指针&#xff0c;第二个参数 src 是源字符串的指针&#xff0c;函数的功能是将源字符串复制到目标字符串中&#xff0…
阅读更多...
音频筑基：总谐波失真THD+N指标

音频筑基：总谐波失真THD+N指标

音频筑基&#xff1a;总谐波失真THDN指标 THDN含义深入理解 在分析音频信号中&#xff0c;THDN指标是我们经常遇到的概念&#xff0c;这里谈谈自己的理解。 THDN含义 首先&#xff0c;理解THD的定义&#xff1a; THD&#xff0c;Total Harmonic Distortion&#xff0c;总谐波…
阅读更多...
C语言—每日选择题—Day48

C语言—每日选择题—Day48

第一题 1. 已知宏定义&#xff1a; #define M y*y3*y &#xff0c; 则表达式 s3*M4*My*M 预处理阶段后的结果是 A&#xff1a;s3*(y*y3*y)4*(y*y3*y)y*(y*y3*y) B&#xff1a;s3*(y*y)3*y4*(y*y)3*yy*(y*y)3*y C&#xff1a;s3*y*y3*y4*y*y3*yy*y*y3*y D&#xff1a;s3*(y*y)(3…
阅读更多...
ArcGIS导入excel中的经纬度信息，绘制矢量

ArcGIS导入excel中的经纬度信息，绘制矢量

1.首先整理坐标信息 2.其次转成2003格式的excel文件 3.导入arcgis&#xff0c;点击右键添加excel数据 4.显示xy数据 5.显示经度和纬度信息 6&#xff1a;点击【地理坐标系】->【World】->【WGS 1984】->【确定】 7.投影带的确定方式&#xff1a; 因为自己一直…
阅读更多...
webpack总结

webpack总结

我们从 4 个角度对 webpack 和代码进行了优化&#xff1a; 提升开发体验 使用 Source Map 让开发或上线时代码报错能有更加准确的错误提示。 提升 webpack 提升打包构建速度 使用 HotModuleReplacement 让开发时只重新编译打包更新变化了的代码&#xff0c;不变的代码使用缓…
阅读更多...
使用pyinstaller将python代码打包成exe文件

使用pyinstaller将python代码打包成exe文件

首先使用pyinstaller生成spec文件&#xff0c;然后配置spec文件重新打包 pyinstaller -D app.py pyinstaller参数 -F &#xff1a;打包单个文件 -D &#xff1a;打包多个文件&#xff0c;在dist中生成很多依赖文件 -c:使用控制台执行&#xff0c;只对windows有效 -n : 生…
阅读更多...
spring 笔记五 SpringMVC的数据响应

spring 笔记五 SpringMVC的数据响应

文章目录 SpringMVC的数据响应SpringMVC的数据响应方式回写数据 SpringMVC的数据响应 SpringMVC的数据响应方式 页面跳转 直接返回字符串通过ModelAndView对象返回 回写数据 直接返回字符串返回对象或集合 返回字符串形式 直接返回字符串&#xff1a;此种方式会将返回的字符…
阅读更多...
腾讯云Elasticsearch Service产品体验

腾讯云Elasticsearch Service产品体验

基本介绍 产品概述 腾讯云 Elasticsearch Service&#xff08;ES&#xff09;是云端全托管海量数据检索分析服务&#xff0c;拥有高性能自研内核&#xff0c;集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群&#xff0c;也支持免运维、自动弹性、按需…
阅读更多...
Clickhouse RoaringBitmap

Clickhouse RoaringBitmap

https://blog.csdn.net/penriver/article/details/119736050 https://juejin.cn/post/7179956435806076988 BitMap适合连续密集的正整数存储&#xff0c;对于稀疏的正整数存储&#xff0c;其性能在很多时候是没办法和int数组相比的&#xff0c;尤其是正整数跨度较大的场景&…
阅读更多...
架构设计系列之常见架构（一）

架构设计系列之常见架构（一）

本部分对常见架构进行简单的说明。 一、三层架构之经典 MVC 经典的 MVC 架构&#xff08;Model-View-Controller&#xff09;架构是软件系统架构设计中的经典&#xff0c;它将应用程序分为三个主要部分&#xff1a; 模型&#xff08;Model&#xff09;视图&#xff08;View&…
阅读更多...
​xml.dom --- 文档对象模型 API​

​xml.dom --- 文档对象模型 API​

源代码: Lib/xml/dom/__init__.py 文档对象模型“DOM”是一个来自万维网联盟&#xff08;W3C&#xff09;的跨语言 API&#xff0c;用于访问和修改 XML 文档。 DOM 的实现将 XML 文档以树结构表示&#xff0c;或者允许客户端代码从头构建这样的结构。 然后它会通过一组提供通用…
阅读更多...
智能优化算法应用：基于差分进化算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于差分进化算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于差分进化算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于差分进化算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.差分进化算法4.实验参数设定5.算法结果6.…
阅读更多...
DC-3靶场

DC-3靶场

DC-3 DC-3靶场链接&#xff1a;https://download.vulnhub.com/dc/DC-3-2.zip 下载后解压会有一个DC-3.ova文件&#xff0c;直接在vm虚拟机点击左上角打开-->文件--.选中这个.ova文件就能创建靶场&#xff0c;kali和靶机都调整至NAT模式 首先进行主机发现&#xff1a; arp…
阅读更多...
celery/schedules.py源码精读

celery/schedules.py源码精读

BaseSchedule类 基础调度类&#xff0c;它定义了一些调度任务的基本属性和方法。以下是该类的主要部分的解释&#xff1a; __init__(self, nowfun: Callable | None None, app: Celery | None None)&#xff1a;初始化方法&#xff0c;接受两个可选参数&#xff0c;nowfun表…
阅读更多...
基于java的医院住院管理系统的设计与实现论文

基于java的医院住院管理系统的设计与实现论文

摘 要 互联网发展至今&#xff0c;无论是其理论还是技术都已经成熟&#xff0c;而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播&#xff0c;搭配信息管理工具可以很好地为人们提供服务。针对医院住院信息管理混乱&#xff0c;出错率高&#xff0c;信息安全性差…
阅读更多...
Java中使用EasyExcel写excel文件

Java中使用EasyExcel写excel文件

1、公式 package com.web.report.handler;import com.alibaba.excel.context.WriteContext; import com.alibaba.excel.metadata.csv.CsvCellStyle; import com.alibaba.excel.metadata.data.WriteCellData; import com.alibaba.excel.write.handler.CellWriteHandler; import…
阅读更多...
Vue学习笔记-Vue3中的customRef

Vue学习笔记-Vue3中的customRef

作用 创建一个自定义的ref&#xff0c;并对其依赖项的更新和触发进行显式控制 案例 描述&#xff1a;向输入框中输入内容&#xff0c;在下方延迟1秒展示输入内容 代码&#xff1a; <template><input type"text" v-model"keyword"><h3&…
阅读更多...
从零开发短视频电商 用Java框架部署模型并推理 - Deep Java Library (DJL)

从零开发短视频电商 用Java框架部署模型并推理 - Deep Java Library (DJL)

文章目录 支持引擎模型库示例一 基础模型 图片分类示例二 huggingface模型库 文本嵌入获取Tokenization标记(tokens)的数量官网： https://djl.ai/ 动手学深度学习-中文：https://d2l-zh.djl.ai/ 支持模型 PyTorch TorchScript modelTensorFlow SavedModel bundleApache MXNe…
阅读更多...
最新文章

Copyright @ 2022~2023