【大数据-Hadoop】从入门到源码编译-概念篇

【大数据-Hadoop】从入门到源码编译-概念篇

  • Hadoop与大数据生态
    • （一）Hadoop是什么？
    • （二）Hadoop组成
      • 1. HDFS
        • 1.1 NameNode（nn）
        • 1.2 DataNode（dn）
        • 1.3 Secondary NameNode（2nn）
      • 2.YARN
        • 2.1 ResourceManager（RM）
        • 2.2 NodeManager（NM）
        • 2.3 ApplicationMaster（AM）
        • 2.4 Container
      • 2.MapReduce
    • （三）Hadoop发行版本
      • 1. Apache
      • 2. Cloudera（CDH）-收费
      • 3. Hortonworks（HDP，现已被Cloudera收购，推出了CDP产品）
    • （四）Hadoop优势
      • 1. 高可靠性
      • 2. 高扩展性
      • 3. 高效性
      • 4. 高容错性
    • （五）大数据生态体系

文章已收录至https://lichong.work，转载请注明原文链接。
ps：欢迎关注公众号“Fun肆编程”或添加我的私人微信交流经验🤝

Hadoop与大数据生态

（一）Hadoop是什么？

1）是Apache基金会开发的分布式系统基础架构。
2）解决海量数据的存储和计算问题。
3）广义上讲，Hadoop更是一个生态圈！

（二）Hadoop组成

1.x

  • Common（辅助工具）
  • HDFS（数据存储）
  • MapReduce（计算+资源调度）

2.x & 3.x

  • Common（辅助工具）
  • HDFS（数据存储）
  • MapReduce（计算）
  • YARN（资源调度）

1. HDFS

1.1 NameNode（nn）

存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）、以及每个文件的块列表和块所在的DataNode等。

1.2 DataNode（dn）

在本地文件系统存储文件块数据，以及块数据的校验和。

1.3 Secondary NameNode（2nn）

用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

2.YARN

2.1 ResourceManager（RM）

1）处理客户端请求
2）监控NodeManager
3）启动或监控ApplicationMaster（对应执行Job）
4）资源的分配与调度

2.2 NodeManager（NM）

1）管理单个节点上的资源
2）处理来自ResourceManager的命令
3）处理来自ApplicationMaster的命令

2.3 ApplicationMaster（AM）

1）负责数据的切分
2）为应用程序申请资源并分配给内部的任务
3）任务的监控与容错

2.4 Container

是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

2.MapReduce

Map阶段：并行处理输入数据
Reduce阶段：对Map结果进行汇总
在这里插入图片描述

（三）Hadoop发行版本

1. Apache

2006年推出
原始的基础版本，对于入门学习最好。

2. Cloudera（CDH）-收费

2009年Hadoop创始人加入后推出，现在收费，更加稳定。

3. Hortonworks（HDP，现已被Cloudera收购，推出了CDP产品）

2011年成立，吸纳Hadoop的雅虎程序员贡献了80%的Hadoop代码，文档较好，Hortonworks Data Platform（HDP）还包括了Ambari（开源的安装和管理系统）。

（四）Hadoop优势

1. 高可靠性

底层有多个数据副本，即使存储故障，也不会导致数据丢失

2. 高扩展性

可以动态增加服务器

3. 高效性

并行工作（MapReduce思想）

4. 高容错性

可以自动把失败任务重新分配

（五）大数据生态体系

在这里插入图片描述

文章已收录至https://lichong.work，转载请注明原文链接。
ps：欢迎关注公众号“Fun肆编程”或添加我的私人微信交流经验🤝

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~往期精选🪶~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

【Docker】入门教程-基本概念解读
【前端-React Native】移动端原生开发整合React Native Elements教程-安卓示例
【前端-开发环境】使用NVM实现不同nodejs版本的自由切换（NVM完整安装使用手册）
【前端-NPM私服】内网使用verdaccio搭建私有npm服务器
【前端-IE兼容】Win10和Win11使用Edge调试前端兼容IE6、IE7、IE8、IE9、IE10、IE11问题
【前端-工程化】React项目工程化记录-内置项目活文档(老项目升级优化-集成Hosky/ESLint/Prettier-升级Webpack/Babel/NodeSass/React)
【工具-TWRP-frp-Termux】旧手机暴改成免费云服务器-MIUI刷TWRP安装magisk获取root
【工具-Shell脚本】java程序产品包模板-linux和windows通用shell启动停止脚本(无需系统安装Java运行环境)
【工具-Nginx】从入门安装到高可用集群搭建
【工具-Nginx】Nginx高性能通用配置文件-注释版-支持防刷限流、可控高并发、HTTP2、防XSS、Gzip、OCSP Stapling、负载、SSL
【工具-WireShark】网络HTTP抓包使用教程
【后端-maven打包】通过profile标签解决同时打jar包 war包需求
【架构-DDD】使用领域驱动设计-互联网未来架构设计之道（一）
【后端-SpringCache】基于Spring Cache封装一个能够批量操作的Redis缓存记录下踩坑历程（pipeline或mget封装）
【后端-SkyWalking】SkyWalking前后端开发环境搭建详细教程步骤-6.x/7.x/8.x版本通用-插件二次开发利器（一）
【后端-Quartz】Springboot整合Quartz支持集群环境-设计业务与框架分离及实现定时任务调度

✨欢迎为耿直少年点赞、关注、收藏！！！

👇👇👇

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/210726.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

记一次堆内外内存问题的排查和优化

记一次堆内外内存问题的排查和优化

为优化淘宝带宽成本，我们在网关 SDK（Java）统一使用 ZSTD 替代 GZIP 压缩以获取更高的压缩比，从而得到更小的响应包。具体实现采用官方推荐的 zstd-jni 库。zstd-jni 会调用 zstd 的 c 库。 背景 在性能压测和优化过程中&#xff0…
阅读更多...
nodejs微信小程序＋python＋PHP北京地铁票务APP-计算机毕业设计推荐 -安卓

nodejs微信小程序＋python＋PHP北京地铁票务APP-计算机毕业设计推荐 -安卓

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性：…
阅读更多...
STM32F103

STM32F103

提示：来源正点原子，参考STM32F103 战舰开发指南V1.3PDF资料 文章目录 前言一、pandas是什么？二、使用步骤 1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 开发环境硬件普中科技，接…
阅读更多...
C++相关闲碎记录(6)

C++相关闲碎记录(6)

1、使用shared_ptr #include <iostream> #include <memory> #include <set> #include <deque> #include <algorithm> #include <string>class Item { private:std::string name;float price; public:Item(const std::string& n, floa…
阅读更多...
光学遥感显著目标检测初探笔记总结

光学遥感显著目标检测初探笔记总结

目录 观看地址介绍什么是显著性目标检测根据不同的输入会有不同的变体(显著性目标检测家族)目前这个领域的挑战 技术方案论文1(2019)论文2(2021)论文3(2022) 未来展望 观看地址 b站链接 介绍 什么是显著性目标检测 一张图片里最吸引注意力的部分就是显著性物体&#xff0c;…
阅读更多...
C++STL详解+代码分析+典例讲解

C++STL详解+代码分析+典例讲解

vector 的介绍&#xff1a; 1、vector是表示可变大小数组的序列容器。 2、vector就像数组一样&#xff0c;也采用的连续空间来存储元素&#xff0c;这也意味着可以采用下标对vector的元素进行访问。 3、vector与普通数组不同的是&#xff0c;vector的大小是可以动态改变的。 4、…
阅读更多...
基于物联网的智能仓管理系统方案

基于物联网的智能仓管理系统方案

基于物联网的智能仓管理系统方案 一、项目背景 随着企业业务的快速发展&#xff0c;传统的人工仓库管理方式已经无法满足现代企业的需求。仓库运营效率低下、货物出入库错误、库存不准确等问题不断涌现。因此&#xff0c;我们提出一个基于物联网技术的智能仓管理系统方案&…
阅读更多...
Redis 五大经典业务问题

Redis 五大经典业务问题

一 缓存穿透 缓存穿透是指当请求的数据既不在缓存中也不存在于数据库中时&#xff0c;请求会直接穿透缓存层&#xff0c;到达数据库层。这通常是由于恶意攻击或者程序错误造成的&#xff0c;比如攻击者故意请求不存在的大量数据&#xff0c;导致缓存不命中&#xff0c;所有的请…
阅读更多...
智能优化算法应用：基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.被囊群算法4.实验参数设定5.算法结果6.参考文…
阅读更多...
Moco框架的搭建使用

Moco框架的搭建使用

一、前言 　　之前一直听mock&#xff0c;也大致了解mock的作用&#xff0c;但没有具体去了解过如何用工具或框架实现mock&#xff0c;以及也没有考虑过落实mock&#xff0c;因为在实际的工作中&#xff0c;很少会考虑用mock。最近在学java&#xff0c;刚好了解到moco框架是用于…
阅读更多...
城市基础设施智慧路灯改造的特点

城市基础设施智慧路灯改造的特点

智慧城市建设稳步有序推进。作为智慧城市的基础设施&#xff0c;智能照明是智慧城市的重要组成部分&#xff0c;而叁仟智慧路灯是智慧城市理念下的新产品。随着物联网和智能控制技术的飞速发展&#xff0c;路灯被赋予了新的任务和角色。除了使道路照明智能化和节能化外&#xf…
阅读更多...
用电商API接口获取拼多多的商品详情数据

用电商API接口获取拼多多的商品详情数据

pinduoduo.item_get_app_pro-根据ID取商品详情原数据 公共参数 API请求地址 名称类型必须描述keyString是调用key&#xff08;必须以GET方式拼接在URL中&#xff09;secretString是调用密钥api_nameString是API接口名称&#xff08;包括在请求地址中&#xff09;[item_searc…
阅读更多...
VBA_MF系列技术资料1-237

VBA_MF系列技术资料1-237

MF系列VBA技术资料 为了让广大学员在VBA编程中有切实可行的思路及有效的提高自己的编程技巧&#xff0c;我参考大量的资料&#xff0c;并结合自己的经验总结了这份MF系列VBA技术综合资料&#xff0c;而且开放源码&#xff08;MF04除外&#xff09;&#xff0c;其中MF01-04属于定…
阅读更多...
[Linux] 用LNMP网站框架搭建论坛

[Linux] 用LNMP网站框架搭建论坛

一、nginx在其中工作原理 原理&#xff1a; php-fpm.conf是控制php-fpm守护进程 它是php.ini是一个php解析器 工作过程&#xff1a; 1.当客户端通过域名请求访问时&#xff0c;Nginx会找到对应的虚拟主机 2. Nginx将确定请求。 对于静态请求&#xff0c;Nginx会自行处理…
阅读更多...
结构体和位段

结构体和位段

结构体&#xff1a; C语言中&#xff0c;我们之前使用的都是C语言中内置的类型&#xff0c;比如整形&#xff08;int&#xff09;、字符型&#xff08;char&#xff09;、单精度浮点型&#xff08;float&#xff09;等。但是我们知道&#xff0c;我们现实世界中&#xff0c;还…
阅读更多...
json精讲

json精讲

本文介绍json的规范及javascript和java对数据的交换读取 1. json介绍1.1 json简介1.2为什么使用 JSON&#xff1f; 2. json规范2.1基础规范2.2 key值为-字符串、数字、布尔值2.3 key值为对象Object2.4 key值为数组2.5 json本身就是一个数组 3.javascript操作json3.1 javascript…
阅读更多...
2、关于使用ajax验证绕过（实例2）

2、关于使用ajax验证绕过（实例2）

ajax原理我上一篇有写过&#xff0c;参考&#xff1a;1、关于前端js-ajax绕过-CSDN博客 一、实例环境&#xff1a; 为手机上的某一割韭菜app 二、目的&#xff1a; 实现绕过手机验证码&#xff0c;找回密码 三、工具&#xff1a; bp代理 四、验证步骤如下&#xff1a; …
阅读更多...
hive自定义函数及案例

hive自定义函数及案例

一.自定义函数 1.Hive自带了一些函数&#xff0c;比如&#xff1a;max/min等&#xff0c;但是数量有限&#xff0c;自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时&#xff0c;此时就可以考虑使用用户自定义函数。 3.根据用户自定义…
阅读更多...
构建外卖系统：使用Django框架

构建外卖系统：使用Django框架

在当今数字化的时代&#xff0c;外卖系统的搭建不再是什么复杂的任务。通过使用Django框架&#xff0c;我们可以迅速建立一个强大、灵活且易于扩展的外卖系统。本文将演示如何使用Django构建一个简单的外卖系统&#xff0c;并包含一些基本的技术代码。 步骤一&#xff1a;安装…
阅读更多...
波奇学Linux:父子进程和进程状态

波奇学Linux:父子进程和进程状态

vim编辑器&#xff0c;编写一个程序模拟进程 在vim中查看sleep函数 底行模式输入 写个Makefile自动运行波奇学Linux:yum和vim-CSDN博客 运行程序 PID和PPID 查看进程目录信息 实际有过滤出来有两个&#xff0c;一个进程本身一个是grep程序&#xff0c;通过 -v grep过滤走含gre…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023