Java技术栈 —— Hadoop入门（一）

Java技术栈 —— Hadoop入门（一）

  • 一、Hadoop第一印象
  • 二、安装Hadoop
  • 三、Hadoop解析
    • 3.1 Hadoop生态介绍
      • 3.1.1 MapReduce - 核心组件
      • 3.1.2 HDFS - 核心组件
      • 3.1.3 YARN - 核心组件
      • 3.1.4 其它组件
        • 3.1.4.1 HBase
        • 3.1.4.2 Hive
        • 3.1.4.3 Spark

一、Hadoop第一印象

Apache Hadoop ( /həˈduːp/) is a collection of open-source software utilities that facilitates using a network of many computers to solve problems involving massive amounts of data and computation. It provides a software framework for distributed storage and processing of big data using the MapReduce programming model.[2]
Apache Hadoop是一款开源软件，它集合了各种实用程序，这些实用程序通过计算机集群组成的网络，来帮助解决涉及大量数据和计算的问题。它使用MapReduce程序模型，为分布式存储与大数据计算提供了软件架构。

上面是Wiki的定义，Hadoop也称为大数据存储与计算的基础架构。

一、参考文章或视频链接
[1] Apache Hadoop - Apache website
[2] Apache Hadoop - Wiki

二、安装Hadoop

在执行文章[2]所说的./sbin/start-dfs.sh时，我遇到了一个报错

programmer@pc-ubuntu:~/DevelopEnvironment/hadoop-3.3.6$ ./sbin/start-dfs.sh 
Starting namenodes on [localhost]
localhost: ssh: connect to host localhost port 22: Connection refused
Starting datanodes
localhost: ssh: connect to host localhost port 22: Connection refused
Starting secondary namenodes [pc-ubuntu]
pc-ubuntu: ssh: connect to host pc-ubuntu port 22: Connection refused

根据参考文章[3]，需要提前准备环境与配置端口

sudo apt -y install openssh-server openssh-client
# {your_hadoop_home}/etc/hadoop/hadoop-env.sh file
export HADOOP_SSH_OPTS="-p 22"

pdsh是Parallel Distributed SHell并行分布式 Shell的缩写，是一种并行分布式运维工具。它可以并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，PDSH还支持交互模式，当要执行的命令不确定时，可直接进入PDSH命令行，非常方便。
PDSH通常用于大批量服务器的配置、部署、文件复制等运维操作，在使用时，仍需要配置本地主机和远程主机间的单向SSH信任。另外，PDSH还附带了pdcp命令，此命令可以将本地文件批量复制到远程的多台主机上，这在大规模的文件分发环境下是非常有用的。但我在安装pdsh后反而出现了访问拒绝，请看参考文章[4]和[5]。

配置免密登录时的命令解析：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 0600 ~/.ssh/authorized_keys

这三行命令是用于生成和配置 SSH 密钥以进行安全的远程登录的操作。

  • ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa：
    ssh-keygen：是 OpenSSH 提供的一个工具，用于生成 SSH 密钥对。
    -t rsa：指定要生成的密钥类型为 RSA。
    -P ‘’：表示为空密码，即不设置密码保护私钥。
    -f ~/.ssh/id_rsa：指定生成的私钥文件的位置和名称。
    执行这个命令后，会在指定的目录下生成一个名为id_rsa的私钥文件和一个名为id_rsa.pub的公钥文件。
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys：
    cat：是一个文件操作命令，用于读取文件的内容并输出到标准输出。
    ~/.ssh/id_rsa.pub：表示读取私钥文件id_rsa中的公钥内容。
    >> ~/.ssh/authorized_keys：表示将公钥内容追加到授权文件authorized_keys的末尾。
    执行这个命令后，会将公钥内容添加到authorized_keys文件中，用于授权远程主机使用该公钥进行身份验证。
  • chmod 0600 ~/.ssh/authorized_keys：
    chmod：是一个文件权限操作命令，用于修改文件的权限。
    0600：表示设置文件的权限为只有所有者有读写权限，其他人没有任何权限。
    ~/.ssh/authorized_keys：表示要修改权限的文件。
    执行这个命令后，会将authorized_keys文件的权限设置为只有所有者可以读写，以增强安全性。
  • 综合起来，这三行命令的目的是生成 SSH 密钥对，将公钥添加到授权文件中，并设置授权文件的权限，以便进行安全的 SSH 远程登录。

最后按照参考文章[2]的描述，单机版Hadoop安装完成。

Hadoop 3.0.0版本后，访问地址从http://localhost:50070 变更为http://localhost:9870。[6] 看到如下访问效果后，你就可以愉快的开始与Hadoop玩耍了。

在这里插入图片描述

二、参考文章或视频链接
[1] Apache Hadoop - Apache website
重点参考：[2] 《史上最详细的hadoop安装教程（含坑点）》- CSDN
[3] Hadoop: connect to host localhost port 22: Connection refused when running start-dfs.sh - Stackoverflow
这篇说卸载pdsh[4] 安装pdsh后反而pdsh Permission denied的问题 - Solution1
这篇说修改pdsh配置[5] 安装pdsh后反而pdsh Permission denied的问题 - Solution2
[6] http localhost 50070 not working in HADOOP

三、Hadoop解析

3.1 Hadoop生态介绍

各程序员要紧紧围绕在以Hadoop为核心的大数据生态周围，高举分布式的旗帜，发扬并行计算、高扩展性、高容错、高吞吐量、低成本的优势，真正做到学懂弄通、学深悟透、学以致用，扎实推进编程能力建设工作，久久为功，为大数据时代的产业兴旺添砖加瓦。

看到hadoop官网的左侧导航栏[1]，可以证明，三大组件是HDFS、MapReduce、YARN，曾经被我弄混的HBase等词汇，则是Hadoop生态下的其中一个模块，而非Hadoop本身的核心组件，在更详细的介绍Hadoop之前，这些边界必须厘清，不然总有弄糊涂的一天。
Apache Hadoop的前身是Google的 Google File System (GFS)，GFS也是一个分布式的文件系统，以下是一些Hadoop的特点

  • Hadoop是高度可扩展的
  • Hadoop相比于RDBMS关系型数据库管理系统，具有水平扩展的能力（即可以用堆机器的方式扩展系统，而非单独把一台机器配置拉满）
  • Hadoop会创建并保存数据副本，以使其具有容错性。
  • Hadoop具有经济性，组成它的机器一般都很便宜。
  • Hadoop利用数据的局部性，去在存储数据的节点上处理数据，而不是将数据通过网络传来传去，从而浪费带宽。这一点特性就像你想看一本书，但是不能外借，你亲自去图书馆阅读
  • Hadoop可以处理结构化，半结构化，无结构化的数据。这一点在当今时代尤为重要，因为大部分数据都没有格式定义的。

图1 - Hadoop 生态框架 —— 参考文章[2] PS:此图没画出模块之间的关系

图2 - Hadoop 生态框架 —— 参考文章[6]

3.1 参考文章或视频链接
[1] Hadoop Documentation- Apache
重点阅读：[2] Introduction to the Hadoop Ecosystem for Big Data and Data Engineering - Analytics Vidhya
[3] 大数据学习（二）Hadoop - 知乎
[4] Hadoop Ecosystem
[5] Hadoop Ecosystem Components and Its Architecture
[6] Hadoop Ecosystem - A Comprehensive Guide for 2024

3.1.1 MapReduce - 核心组件

话说天下大势，合久必分，分久必合。——《三国演义》
但是分合之后，将是不同的历史阶段，就像化学反应也是原子的分合，经过剧烈的反应之后，事物已经产生了质的变化，这体现了一个道理：“内部矛盾是事物发展的源泉，决定着事物的性质和发展方向”。

MapReduce由Google公司提出，论文名称是 MapReduce: Simplified Data Processing on Large Clusters，作者是Jeffrey Dean and Sanjay Ghemawat，第一个作者Jeffrey Dean牛到什么程度？他是Tensorflow项目的负责人😮，太牛了，牛的冒烟了，已经翱翔了，这谁跟的了啊，这个人假以时日，必成大器，但是我个人猜测他能成为Tensorflow项目的负责人，刨去纯技术的因素，更多的是因为Jeffrey Dean在Google是元老，有着丰富的人脉关系与项目管理经验，从其个人履历来看，他过去的项目经历并没有与机器学习等AI方向有关联，但保不准人家就是厉害，各个方面都NB，其余请自行百度。可以看到下面这张图，Map就是拆解，Reduce就是组合，Map计算各个key对应的value，Reduce将相同的key的value整合起来。

图3 - MapReduce原理图 （来自【深入浅出讲解 MapReduce】- bilibili）

3.1.1 参考文章或视频链接
[1] MapReduce: Simplified Data Processing on Large Clusters.pdf
CSDN资源地址（免费）：MapReduce: Simplified Data Processing on Large Clusters.pdf
[2] 《深入浅出讲解 MapReduce》- bilibili
[3] 《【狂野大数据】一天搞定大数据之MapReduce》- bilibili
[4] 《关于谷哥传奇工程师Jeff Dean的笑话》
[5] Jeff Dean - 百度百科
[6] 有谁可以介绍一下谷歌大牛Jeff Dean以及与他相关的事迹么? - 知乎
[7] 《Markdown 使用 Emoji 表情》- CSDN
[8] MapReduce可不可以只要Reduce不要Map？- bilibili spark中可以直接reduce

3.1.2 HDFS - 核心组件

HDFS（Hadoop Distributed File System 存储的文件系统）

3.1.3 YARN - 核心组件

YARN = Yet Another Resource Negotiator，直译为另一种资源协调者，那么意译就是Hadoop的资源管理系统，

想想Hadoop的这三大核心组件，和古代的三省六部，有什么共同之处？中书省(决策)、门下省(审核)、尚书省(执行)，我以为不能牵强附会，将三省的功能对应到这三大组件上，因为从功能角度来说对不上号，但是这种系统的设计思想和模式，却在Hadoop和三省六部制度中，都得到了体现，作为程序员，你能设计一个好用的系统和代码框架，理论上说，也具备设计制度的能力，从这个意义出发，你可以说，计算机里面哪有什么编程和打打杀杀，都是江湖。

注意，Linux里也有一个工具叫做yarn，Hadoop的YARN和Linux的YARN两个是不同的事物，但都有资源管理的意思在，有人说Linux里的yarn是Yet Another Replacing NPM的缩写，不过根据开发者的回答，这种说法应该只是个巧合，Stackoverflow有人提过这个问题。[1]

3.1.3 参考文章或视频链接
[1] What does yarn (package manager) (in Linux) stand for?

3.1.4 其它组件

3.1.4.1 HBase

HBase is a Column-based NoSQL database. It runs on top of HDFS and can handle any type of data. It allows for real-time processing and random read/write operations to be performed in the data.[1]

图2中，HBASE是在HDFS之上的，这也印证了 runs on top of HDFS 的说法，这里有点可以类比与MySQL底层使用B+树作为存储结构的意思了。具体可以看参考文章

3.1.4.1 参考文章或视频链接
重点阅读：[1] Introduction to the Hadoop Ecosystem for Big Data and Data Engineering - Analytics Vidhya
[2] 《Hbase 和 MySQL 的区别是什么？一文深度对比！》
[3] 《美团一面：为什么选用Hbase，Hbase和MySQL的区别是什么？》
[4] 【头条面试：请描述MySQL的B+树索引原理，B+树索引有哪些好处】- bilibili
重点观看：[5] 【B+树,B-link树,LSM树…一个视频带你了解常用存储引擎数据结构（中）】- bilibili
3.1.4.2 Hive

Hive is a distributed data warehouse system developed by Facebook. It allows for easy reading, writing, and managing files on HDFS. It has its own querying language for the purpose known as Hive Querying Language (HQL) which is very similar to SQL. This makes it very easy for programmers to write MapReduce functions using simple HQL queries.[1]
Hive是一款由Facebook开发的分布式数据仓库系统，它可以很方便的在HDFS的基础上进行文件读写与管理。Hive有自己的查询语言，名为Hive Querying Language (HQL)，HQL与SQL很像，这使得程序员可以非常方便的使用HQL查询编写MapReduce的函数

由此我们可以看出Hive与HDFS也是不一样的，其具体区别

3.1.4.2 参考文章或视频链接
重点阅读：[1] Introduction to the Hadoop Ecosystem for Big Data and Data Engineering - Analytics Vidhya
[2] Hive VS HBase: What Is The Difference?
3.1.4.3 Spark

Apache Spark 是用于大数据工作负载的开源分布式处理系统。它利用内存中缓存和优化的查询执行，对任何大小的数据进行快速分析查询。它提供 Java、Scala、Python 和 R 语言的开发 API，并支持跨多个工作负载（批处理、交互式查询、实时分析、机器学习和图形处理）重用代码。[2]

3.1.4.3 参考文章或视频链接
[1] Introduction to the Hadoop Ecosystem for Big Data and Data Engineering - Analytics Vidhya
[2] What is Apache Spark?

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/603682.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Project】TPC-Online Module (manuscript_2024-01-07)

【Project】TPC-Online Module (manuscript_2024-01-07)

PRD正文 一、概述 本模块实现隧道点云数据的线上汇总和可视化。用户可以通过注册和登录功能进行身份验证，然后上传原始隧道点云数据和经过处理的数据到后台服务器。该模块提供数据查询、筛选和可视化等操作，同时支持对指定里程的分段显示和点云颜色更改…
阅读更多...
小游戏实战丨基于PyGame的消消乐小游戏

小游戏实战丨基于PyGame的消消乐小游戏

文章目录 写在前面PyGame消消乐注意事项系列文章写在后面 写在前面 本期内容：基于pygame实现喜羊羊与灰太狼版消消乐小游戏 下载地址：https://download.csdn.net/download/m0_68111267/88700193 实验环境 python3.11及以上pycharmpygame 安装pygame…
阅读更多...
回溯算法part01 算法

回溯算法part01 算法

回溯算法part01 今日内容： ● 理论基础 ● 77. 组合 1.LeetCode77. 组合 https://leetcode.cn/problems/combinations/ 模板 //回溯算法模板void backtracking(参数) {if (终止条件) {存放结果;return;}for (选择：本层集合中元素（树中节…
阅读更多...
西电期末1027.判断同构数

西电期末1027.判断同构数

一.题目 二.分析与思路 不用把他转成字符串再转成数字之类的&#xff0c;用数学解决就好&#xff01;找出一个数的最后位就是将其对求余啊&#xff0c;找一个数有几位以前也有过啊&#xff0c;那不就过了嘛&#xff01; 三.代码实现 #include<bits/stdc.h>//万能头 in…
阅读更多...
模板元编程简介

模板元编程简介

从引入 template 关键字开始&#xff0c;C里就出现了泛型编程&#xff0c;而又泛型编程衍生出的模板元编程&#xff08;template meta_programming&#xff0c;简称“元编程”&#xff09;则是众多编程范式中最复杂、最强大和最具有权威的一种。所谓“元编程”——metaprogramm…
阅读更多...
Keil C51的编译器限制

Keil C51的编译器限制

编译器限制 Cx51 编译器体现了下面列出的一些已知限制。在大多数情况下&#xff0c;对 C 语言的组件没有限制;例如&#xff0c;您可以在 switch 块中指定无限数量的符号或 case 语句。如果有足够的地址空间&#xff0c;则可以定义数千个符号。 最多支持对任何标准数据类型的 …
阅读更多...
二叉树的经典算法（算法村第八关青铜挑战）

二叉树的经典算法（算法村第八关青铜挑战）

二叉树里的双指针 所谓的双指针就是定义了两个变量&#xff0c;在二叉树中有需要至少定义两个变量才能解决问题。这两个指针可能针对一棵树&#xff0c;也可能针对两棵树&#xff0c;姑且也称之为“双指针”。这些问题一般与对称、反转和合并等类型题相关。 判断两棵树是否相…
阅读更多...
Python：tqdm模块详解

Python：tqdm模块详解

tqdm 是一个用于在 Python 中显示进度条的模块&#xff0c;用于在循环或迭代过程中展示任务的进度。 1. 安装 首先&#xff0c;你可以通过 pip 安装 tqdm 模块&#xff1a; pip install tqdm2. 基本使用方法 在 Python 中使用 tqdm &#xff0c;只需将你的迭代对象传递给 tqd…
阅读更多...
【Linux】之搭建 PostgreSQL 环境

【Linux】之搭建 PostgreSQL 环境

前言 在 Linux 系统下安装 PostgreSQL&#xff0c;可以选择快捷方便的 Docker 安装&#xff0c;但正常的服务器都是直接原生安装的&#xff0c;所以&#xff0c;这里我将讲解如何正常安装 PostgreSQL 以及安装之后的一些配置。如果想了解 Docker 安装的话&#xff0c;可以查看我…
阅读更多...
竞赛练一练 第27期：GESP和电子学会相关题目练习

竞赛练一练 第27期：GESP和电子学会相关题目练习

GESP一级2023.03_小猫捉老鼠 1. 准备工作 （1）导入背景Room 2； （2）删除默认小猫角色，导入角色Mouse1、Cat 2。 2. 功能实现 （1）点击绿旗，老鼠出现在随机位置； （2）通过键盘的“↑”、“↓”、“←”、“→”键来控制小猫行走，每按一次，移动5步； （3）小猫在…
阅读更多...
使用openCV进行图像处理

使用openCV进行图像处理

使用 openCV进行图像处理 使用 openCV进行图像处理&#xff0c;又名&#xff1a;学习计算机视觉理论&#xff0c;做 demo(第3 天&#xff09; 目录 2.1 图像模糊 2.1.1 均值滤波2.1.2 中值滤波2.1.3 高斯滤波2.1.4 案例实现 2.2 图像锐化 2.2.1 图像锐化简介2.2.2 案例实现 …
阅读更多...
Spring依赖注入的魔法：深入DI的实现原理【beans 五】

Spring依赖注入的魔法：深入DI的实现原理【beans 五】

欢迎来到我的博客&#xff0c;代码的世界里&#xff0c;每一行都是一个故事 Spring依赖注入的魔法&#xff1a;深入DI的实现原理【beans 五】 前言DI的基本概念基本概念&#xff1a;为什么使用依赖注入&#xff1a; 构造器注入构造器注入的基本概念&#xff1a;示例&#xff1a…
阅读更多...
laravel-admin之 浏览器自动填充密码（如果需要渲染数据库密码的话，首先确认数据库密码是否可以逆向解密）

laravel-admin之 浏览器自动填充密码（如果需要渲染数据库密码的话，首先确认数据库密码是否可以逆向解密）

参考 https://blog.51cto.com/u_10401840/5180106 为什么浏览器端保存的密码一直自动写入到$form->password 解决办法 2、在页面进入的时候&#xff0c;默认表单的type值为text&#xff1b;推荐指数&#xff1a;2颗星 5、设置表单的readonly属性;推荐指数&#xff1a;4颗…
阅读更多...
实习遇到问题备忘录

实习遇到问题备忘录

1.Hutool工具包的DB Hutool学习 —— 数据库 - db &#xff08;一&#xff09;Db简单操作 - 简书 (jianshu.com) 2.Consumer函数接口 Java 常用函数式接口之Consumer接口 - LeeHua - 博客园 (cnblogs.com) 3.sql高级用法merge into SQL高级知识——MERGE INTO - 知乎 (zhi…
阅读更多...
Linux 上 Nginx 配置访问 web 服务器及配置 https 访问配置过程记录

Linux 上 Nginx 配置访问 web 服务器及配置 https 访问配置过程记录

目录 一、前言说明二、配置思路三、开始修改配置四、结尾 一、前言说明 最近自己搭建了个 Blog 网站&#xff0c;想把网站部署到服务器上面&#xff0c;本文记录一下搭建过程中 Nginx 配置请求转发的过程。 二、配置思路 web项目已经在服务器上面运行起来了&#xff0c;运行的端…
阅读更多...
222.【2023年华为OD机试真题（C卷）】分配土地（扫描线算法-JavaPythonC++JS实现）

222.【2023年华为OD机试真题（C卷）】分配土地（扫描线算法-JavaPythonC++JS实现）

🚀点击这里可直接跳转到本专栏，可查阅顶置最新的华为OD机试宝典~ 本专栏所有题目均包含优质解题思路，高质量解题代码(Java&Python&C++&JS分别实现)，详细代码讲解，助你深入学习，深度掌握！ 文章目录 一. 题目-分配土地二.解题思路三.题解代码Python题解代码…
阅读更多...
FineBI：简介

FineBI：简介

1 介绍 FineBI 是帆软软件有限公司推出的一款商业智能&#xff08;Business Intelligence&#xff09;产品。 FineBI 是定位于自助大数据分析的 BI 工具&#xff0c;能够帮助企业的业务人员和数据分析师&#xff0c;开展以问题导向的探索式分析。 2 现阶段数据分析弊端 现阶…
阅读更多...
广义零样本学习综述的笔记

广义零样本学习综述的笔记

1 Title A Review of Generalized Zero-Shot Learning Methods&#xff08;Farhad Pourpanah; Moloud Abdar; Yuxuan Luo; Xinlei Zhou; Ran Wang; Chee Peng Lim&#xff09;【IEEE Transactions on Pattern Analysis and Machine Intelligence 2022】 2 conclusion Generali…
阅读更多...
【DevOps-05】Integrate工具

【DevOps-05】Integrate工具

一、简要说明 持续集成、持续部署的工具很多，其中Jenkins是一个开源的持续集成平台。 Jenkins涉及到将编写完毕的代码发布到测试环境和生产环境的任务，并且还涉及到了构建项目等任务。 Jenkins需要大量的插件保证工作，安装成本较高，下面会基于Docker搭建Jenkins。 二、Jenk…
阅读更多...
HPM6750开发笔记《DMA接收和发送数据UART例程深度解析》

HPM6750开发笔记《DMA接收和发送数据UART例程深度解析》

目录 概述&#xff1a; 端口设置&#xff1a; 代码分析&#xff1a; 运行现象&#xff1a; 概述&#xff1a; DMA&#xff08;Direct Memory Access&#xff09;是一种计算机系统中的数据传输技术&#xff0c;它允许数据在不经过中央处理器&#xff08;CPU&#xff09;的直…
阅读更多...
最新文章

Copyright @ 2022~2023