Hadoop

阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!

文章目录

  • 阅读前请看一下:我是一个热衷于记录的人,每次写博客会反复研读,尽量不断提升博客质量。文章设置为仅粉丝可见,是因为写博客确实花了不少精力。希望互相进步谢谢!!
  • 1、课程简介
  • 2、概论
    • 2.1、大数据的概念
    • 2.2、大数据的特点
    • 2.3、大数据的应用场景
    • 2.4、大数据的发展场景
    • 2.5、大数据的未来工作内容
  • 3、知识体系(框架)
  • 4、概念
    • 4.1、Hadoop是什么
    • 4.2、Hadoop发展历史
    • 4.3、Hadoop三大发行版本
    • 4.4、Hadoop的优势
    • 4.5、Hadoop的组成(==面试重点!!!==)
      • 4.5.1、HDFS概述
      • 4.5.2、YARN概述
      • 4.5.3、MapReduce概述
      • 4.5.4、HDFS、YARN、MapReduce关系
    • 4.6、大数据技术生态体系
    • 4.7、推荐系统案例
  • 5、Hadoop环境准备
    • 5.1 、模板虚拟机准备
      • 5.1.1、VMware安装
      • 5.1.2、Centos7.5软硬件安装
      • 5.1.3、IP和主机名配置
      • 5.1.4、Xshell远程访问工具
      • 5.1.5、模板虚拟机准备完成
    • 5.2 、克隆
    • 5.3 、按照JDK、Hadoop
  • 6、Hadoop生产集群搭建
  • 、总结

提示:以下是本篇文章正文内容

1、课程简介

在这里插入图片描述



2、概论

2.1、大数据的概念

在这里插入图片描述


2.2、大数据的特点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


2.3、大数据的应用场景


2.4、大数据的发展场景


2.5、大数据的未来工作内容

在这里插入图片描述
在这里插入图片描述



3、知识体系(框架)

在这里插入图片描述



4、概念

4.1、Hadoop是什么

在这里插入图片描述


4.2、Hadoop发展历史

在这里插入图片描述
在这里插入图片描述


4.3、Hadoop三大发行版本

在这里插入图片描述


4.4、Hadoop的优势

在这里插入图片描述
在这里插入图片描述


4.5、Hadoop的组成(面试重点!!!

在这里插入图片描述

4.5.1、HDFS概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

在这里插入图片描述
在这里插入图片描述

4.5.2、YARN概述

Yet Another Resource Negotiation,另一种资源协调者,是Hadoop的资源管理器。

在这里插入图片描述

4.5.3、MapReduce概述

在这里插入图片描述

4.5.4、HDFS、YARN、MapReduce关系

在这里插入图片描述


4.6、大数据技术生态体系

在这里插入图片描述


4.7、推荐系统案例

在这里插入图片描述



5、Hadoop环境准备

5.1 、模板虚拟机准备

5.1.1、VMware安装

在这里插入图片描述

5.1.2、Centos7.5软硬件安装

在这里插入图片描述
1、安装硬件:虚拟机;
2、安装软件:操作系统;

  • 1、“/boot”:刚启动电脑时分配多少资源,1g;

  • 2、“/swap”:电脑内存不够用时,硬盘虚拟成内存;

  • 3、“/”:根目录;

  • kdump:崩溃时自动备份,学习时可禁用。
    2、IP
    3、名称

5.1.3、IP和主机名配置

要配置三个IP:
在这里插入图片描述

  • 1、hadoop100
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述

  • 2、Vmware
    在这里插入图片描述
    在这里插入图片描述

  • 3、Win10
    在这里插入图片描述

修改主机名称+映射主机名称
vim /etc/hostname
vim /etc/hosts
在这里插入图片描述
在这里插入图片描述

5.1.4、Xshell远程访问工具

5.1.5、模板虚拟机准备完成

5.2 、克隆

5.3 、按照JDK、Hadoop



6、Hadoop生产集群搭建

  1. 、本地模式
  2. 、完全分布式集群(开发和面试的重点)


、总结


码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!
码字不易,谢谢点赞!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/60456.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【pyqt5界面化工具开发-13】QtDesigner功能择优使用

目录 0x00 前言: 一、完成基本的布局 二、其他功能的使用 三、在代码行开发 0x00 前言: QtDesigner工具的择优使用: 1、他的界面开发,是我们主要需要使用的功能 2、他的其他功能的使用,有需要就可使用&#xff…

Redis持久化——RDF与AOF两种方式怎么做?有什么区别?

目录 1. 什么是RDB 2. save 和 bgsave 命令主动保存数据 2.1 save 2.2 bgsave 3. Redis 内部自动RDB机制 4. RDB 底层是如何实现 bgsave 的? 5. RDB 的缺点 6. 什么是AOF? 7. AOF文件的缺点? 8. AOF 重写文件配置 9. RDB 与 AOF …

docker启动paddlespeech服务,并使用接口调用

一、检查docker容器是否启动 1.输入命令 systemctl status docker 启动 systemctl start docker 守护进程重启 sudo systemctl daemon-reload 重启docker服务 systemctl restart docker 重启docker服务 sudo service docker restart 关闭docker service docker…

cvat 安装部署

官网地址: https://github.com/opencv/cvat/tree/masterhttps://github.com/opencv/cvat/tree/master 1.从官网上下载源码地址。 2.配置环境变量 vim /etc/profile source /etc/profile 或者执行: export CVAT_HOSTyour-ip-address 3.执行命令 …

2023年天府杯——C 题:码头停靠问题

问题背景: 某个港口有多个不同类型的码头,可以停靠不同种类的船只。每 艘船只需要一定的时间来完成装卸货物等任务,并且每个码头有容量 限制和停靠时间限制。港口需要在保证收益的情况下,尽可能地提高 运营效率和降低成本。同…

【大虾送书第七期】深入浅出SSD:固态存储核心技术、原理与实战

目录 ✨写在前面 ✨内容简介 ✨作者简介 ✨名人推荐 ✨文末福利 🦐博客主页:大虾好吃吗的博客 🦐专栏地址:免费送书活动专栏地址 写在前面 近年来国家大力支持半导体行业,鼓励自主创新,中国SSD技术和产业…

C++信息学奥赛1178:成绩排序

#include<bits/stdc.h> using namespace std; int main(){int n;cin>>n; // 输入整数 n&#xff0c;表示数组的大小int arr[n]; // 创建大小为 n 的整型数组 arrstring brr[n]; // 创建大小为 n 的字符串数组 brrfor(int i0;i<n;i) cin>>brr[i]>>ar…

Greenplum-segment镜像分布策略

Greenplum作为一款基于PostgreSQL的OLAP分布式MPP架构&#xff0c;其内部的角色可以通过配置冗余来保证高可用性&#xff0c;无论是管理节点还是计算节点。管理节点可以为Master配置一个Standby来保证高可用&#xff0c;而计算节点则可以为每个Primary segment配置一个对应的Mi…

Linux常用命令(不定期更新)

记录一下自己工作中常用的linux命令 查询类 top 实时查看进程 free -h 查看内存 df -h 查看已挂在的存储 fdisk -l 查看所有存储&#xff0c;包含未挂载 编辑类 passwd 修改密码&#xff0c;要进入到系统

list(介绍与实现)

目录 1. list的介绍及使用 1.1 list的介绍 1.2 list的使用 1.2.1 list的构造 1.2.2 list iterator的使用 1.2.3 list capacity 1.2.4 list element access 1.2.5 list modififiers 1.2.6 list的迭代器失效 2. list的模拟实现 2.1 模拟实现list 2.2 list的反向迭代器 1.…

浅析Linux虚拟网络技术

文章目录 概述Tap/tun设备tun/tap的工作机制 Bridge网桥Bridge的工作机制Bridge IP 相关参考 概述 在传统的网络环境中&#xff0c;一台物理主机包含一张或多张网卡&#xff0c;要实现与其它物理主机之间的通信&#xff0c;需要将自身的网卡通过路由器或者交换机连接到外部的物…

vue3 页面显示中文,分页显示中文

vue3 分页默认为英文 &#xff0c;但想要中文显示 那么在App.vue中的代码为三步即可&#xff0c;引入中文&#xff0c;声明中文 &#xff0c;绑定中文&#xff1b; 1. import zhCn from element-plus/es/locale/lang/zh-cn&#xff1b; 2. let locale zhCn; 3. :locale&q…

【内网穿透】搭建我的世界Java版服务器,公网远程联机

目录 前言 1. 搭建我的世界服务器 1.1 服务器安装java环境 1.2 配置服务端 2. 测试局域网联机 3. 公网远程联机 3.1 安装cpolar内网穿透 3.1.1 windows系统 3.1.2 linux系统&#xff08;支持一键自动安装脚本&#xff09; 3.2 创建隧道映射内网端口 3.3 测试公网远程…

智通三千亮相2023中国软博会

“软件赋智&#xff0c;数实融合。”8月20日—23日&#xff0c;2023中国国际软件产品和信息服务交易博览会在南京举办。软博会连续举办19届。期间&#xff0c;《2023年我国工业软件产业发展研究报告》《中国软件产业高质量发展紫金指数&#xff08;2023&#xff09;》等发布。 …

【OpenCV实战】3.OpenCV颜色空间实战

OpenCV颜色空间实战 〇、Coding实战内容一、imread1.1 函数介绍1.2 Flags1.3 Code 二. 色彩空间2.1 获取单色空间2.2. HSV、YUV、RGB2.3. 不同颜色空间应用场景 〇、Coding实战内容 OpenCV imread()方法不同的flags差异性获取单色通道【R通道、G通道、B通道】HSV、YUV、RGB 一…

CTFhub-文件上传-MIME绕过

用哥斯拉生成 php 木马文件 1.php 抓包---> 修改 conten-type 类型 为 imge/jpeg 用蚁剑连接 ctfhub{8e6af8109ca15932bad4747a}

Hive原理剖析

一、简介 Hive是建立在Hadoop上的数据仓库框架&#xff0c;提供大数据平台批处理计算能力&#xff0c;能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据&#xff0c;其基本原理是将HQL语言自动转换成MapReduce任务…

电脑前置耳机没声音怎么办

有很多小伙伴反映在将自己的耳机连接到主机前面时没有声音&#xff0c;这是怎么回事呢&#xff0c;遇到这种情况应该怎么解决呢&#xff0c;下面小编就给大家详细介绍一下电脑前置耳机没声音的解决方法&#xff0c;有需要的小伙伴可以来看一看电脑前面耳机没声音。 解决方法&a…

AMD 锐龙 8000系 APU 将补完其产品线,推出 12C24T16CU 和 16C32T40CU

我们大家都知道一直以来&#xff0c;AMD 的 APU 只到 R7&#xff0c;也就是 R7-x700G 和 r7-x800H。虽然也有 R9-x900HX&#xff0c;但它毕竟是 x800H 硬超上去的&#xff0c;核心数完全一样&#xff0c;并不能叫做真正的 R9。 究其原因&#xff0c;AMD 的 APU 是移动端优先的…

谷歌Pixel Watch 2谣言——迄今为止我们所知道的一切

我们有理由相信&#xff0c;谷歌Pixel Watch 2是在工作。继Pixel Watch首次亮相后&#xff0c;下一代机型可能会推出升级&#xff0c;巩固谷歌在可穿戴市场的努力。 谷歌Pixel Watch作为第一代设备有很多功能。它利用Fitbit健身跟踪功能&#xff0c;同时支持所有主要的谷歌应用…