关于大数据学习之hadoop的安装

前部安装提示:

建议先将电脑中基础内容进行清洁,维持基础的极简主义, 通过这样的方式可以快速帮助我们完成软件的安装,同时也是符合计算机的基础网络结构,

什么是hadoop?

处理大数据的分布式存储和计算框架是hadoop,hadoop有三大核心组件:hdfs(分布式文件管理系统),mapreduce(分布式运算程序的编程框架,基于hadoop的数据分析应用的核心框架)和yarn(hadoop的资源管理器,提高资源在集群中间的利用率,可以提高执行速率);本质:分布式系统基础框架。

hadoop的设计思想?

同理,对于单机无法解决的问题,综合利用多个普通机器的做法比打造一台超级计算机的做法更加具有可行性。

可以有效解决处理tb,pb级别的数据量,现在数据增量是一个前所没有的高度:

2014年是我们国家的大数据政策的元年,当年3月份大数据首次写入政府工作报告中,2021年市场规模接近900亿元

hadoop的特点:

  1. 开源的
  2. 可靠的
  3. 可扩展的
  4. 用于分布式计算的

关于大数据学习之hadoop的安装

配置一个虚拟环境:

好处:

  1. 安全性会有很高的保障
  2. 可以通过xshell工具来对虚拟机进行远程访问

所采用的基础软件:

vmware这个基础的软件对其进行配置(功能:搭建一个基础的虚拟环境)推荐采用的镜像文件:centos7

使用vmare进行基础的环境搭建和配置:

  1. 点击创建新的虚拟机
  2. 点击其中的典型或者自定义安装
  3. 在安装客户机操作系统,点击稍后安装操作系统

因其正在创建配置。选择稍后安装操作系统选项是因为此时正在创建虚拟机的配置,而实际的Linux操作系统安装过程需要在该配置上运行。(360问答)

  1. 注意,由于在完成点击稍后安装操作系统之后,我们需要再次点击硬盘中的内容,点击自定义中的内容,找到所属自身的镜像文件,创建属于自身的虚拟环境,至于为什么上面一段引用当中已经对于这个问题进行了回答,

个人理解:

linux的操作系统需要在完成vmware所提供的基础计算机配置的基础上开始进行运行,类似于一个基础的先后顺序,所以在这一步的时候,自己一定要尽可能对其注意和调试。

配置ip地址

前言:

基于hadoop集群完全分布集群的特点,所采用的接入网络的方式是:nat(Network Address Translation,网络地址转换)

什么是nat模式?

让虚拟系统借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网。

nat网络的好处是什么?
  1. 两者相互隔离,
  2. 原系统不受影响,
  3. 包括用户的一切操作,不受影响,
  4. 安装程序、不受影响,
  5. 甚至运行病毒不受影响,

在运行最开始的时候,要去删除Linux操作系统本身自带jdk,这个jdk会和自身的jdk产生冲突,所以务必对其进行删除,

rpm -qa |grep -i java

其运行结果:

如果有就会显示,如果没有将不会显示

输入基本的命令行开始配置IP地址:

重启网卡的命令:

service network restart

‘开始编辑其基础的网络配置文件:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

开始进行知识的科普:

onboot:系统启动时候是否激活了该网卡

bootproto:指定方式获取ip地址

在这个地方,我们将制定的地方调整为static这种静态的方式(需要自己给自己进行手动的配置)

在完成了基础的ip的配置之后,我们将迎来对于远程连接虚拟机的配置流程:

使用xshell来帮助我们进行完成命令的粘贴和复制

配置虚拟机的网络

配置基础ip地址为:192.168.128.0(在这个地方进行改动)

开始下载xshell

进入到官网中进行下载

XSHELL - NetSarang Website


参考教材:

Hadoop大数据开发基础(第2版)(微课版)|中国工信出版集团|人民邮电出版社

书中的教材有些许老旧,这里也粘贴以下自己参考其他博主的链接和其内容:

https://zhuanlan.zhihu.com/p/558067519
#帖子:Hadoop入门(二):手把手带你从零基础到完整安装配置

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/706557.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LeetCode_Java_动态规划系列(3)(题目+思路+代码)

338.比特位计数 给你一个整数 n &#xff0c;对于 0 < i < n 中的每个 i &#xff0c;计算其二进制表示中 1 的个数 &#xff0c;返回一个长度为 n 1 的数组 ans 作为答案。 class Solution {public int[] countBits(int n) {/** 思路&#xff1a;* 1.创建一个长度为 n…

pr2024 Premiere Pro 2024 mac v24.2.1中文激活版

Premiere Pro 2024 for Mac是Adobe公司推出的一款强大的视频编辑软件&#xff0c;专为Mac操作系统优化。它提供了丰富的剪辑工具、特效和音频处理选项&#xff0c;帮助用户轻松创建专业级的影视作品。 软件下载&#xff1a;pr2024 Premiere Pro 2024 mac v24.2.1中文激活版 无论…

java高级——反射

目录 反射概述反射的使用获取class对象的三种方式反射获取类的构造器1. 获取类中所有的构造器2. 获取单个构造器 反射获取构造器的作用反射获取成员变量反射变量赋值、取值获取类的成员方法反射对象类方法执行 反射简易框架案例案例需求实现步骤代码如下 反射概述 什么是反射 反…

【学习总结】什么是弹性负载均衡? LB和ELB的区别

[Q&A] 什么是 LB (Load Balancer) 负载均衡器&#xff1a; 这是一个广泛的概念&#xff0c;泛指任何用于在网络流量进入时进行分配以实现服务器集群间负载均衡的设备或服务。传统的负载均衡器可以是硬件设备&#xff0c;也可以是软件解决方案&#xff0c;其基本目标是将客…

关于Vue中npm install出现报错及解决方法

在Vue项目开发过程中&#xff0c;我们经常会使用npm工具来安装项目所需的依赖包。然而&#xff0c;有时候在执行npm install命令时会遇到各种报错&#xff0c;这可能会影响项目的正常开发和运行。本教程将介绍一些常见的npm install报错及其解决方法&#xff0c;帮助开发者更好…

利用 ChatGPT 提升个人工作、生活品质

利用 ChatGPT 提升个人工作、生活品质和个人智慧是一个多方面而又切实可行的方法。 以下是一些具体的建议&#xff1a; 获取信息和知识&#xff1a; ChatGPT 可以回答各种问题并提供相关信息和知识。你可以利用它来查询工作中遇到的问题、学习新的知识领域或是获取日常生活中的…

【JSON2WEB】06 JSON2WEB前端框架搭建

【JSON2WEB】01 WEB管理信息系统架构设计 【JSON2WEB】02 JSON2WEB初步UI设计 【JSON2WEB】03 go的模板包html/template的使用 【JSON2WEB】04 amis低代码前端框架介绍 【JSON2WEB】05 前端开发三件套 HTML CSS JavaScript 速成 前端技术路线太多了&#xff0c;知识点更多&…

HC32F460 是否有 RTC?在电池供电方案中该如何使用?

[技术问答]HC32F460 是否有 RTC&#xff1f;在电池供电方案中该如何使用&#xff1f;_hc32f460 rtc-CSDN博客 华大HC32A460 系列介绍&#xff08;三&#xff09;_华大单片机内部温度传感器-CSDN博客 HC32F460PETB-LQFP100-华大半导体有限公司 [【HC32F460开发板测评】&#xf…

8.题目:编号191 特别数的和

###这道题主要考察枚举 #include<bits/stdc.h> using namespace std; bool f(int x){while(x){int yx%10;if(y2||y0||y1||y9){return true;}x/10;}return false; } int main(){int n;cin>>n;int ans0;for(int i1;i<n;i){if(f(i)){ansi;}}cout<<ans<&…

【Redis 常见的5种数据类型】List | Set | Zset

文章目录 [toc] 1 :peach:List:peach:1.1 :apple:lpush:apple:1.2 :apple:lpushx:apple:1.3 :apple:rpush:apple:1.4 :apple:rpushx:apple:1.5 :apple:lrange:apple:1.6 :apple:lpop:apple:1.7 :apple:rpop:apple:1.8 :apple:lindex:apple:1.9 :apple:linsert:apple:1.10 :appl…

QT摄像头采集

主界面为显示框&#xff0c;两个下拉框&#xff0c;一个是所有相机&#xff0c;一个是相机支持的分辨率 系统根据UI界面自动生成的部分不再描述&#xff0c;以下为其他部分源码 widget.h #include <QWidget> #include <QMouseEvent> class QCamera; class QCamer…

阿里云ECS服务器vCPU是什么意思?

阿里云ECS服务器vCPU和CPU是什么意思&#xff1f;CPU和vCPU有什么区别&#xff1f;一台云服务器ECS实例的CPU选项由CPU物理核心数和每核线程数决定&#xff0c;CPU是中央处理器&#xff0c;一个CPU可以包含若干个物理核&#xff0c;通过超线程HT&#xff08;Hyper-Threading&am…

Linux——静态库

Linux——静态库 静态库分析一下 ar指令生成静态库静态库的使用第三方库优化一下 gcc -I(大写的i) -L -l(小写的l)&#xff0c;头文件搜索路径&#xff0c;库文件搜索路径&#xff0c;连接库 今天我们来学习静态库的基本知识。 静态库 在了解静态库之前&#xff0c;我们首先来…

MongoDB - readConcern

readConcern 是 MongoDB 提供的一个功能&#xff0c;用于控制在读取操作期间所使用的数据一致性级别。在分布式环境中&#xff0c;可能会出现数据读取时的一致性问题&#xff0c;readConcern 允许您指定在读取数据时所需的一致性级别&#xff0c;以满足特定的业务需求。 在 Mo…

云服务器ECS价格表出炉_2024年最新价格表——阿里云

2024年最新阿里云服务器租用费用优惠价格表&#xff0c;轻量2核2G3M带宽轻量服务器一年61元&#xff0c;折合5元1个月&#xff0c;新老用户同享99元一年服务器&#xff0c;2核4G5M服务器ECS优惠价199元一年&#xff0c;2核4G4M轻量服务器165元一年&#xff0c;2核4G服务器30元3…

BL0942 内置时钟免校准计量芯片 用于智能家居领域 低成本

BL0939是上海贝岭股份有限公司开发的一款用于智能家居领域进行电能测量的专用芯片&#xff0c;支持两路测量&#xff0c;可同时进行计量和漏电故障检测&#xff0c;漏电检测电流可设&#xff0c;响应时间快&#xff0c;具有体积小&#xff0c;外围电路简单&#xff0c;成本低廉…

模拟器和电脑端adb版本不一致解决办法

window电脑和模拟器的adb版本不一致&#xff0c;如何解决&#xff1f; 1.查看自己电脑的adb版本&#xff1b;使用adb --version 2.查看模拟器的adb版本 cmd切换至模拟器bin目录&#xff0c;输入nox_adb --version 3.要找到电脑端的adb在哪个目录下&#xff1b;where adb 4.打…

六、防御保护---防火墙内容安全篇

六、防御保护---防火墙内容安全篇 一、IAE&#xff08;Intelligent Awareness Engine&#xff09;引擎二、深度检测技术(DFI和DPI&#xff09;2.1 DPI -- 深度包检测技术2.1.1 基于“特征字”的检测技术2.1.2 基于应用网关的检测技术2.1.3 基于行为模式的检测技术 2.2 DFI -- 深…

【Go 快速入门】协程 | 通道 | select 多路复用 | sync 包

文章目录 前言协程goroutine 调度使用 goroutine 通道无缓冲通道有缓冲通道单向通道 select 多路复用syncsync.WaitGroupsync.Mutexsync.RWMutexsync.Oncesync.Map 项目代码地址&#xff1a;05-GoroutineChannelSync 前言 Go 1.22 版本于不久前推出&#xff0c;更新的新特性可…

git describe

git describe一般用于查看当前提交距离上次最近的tag是什么&#xff0c;并且还可以知道差了多少个commit&#xff0c;在工程实践当中是个非常好用的命令 如果git describe后面什么都不加的话&#xff0c;默认找的是最近的有注释的tag 如何打有注释的tag打注释&#xff1f; g…