Hadoop3.4.0 完全分布式集群 运行环境搭建 VMware Workstation 虚拟机 大数据系列 一

一  生产环境集群模式部署,需要多台主机,主机之间通过密钥相互访问.

1 配置如图

节点名字节点IP系统版本
master11192.168.50.11centos 8.5
slave12192.168.50.12centos 8.5
slave13192.168.50.13centos 8.5

2 安装服务器

#先安装一台master11,具体可以参考

VMware Workstation 虚拟机安装

#安装jdk

tar zxvf  jdk-8u191-linux-x64.tar.gz
mv jdk1.8.0_191/ /usr/local/jdkvim  /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export CLASSPATH
source  /etc/profile
#查看版本
[root@localhost soft]# java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

#关闭master11

3克隆虚拟机

#通过master11,克隆出slave12,slave13

#同样方式克隆slave13

#修改IP地址

启动slave2

vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=ens160
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.50.12
PREFIX=24
GATEWAY=192.168.50.1
DNS1=192.168.50.1
IPV6_PRIVACY=no
#重新启动
reboot

 启动slave3

vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=ens160
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.50.13
PREFIX=24
GATEWAY=192.168.50.1
DNS1=192.168.50.1
IPV6_PRIVACY=no
#重新启动
reboot

4 配置服务器名称和hosts

#master11

hostnamectl  set-hostname master11
vim /etc/hosts
192.168.50.11 master11
192.168.50.12 slave12
192.168.50.13 slave13
#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

#slave12

hostnamectl  set-hostname slave12
vim /etc/hosts
192.168.50.11 master11
192.168.50.12 slave12
192.168.50.13 slave13
#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

#slave13

hostnamectl  set-hostname slave13
vim /etc/hosts
192.168.50.11 master11
192.168.50.12 slave12
192.168.50.13 slave13
#关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service

5配置ssh免密码登录

#master11

#直接回车确认
ssh-keygen  -t rsa
#拷贝密钥
ssh-copy-id master11
ssh-copy-id slave12
ssh-copy-id slave13

 # 测试一下

基础运行环境已完成,下一篇 ,正式部署

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/11173.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++ 容器(四)——List操作

一、List定义 内部核心是双向链表结构: 1、list内部以双向链表形式存储元素,每个节点包含指向前一个节点和后一个节点的指针。 2、动态大小:list的大小可以根据需要动态增长或缩小,不需要预先指定容器的大小。 3、插入和删除效…

Kubernetes 监控管理

目录 1. Metrics Server2. Prometheus & Grafana3. cAdvisor4. 日志收集5. 告警与通知6. 最佳实践 Kubernetes 监控管理是确保集群稳定运行和应用服务质量的关键环节。它涉及收集、聚合、分析集群及其上运行的应用程序的各种指标和日志数据。 1. Metrics Server 作用&…

Kubernetes备份恢复

目录 1. etcd 备份与恢复2. Velero3. Kubernetes Checkpoint API4.最佳实践 在Kubernetes中,备份和恢复策略是确保集群和应用程序数据安全的关键部分。这包括了对集群元数据(如部署、服务、PV/PVC定义等)以及持久卷中的数据进行备份。 1. et…

Hadoop-未授权访问-内置配合命令执行RCE

一、Hadoop常见端口及配置文件 Hadoop中有多种端口,这些端口用于不同的服务和通信。以下是Hadoop中常见的端口以及它们的用途: NameNode Web界面端口 (默认: 9870)NameNode 对客户端服务端口 (默认: 8020)Secondary NameNode Web界面端口 (默认: 9868)…

图层的遮盖判定算法实现1

图层的判定算法实现1 1. 算法思路2. 增加图层类属性3. 修改图层工具类4. 置于灰色5. 调用比较置灰 图层的判定算法实现1 学习于bilibili 尚学堂官方 1. 算法思路 与它上方的那一层所有牌进行比较,是否有交集 有,则盖住了,显示灰色 没有&am…

GitLab CI/CD的原理及应用详解(五)

本系列文章简介: 在当今快速变化的软件开发环境中,持续集成(Continuous Integration, CI)和持续交付(Continuous Delivery, CD)已经成为提高软件开发效率、确保代码质量以及快速响应市场需求的重要手段。Gi…

Ubuntu20.4部署Cuda12.4

准备Ubuntu20.4 VM 安装Cuda12.4 1.进入如下界面安装安装Cuda12.4版本: CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developerhttps://developer.nvidia.com/cuda-downloads?target_osLinux&target_archx86_64&DistributionUbuntu&target_vers…

MySQL软件安装基于压缩包

打开mysql官网网址 MySQL :: Download MySQL Community Server 本次针对版本8的安装包方式进行安装,下载成功后接下来对MySQL进行安装 下载后有一个以zip后缀结尾的压缩包文件 对于安装包方式安装,比起可视化安装省去了许多安装步骤,这里直接…

MLXtend,一个数据科学和机器学习Python库

MLxtend库简介 MLxtend 是一个 Python 库,提供了一系列用于机器学习的工具和辅助函数.它构建在 NumPy、SciPy 和 Matplotlib 之上,旨在为机器学习工程师和数据科学家提供更多的便利功能. 安装与使用 # 使用 pip 安装 MLxtend: pip install mlxtend在 Python 中导…

Python | Leetcode Python题解之第86题分隔链表

题目&#xff1a; 题解&#xff1a; class Solution:def partition(self, head: Optional[ListNode], x: int) -> Optional[ListNode]:sml_dummy, big_dummy ListNode(0), ListNode(0)sml, big sml_dummy, big_dummywhile head:if head.val < x:sml.next headsml sm…

C++ | Leetcode C++题解之第86题分隔链表

题目&#xff1a; 题解&#xff1a; class Solution { public:ListNode* partition(ListNode* head, int x) {ListNode* small new ListNode(0);ListNode* smallHead small;ListNode* large new ListNode(0);ListNode* largeHead large;while (head ! nullptr) {if (head-…

安卓模拟器怎么修改ip地址

最近很多老铁玩游戏的&#xff0c;想多开模拟器一个窗口一个IP&#xff0c;若模拟器窗口开多了&#xff0c;IP一样会受到限制&#xff0c;那么怎么更换自己电脑手机模拟器IP地址呢&#xff0c;今天就教大家一个修改模拟器IP地址的方法&#xff01;废话不多说&#xff0c;直接上…

维修UNIOP触摸屏 ETOP12-0050 人机界面ETOP03-0046 ETOP33C-0050工控机电脑深圳捷达工控维修

UniOP eTOP33C eTOP33C 是一款最先进的 HMI 设备&#xff0c;配有触摸屏界面和 10.4 英寸 TFT 彩色图形显示屏。 明亮的 TFT 显示屏对 64K 颜色的支持将增加图像的真实感。 集成的 10/100 以太网接口使复杂控制系统中的连接更加高效。 VGA 分辨率使其成为高端 HMI 应用的理想选…

摩苏尔大坝形变监测

摩苏尔大坝&#xff0c;是伊拉克最大的大坝。它位于底格里斯河35公里&#xff0c;北距摩苏尔市&#xff0c;这是一座粘土质地的水坝&#xff0c;高113米&#xff0c;长3.2公里&#xff0c;于1986落成。 大坝建成后不久&#xff0c;大坝就遇到了由软石膏地基造成的一些结构性问题…

generator生成器和promise配合实现看似同步的异步流程控制(async和await)

本文来自于 <你不知道的Javascript> 学习笔记 生成器函数返回的是迭代器,在内部每个yield的是promise,当迭代器启动后,it.next().value就是promise,在promise的then中不断的递归执行 it.next(data) 方法,其中data就是每个promise resolve的值. es7的async和await相当于就…

代码随想录算法训练营第二十七天| LeetCode39. 组合总和、LeetCode40.组合总和II、LeetCode131.分割回文串

#LeetCode 39. Combination Sum #LeetCode 39. 视频讲解&#xff1a;带你学透回溯算法-组合总和&#xff08;对应「leetcode」力扣题目&#xff1a;39.组合总和&#xff09;| 回溯法精讲&#xff01;_哔哩哔哩_bilibili 当建立树的结构的时候&#xff0c;target 可以限制树的深…

AI学习指南概率论篇-最大似然估计

AI学习指南概率论篇-最大似然估计 概述 在机器学习和人工智能领域中&#xff0c;最大似然估计&#xff08;Maximum Likelihood Estimation, 简称MLE&#xff09;是一个重要的概念。它是一种通过观察数据来估计模型参数的方法&#xff0c;通常用来寻找最能解释观测到数据的模型…

0511_IO6

练习1&#xff1a; 1&#xff1a;有一个隧道&#xff0c;全长5公里&#xff0c;有2列火车&#xff0c;全长200米&#xff0c; 火车A时速 100公里每小时 火车B时速 50公里每小时 现在要求模拟火车反复通过隧道的场景(不可能2列…

力扣 516. 最长回文子序列 python AC

动态规划 class Solution:def longestPalindromeSubseq(self, s):size len(s)dp [[0] * size for _ in range(size)]for i in range(size):dp[i][i] 1for i in range(size - 1, -1, -1):for j in range(i 1, size):if s[i] s[j]:dp[i][j] dp[i 1][j - 1] 2else:dp[i][…

第四届上海理工大学程序设计全国挑战赛 J.上学 题解 DFS 容斥

上学 题目描述 usst 小学里有 n 名学生&#xff0c;他们分别居住在 n 个地点&#xff0c;第 i 名学生居住在第 i 个地点&#xff0c;这些地点由 n−1 条双向道路连接&#xff0c;保证任意两个地点之间可以通过若干条双向道路抵达。学校则位于另外的第 0 个地点&#xff0c;第…