最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录

  • 环境搭建背景
  • 虚拟机创建和环境配置
  • 安装过程注意事项
    • 虚拟机设置
    • 软件选择
    • KOUMP
    • 系统分区
    • 网络和主机名
      • 打开以太网,并记录信息
      • 配置 IPv4
      • 修改主机名
    • 创建用户
  • hadoop完全分布式搭建-CSDN博客

环境搭建背景

为什么不从hadoop100或者hadoop101开始,而是从hadoop102开始?

因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译,利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104。

虚拟机创建和环境配置

最小化安装Neokylin7.0,硬盘50G,手动配置ipv4,主机名:hadoop102,子网掩码:255.255.255.0,网关:192.168.88.2(以自己电脑的为准,倒数第二位会不一样),(配置好环境后再克隆其他集群信息)

安装过程注意事项

虚拟机设置

网络适配器选择NAT模式,Vmare在NAT模式默认网关末尾为2,硬盘选大一点,内容可以调到4G、8G,如下图所示

在这里插入图片描述

软件选择

选择最小化安装

在这里插入图片描述

KOUMP

关闭 kdump(没什么用,节省时间)

在这里插入图片描述

系统分区

系统自动分区即可,也可以自己配置分区。

安装Neokylin7.0系统一般至少需要三个分区

  • 一个交换分区(大小为物理内存的两倍)

  • 一个boot分区 (300MB)

  • 一个根分区 (大于10GB)

我的分区配置如下:

  • 一个home分区 /home (3GB)

  • 一个交换分区 /swap (4GB)

  • 一个boot分区 /boot (1GB)

  • 一个根分区 / (25GB)

  • 一个var分区 /var (15GB)

/var 包括系统运行时要改变的数据。其中包括每个系统是特定的,即不能够与其他计算机共享的目录,如 /var/log/var/lock/var/run。有些目录还是可以与其他系统共享,如/var/mail/var/cache/man/var/cache/fonts/var/spool/news

var 目录存在的目的是把 usr 目录在运行过程中需要更改的文件或者临时生成的文件及目录提取出来,由此可以使 usr 目录挂载为只读的方式。隐含要求 var 目录必须挂载为可以读写的方式。

本次项目中需要将 HDFS 的 NN 和 DN 工作主目录,Hadoop 的 log 日志文件目录全部都放到 /var 目录下,所以专门给了较大的分区。如图所示:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网络和主机名

打开以太网,并记录信息

  • 记录网卡名称:ens160(也可以之后用 ifconfig 查看)

  • IP地址:192.168.88.134(以自己主机为准,倒数第二位会不一样),我们可以设置IP地址 192.168.88.x

  • 子网掩码:255.255.255.0

  • 网关一般都是IP地址最后一位换成2,即192.168.88.2

  • DNS服务器写网关就可以。

然后点击配置。如图所示:

在这里插入图片描述
在这里插入图片描述

配置 IPv4

IPv4设置 ➡ 手动 ➡ 添加记录的IP地址、子网掩码、网关、DNS服务器,最后保存,如图所示:

在这里插入图片描述

修改主机名

将主机名改成hadoop102,点击应用,当前主机名显示 hadoop102(后面就不需要再去 /etc/hostname 改了),如图所示:

在这里插入图片描述

创建用户

将此用户做为管理员(后面需要用到 sudo 管理员模式运行的时候就不需要再修改 /etc/sudoers 文件了),安装完毕后,重启虚拟机。如图所示:

在这里插入图片描述

安装完完全拷贝出三台机器并修改机器名称,就可以去使用 Mobaxterm 或者 XShell 远程登录来进行后续的 Hadoop 集群搭建操作了

hadoop完全分布式搭建-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/188639.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STM32CubeMx+MATLAB Simulink点灯程序

STM32CubeMxMATLAB点灯程序 ✨要想实现在MATLAB Simulink环境下使用STM32,前提是已经搭建好MATLAB环境并且安装了必要的Simulink插件,以及对应的STM32支持包。 🌿需要准备一块所安装支持包支持的STM32开发板. 🔖具体支持包详情页…

社区医院儿童疫苗接种管理系统设计与开发

社区医院儿童疫苗接种管理系统设计与开发 摘要 自建国以来我国一直注重于卫生健康的建设,而儿童的生命健康更得到重视。疫苗接种作为有效防御疾病的手段之一,一直被广泛应用在世界各地。目前,有相当一部分社区准备使用信息管理系统来进行优…

tensorflow-gpu1.15 + win11 + RTX 4050环境配置

组了一套,不知道行不行 windows11GPURTX 4050python3.7.12tensorflow-gpu1.15.0cudatoolkit10.0.130cudnn7.6.5Keras2.3.1

Java强制类型转换的所有规则都在这里了

💗推荐阅读文章💗 🌸JavaSE系列🌸👉1️⃣《JavaSE系列教程》🌺MySQL系列🌺👉2️⃣《MySQL系列教程》🍀JavaWeb系列🍀👉3️⃣《JavaWeb系列教程》…

VR全景对旅游业有什么帮助,如何助力旅游业实现新的旅游形式

引言: 旅游业是一个充满机遇的行业,而虚拟现实(VR)全景技术正逐渐改变着旅游业的面貌,通过提供身临其境的体验,VR全景成为了旅游业的新宠,将旅游带入了一个全新的数字化时代。 一、打破地域限制…

【C指针】深入理解指针(最终篇)数组指针指针运算题解析(一)

🌈write in front :🔍个人主页 : 啊森要自信的主页 ✏️真正相信奇迹的家伙,本身和奇迹一样了不起啊! 欢迎大家关注🔍点赞👍收藏⭐️留言📝>希望看完我的文章对你有小小的帮助&am…

Prometheus集群模式部署日记-主节点篇

Prometheus架构组件主节点masterPrometheus-master,Alertmanger,Grafana,PrometheusAlert子节点node(不同网络,混合云环境)Prometheus-node1 所有组件均采用docker-compose部署,docker 和 compose 请自行安装不再赘述…

基于AT89C51单片机的电子闹钟设计

1.设计任务 利用AT89C51单片机为核心控制元件,设计一个电子闹钟,设计的系统实用性强、操作简单,实现了智能化、数字化。 (1)按开始键自动进入时间显示,开始为0,按K1键进入更改时间&#xff0c…

11.30BST理解,AVL树操作,定义;快速幂,二分求矩阵幂(未完)

完全二叉树结点的度可能有1,满二叉树的度只能为0或2 BST构建 BST是左孩子都比根节点小,右孩子都比根节点大 二叉搜索树的插入,删除,调整 平衡树理解 任何一个平衡二叉树,它的中序遍历都是一样的,都是有…

LangChain的函数,工具和代理(三):LangChain中轻松实现OpenAI函数调用

在我之前写的两篇博客中:OpenAI的函数调用,LangChain的表达式语言(LCEL)中介绍了如何利用openai的api来实现函数调用功能,以及在langchain中如何实现openai的函数调用功能,在这两篇博客中,我们都需要手动去创建一个结构比较复杂的函数描述变量…

大脑--学习方法

1.大脑喜欢色彩。平时使用高质量的有色笔或使用有色纸,颜色能帮助记忆。 2.大脑集中精力最多只有25分钟。这是对成人而言,所以学习20到30分钟后就应该休息10分钟。你可以利用这段时间做点家务,10分钟后再回来继续学习,效果会更好…

0X04

看到一道有趣的misc题 misc签到题 打开后啥都没有,全选后发现每一行有空格,数了一行发现空格数量转ascil码后是f,猜测都如此, 后面就可以交个脚本了,统计之后转换成ascii from Crypto.Util.number import long_to_b…

[个人笔记] Linux的CLI笔录

Linux - CLI笔录 Linux的CLI笔录 Linux - CLI笔录Linux的CLI笔录Linux CentOS及Redhat的firewall-cmd使用Linux CentOS及Redhat的iptables使用Linux的tcpdump使用Linux的vim使用Linux创建systemctl系统服务Linux扫描全部磁盘OpenWrt的CLI 参考来源 Linux的CLI笔录 Linux CentO…

200. Number of Islands——BFS

文章目录 一、题目二、题解 一、题目 Given an m x n 2D binary grid grid which represents a map of 1’s (land) and 0’s (water), return the number of islands. An island is surrounded by water and is formed by connecting adjacent lands horizontally or vertic…

YOLOv8-Seg改进:SENetV2,squeeze和excitation全面升级,效果优于SENet | 2023年11月最新成果

🚀🚀🚀本文改进: SENetV2,squeeze和excitation全面升级,作为注意力机制引入到YOLOv8,放入不同网络位置实现涨点 🚀🚀🚀YOLOv8-seg创新专栏:http://t.csdnimg.cn/KLSdv 学姐带你学习YOLOv8,从入门到创新,轻轻松松搞定科研; 1)手把手教你如何训练YOLOv8-s…

《曾国藩传》:崇尚笨拙的人生哲学

哈喽啊,大家好,我是雷工! 以前读书喜欢读小说,喜欢看《我从你的全世界路过》《云间有个小卖铺》这些轻松的小说,读起来很轻松。 随着年龄增长,阅历的增加开始喜欢读历史,读人物传记,…

Ubuntu镜像与K8S冲突,容器持续Terminating

问题 记录一次软件冲突BUG: eclipse-temurin:11-jdk(底层Ubuntu 20.04.3 LTS)镜像创建的容器在K8S-1.25.5上无法正常terminating,造成资源浪费,甚至引发K8S资源CPU insufficient报错。具体表现 某些容器镜像在K8S上无…

贝叶斯优化对lightGBM最优超参数进行估计

贝叶斯优化对lightGBM最优超参数进行估计 相对遗传算法和模拟退火来说,利用贝叶斯估计的算法对超参数调参有着明显的速度优势,因为是对历史运行参数进行高斯过程类的方法去估计,所以不需要在空间里反复随机的搜索,所以很快就能估计…

uni-app+ts----微信小程序锚点定位 、自动吸顶、滚动自动选择对应的锚点(点击tab跳转对应的元素位置)

uni-app----微信小程序锚点定位 、自动吸顶、滚动自动选择对应的锚点&#xff08;点击tab跳转对应的元素位置&#xff09; html代码部分 重点是给元素加入【 :id“‘item’ item.id”】 <view class"radiusz bg-white pt-[30rpx] z-[999]"><u-tabs:list&q…

INFINI Labs 产品更新 | 修复 Easysearch 跨集群复制索引同步问题,Gateway 内存异常增长等问题

INFINI Labs 产品又更新啦~&#xff0c;本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复&#xff0c;解决了内存异常增长等问题&#xff0c;以下是详细说明。 INFINI Easysearch v1.6.2 INFINI Easysearch 是一个分布式的近实时搜索与…