Hadoop3:动态扩容之新增一台机器的初始化工作

一、需求描述

Hadoop集群动态扩容一个节点
那么,这个节点是全新的,我们需要做哪些准备工作,才能将它融入集群了?

二、初始化配置

1、修改IP和hostname

vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

2、复制102的hadoop、jdk安装包和环境变量文件

复制安装包,可以用普通账号进行复制

scp -r module/* atguigu@hadoop105:/opt/module/

复制环境变量文件,必须用root权限进行复制

sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

新节点上

source /etc/profile

3、新节点上删除data和logs目录

cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

4、配置各个节点到新增节点的免密登陆

102、103、104到新节点的免密登陆

cd /home/atguigu/.ssh
ssh-copy-id hadoop105ssh atguigu@hadoop105	验证免密登陆

5、修改Hadoop集群配置文件

workers文件中,加入新节点域名
whitelist文件中,加入新节点域名
blacklist文件中,确保没有新节点域名

cd /opt/module/hadoop-3.1.3/etc/hadoop
vim workers
vim whitelist
vim blacklist

在这里插入图片描述在这里插入图片描述在这里插入图片描述

6、修改常用的集群工具文件

这里主要是修改jpsall、xsync文件
加入新节点的域名

cd /home/atguigu/bin/

在这里插入图片描述在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/871067.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信小程序---npm 支持

一、构建 npm 目前小程序已经支持使用 npm 安装第三方包,但是这些 npm 包在小程序中不能够直接使用,必须得使用小程序开发者工具进行构建后才可以使用。 为什么得使用小程序开发者工具需要构建呢❓ 因为 node_modules 目录下的包,不会参与…

K8S标签与标签选择器

文章目录 一、标签1、简介2、为什么需要标签3、标签命名规范3.1、标签名3.2、标签的value 4、标签的基本操作4.1、创建标签4.1.1、资源清单方式4.1.2、命令行方式 4.2、查看标签4.2.1、查看刚才打标的两个pod4.2.2、通过标签过滤查询4.2.3、将标签显示在输出结果中 4.3、添加标…

如何利用大模型提高金融合规场景的工作效率?

金融是强监管行业,遵守法律法规、行业标准和内部政策是金融行业的基本要求。在强监管合规环境下,金融机构需要降低合规风险并提升服务质量。 人工审核效率低、成本高,且存在主观性导致的风险。过去,金融机构基于规则和NLP模型构建…

ATC 2024 | 快手开源大模型长序列训练加速技术,性能大幅超越 SOTA 方案

导读 在深度学习领域,训练大型语言模型(LLMs)一直是一项极具挑战性的任务,它不仅需要巨大的计算资源,同时对内存的消耗也非常巨大。近期,快手大模型团队提出了创新的方法,包括感知流水并行的激…

单元测试Mockito笔记

文章目录 单元测试Mockito1. 入门1.1 什么是Mockito1.2 优势1.3 原理 2. 使用2.0 环境准备2.1 Mock1) Mock对象创建2) 配置Mock对象的行为(打桩)3) 验证方法调用4) 参数匹配5) 静态方法 2.2 常用注解1) Mock2) BeforeEach 与 BeforeAfter3) InjectMocks4) Spy5) Captor6) RunWi…

数据分析——Python网络爬虫(四){正则表达式}

爬虫库的使用 爬虫的步骤正则表达式正则表达式的流程正则表达式的使用括号的使用管道匹配问号匹配星号匹配加号匹配花括号匹配用点-星匹配所有字符跨行匹配findall方法其他常用字符匹配 例子正则表达式在线测试 爬虫的步骤 #mermaid-svg-zSQSbTxUEex051NQ {font-family:"t…

“汇聚全球智慧·引领未来科技”2024南京人工智能展会

南京,这座古老而又现代的城市,自古以来便是江南繁华的代名词。如今,随着科技的飞速发展,南京再次站在了时代的潮头,以其深厚的历史底蕴和不断创新的科技力量,成为了全球瞩目的焦点。而在即将到来的2024年&a…

数学建模--数据统计类赛题分析~~神经网络引入

1.缺失值的处理 (1)像在下面的这个表格里面,这个对于缺失的数据,我们需要分情况进行分析,如果这个数据就是一个数值型的数据,我们可以使用平均值进行处理; (2)对于这个…

用python识别二维码(python实例二十三)

目录 1.认识Python 2.环境与工具 2.1 python环境 2.2 Visual Studio Code编译 3.识别二维码 3.1 代码构思 3.2 代码实例 3.3 运行结果 4.总结 1.认识Python Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性&…

MongoDB教程(三):mongoDB用户管理

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 文章目录 引言一、MongoD…

线性代数|机器学习-P23梯度下降

文章目录 1. 梯度下降[线搜索方法]1.1 线搜索方法,运用一阶导数信息1.2 经典牛顿方法,运用二阶导数信息 2. hessian矩阵和凸函数2.1 实对称矩阵函数求导2.2. 线性函数求导 3. 无约束条件下的最值问题4. 正则化4.1 定义4.2 性质 5. 回溯线性搜索法 1. 梯度…

【正点原子i.MX93开发板试用连载体验】录音小程序采集语料

本文最早发表于电子发烧友论坛:【新提醒】【正点原子i.MX93开发板试用连载体验】基于深度学习的语音本地控制 - 正点原子学习小组 - 电子技术论坛 - 广受欢迎的专业电子论坛! (elecfans.com) 接下来就是要尝试训练中文提示词。首先要进行语料采集,这是一…

LLM大模型从入门到精通(3)--LLM主流大模型类别

目录 1 ChatGLM-6B模型简介: 2 LLaMA模型简介: 3 BLOOM模型简介 4 Baichuan-7B模型 随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。开源语言大模型种…

代码随想录算法训练营Day37||动态规划part05

初识完全背包,和零一背包的区别就是要正序遍历背包,从而让物品可以反复使用。 518.零钱兑换II: 即装满价值为j的背包有几种方法,和494目标和几乎一致,只不过换成了零一背包。通过不同的遍历顺序,可以求出组合数&#…

Java常用的API_02(正则表达式、爬虫)

Java正则表达式 七、正则表达式7.1 格式7.1.1 字符类注意字符类示例代码1例2 7.1.2 预定义字符预定义字符示例代码例2 7.1.3 区别总结 7.2 使用Pattern和Matcher类与直接使用String类的matches方法的区别。(1) 使用Pattern和Matcher类示例代码 &#xff…

分布式系统—Ceph块存储系统(RBD接口)

目录 一、服务端操作 1 创建一个名为 rbd-xy101 的专门用于 RBD 的存储池 2 将存储池转换为 RBD 模式 3 初始化存储池 4 创建镜像 5 管理镜像 6.Linux客户端使用 在管理节点创建并授权一个用户可访问指定的 RBD 存储池 ​编辑修改RBD镜像特性,CentOS7默认情…

Matlab结合ChatGPT—如何计算置信区间?

​前面分享了带置信区间的折线图和带置信区间的折线散点图的绘图教程: 很多人表示,昆哥,图是很好看啦,但咱不会求置信区间啊,咋办嘞? 说实话,这种事情属于数据处理,一般都是在画图前…

家政服务小程序:提高家政服务,新商机!

当下,社会生活的节奏非常快,人们忙于工作,在日常生活家务清洁中面临着时间、精力不足的问题,因此对家政服务的需求日益增加,这也推动了家政行业的迅速发展。目前不少年轻人都开始涌入到了家政行业中,市场的…

HTTP协议。(HTTP-概述和特点、HTTP-请求协议、HTTP-请求数据格式、浏览器访问服务器的几种方式)

2.1 HTTP-概述 HTTP协议又分为:请求协议和响应协议 请求协议:浏览器将数据以请求格式发送到服务器 包括:请求行、请求头 、请求体 响应协议:服务器将数据以响应格式返回给浏览器 包括:响应行 、响应头 、响应体 2.…

重要!!!MySQL 9.0存在重大BUG!!

7/11日开源数据库软件服务商percona发布重要警告,最新的mysql版本存在重大bug,原文如下 Do Not Upgrade to Any Version of MySQL After 8.0.37 Warning! Recently, Jean-Franois Gagn opened a bug on bug.mysql.com #115517; unfortunately, the bug…