大数据平台迁移后yarn连接zookeeper 异常分析

大数据平台迁移后yarn连接zookeeper 异常分析

XX保险HDP大数据平台机房迁移异常分析。
异常现象：

  1. 机房迁移后大部分组件都能正常启动
  2. Yarn 启动后8088 8042等端口无法访问
  3. Hive spark 作业提交到yarn会出现卡死。
    【备注】虽然迁移，但IP不变。

1. Yarn连接zookeeper 日志报错

问题分析:

  1. yarn 6000毫秒内无法活动连接到活跃的zookeeper服务
  2. hdfs hive kafka等组件正常启动

2. Zookeeper 客户端查看zookeeper正常

问题分析：
1.zookeeper数据存在并正常显示。

3. Zookeeper 中出现错误日志

2023-09-09 11:36:30,009 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@222] - Accepted socket connection from /xx.xx.xx.xx:570702023-09-09 11:36:30,009 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@908] - Processing ruok command from /xx.xx.xx.xx:570702023-09-09 11:36:30,010 - INFO [Thread-178:NIOServerCnxn@1056] - Closed socket connection for client /xx.xx.xx.xx:57070 (no session established for client)2023-09-09 11:37:29,900 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@222] - Accepted socket connection from /xx.xx.xx.xx:591142023-09-09 11:37:29,901 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@908] - Processing ruok command from /xx.xx.xx.xx:591142023-09-09 11:37:29,902 - INFO [Thread-179:NIOServerCnxn@1056] - Closed socket connection for client /xx.xx.xx.xx:59114 (no session established for client)2023-09-09 11:38:29,954 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@222] - Accepted socket connection from /xx.xx.xx.xx:329942023-09-09 11:38:29,955 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@908] - Processing ruok command from /xx.xx.xx.xx:329942023-09-09 11:38:29,956 - INFO [Thread-180:NIOServerCnxn@1056] - Closed socket connection for client /xx.xx.xx.xx:32994 (no session established for client)2023-09-09 11:39:30,008 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@222] - Accepted socket connection from /xx.xx.xx.xx:350902023-09-09 11:39:30,008 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@908] - Processing ruok command from /xx.xx.xx.xx:350902023-09-09 11:39:30,009 - INFO [Thread-181:NIOServerCnxn@1056] - Closed socket connection for client /xx.xx.xx.xx:35090 (no session established for client)

4. 重装yarn服务，仍然报错

由于大数据集群众多组件都会连接zookeeper集群并且数据存放其中,我们选择重装yarn 组件 报错没有任何变化(强制卸载

  • yarn:
rpm -e hadoop_3_1_5_0_152-yarn-3.1.1.3.1.5.0-152.x86_64 
hadoop_3_1_5_0_152-yarn-resourcemanager-3.1.1.3.1.5.0-152.x86_64 –nodeps 
手动安装yarn： 
yum install -y hadoop_3_1_5_0_152-yarn hadoop_3_1_5_0_152-yarn-resourcemanager

其中hive spark tez Zeppelin 对yarn有依赖，可先在管理页面进行增删操作即可)

5. 手动删除zookeeper 中存放yarn集群数据后集群没有自动创建新的选举信息数据，手动创建集群无法识别

6. 分析

分析：zookeeper中缺少正确yarn集群数据信息，手动创建失效，由此可以确认zookeeper data数据出现异常。导致的可能性原因：①可能是在迁移过程中，yarn的组件ResourceManager 和 NodeManager的相关集群信息写入到zk未来得及持久化。②迁移时候服务未完全停止，导致yarn的核心组件RM和NM在zk上的数据文件受损。③新集群环境下，yarn与zookeeper的配置可能有不适配的情况。④网络异常导致的。等等

1）问题分析一

YARN 包含两个主要组件：ResourceManager 和 NodeManager。

在 YARN 中，ResourceManager 负责管理整个集群的资源分配和任务调度，NodeManager 则运行在各个工作节点上，负责启动、监视和停止应用程序的任务。

  • 当 ResourceManager 和 NodeManager 启动时，它们会向 ZooKeeper 写入以下信息：

  1. ResourceManager：ResourceManager 启动时，会向 ZooKeeper 写入有关活跃和非活跃 NM（NodeManager）节点列表、当前活跃集群管理员的信息以及正在处理的应用程序的列表信息。这些信息具体包括：为每个NM分配的容器数量、当前可用资源池的状态以及集群的全局配置。

  2. NodeManager：NodeManager 启动时，会向 ZooKeeper 写入自己的身份信息和集群中其他的 NM 节点信息。它还会向 ZooKeeper 注册自己的地址、端口、该节点的状态等信息。此外，NodeManager 定期向 ZooKeeper 发送心跳消息来更新其状态信息，以便 ResourceManager 可以根据需要重新分配集群中的资源。

​ 通过向 ZooKeeper 写入这些信息，ResourceManager 和 NodeManager 可以协调和管理集群中的各个组件，实现高可用性、容错性以及资源的正常调度。同时，这些信息也可以帮助管理员和开发人员更好地监视和管理 YARN 集群。

请注意，具体写入 ZooKeeper 的信息和路径可能会根据 YARN 的版本和配置有所不同。要了解更详细的信息，建议查阅您使用的 YARN 版本的官方文档和相关配置文件。

​ YARN 中 ResourceManager 和 NodeManager 向 ZooKeeper 写入的信息通常是存储在持久化节点上的，而不是普通节点。

持久化节点是指在 ZooKeeper 上创建的节点，其数据将被持久地保存在磁盘上，即使在节点断开连接或重启后也不会丢失。这种类型的节点适用于存储较为重要且需要长期保存的数据。

对于 YARN 中的信息，如 ResourceManager 的活跃和非活跃 NM 节点列表、当前活跃集群管理员的信息以及正在处理的应用程序列表等，这些数据通常被写入到持久化节点中。这样做的目的是确保即使在出现故障或重启后，这些关键信息仍然可以被恢复和使用。

相反，普通节点是指在 ZooKeeper 上创建的临时节点，其数据在节点断开连接后会被自动删除。普通节点适合存储临时性的或与会话相关的数据。

总的来说，YARN 中的关键信息通常会被写入到持久化节点中，以确保数据的持久性和可靠性。

2）问题分析二

​ 如果在机房搬迁过程中只是更改了物理位置，而 IP 地址保持不变，一般情况下对于 YARN 和 ZooKeeper 的影响是很小的。这是因为 YARN 和 ZooKeeper 主要依赖的是 IP 地址来进行通信和交互，并且它们的配置通常是基于 IP 地址进行设置的。

只要确保在机房搬迁后网络连接和路由设置正确，并且将相同的 IP 地址分配给 YARN 和 ZooKeeper 组件，它们应该能够正常工作。这意味着 YARN ResourceManager、NodeManager 以及 ZooKeeper 的集群节点都需要能够通过新的网络环境找到彼此的 IP 地址。

但是需要注意的是，在搬迁过程中可能会发生其他因素导致的问题。例如，搬迁过程中出现的硬件故障、网络配置错误、防火墙问题等都可能会对 YARN 和 ZooKeeper 的正常运行产生影响。因此，在机房搬迁后，仍然需要进行仔细的测试和验证，确保所有组件能够正常通信和工作。

总体而言，如果 IP 地址保持不变，并且在机房搬迁后适当地调整网络配置和路由信息，YARN 和 ZooKeeper 应该能够恢复正常运行。如有需要，请在搬迁过程中密切关注相关日志和错误消息，以及确保所有的配置与新的环境相匹配。

7. 解决方案:

  1. 备份zookeeper后删除zookeeper 中data数据文件version-2 ，重启后重新接入大数据集群恢复正常！

结论：由于本次机房迁移过程中出现数据文件异常所致。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/80063.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Django 用相对路径方式引用自定义模块 或 文件

Django 用相对路径方式引用自定义模块 或 文件

Django的文件夹结构 projectName/websiteName/appName manage.py 所在路径为：D:/projectA/website1/manage.py views.py 所在路径为：D:/projectA/website1/app1/views.py D:/projectA/website1/app1/module1.py 如果要引用自定义模块，引用…
阅读更多...
Python 潮流周刊第 20 期（摘要）

Python 潮流周刊第 20 期（摘要）

你好，我是猫哥。本周刊分享优质的 Python、AI 及通用技术内容，大部分为英文。这里是标题摘要版，查看全文请至☞：https://pythoncat.top/posts/2023-09-16-weekly 本周刊开通 Telegram 频道后，已有 650 小伙伴加入&…
阅读更多...
ROS2-IRON Ubuntu-22.0 源码下载失败解决方法 vcs import --input

ROS2-IRON Ubuntu-22.0 源码下载失败解决方法 vcs import --input

ROS2 一.ROS2 IRON环境搭建1.设置系统字符集为UTF-82.将RO2 apt 库添加到系统中3.添加ROS2 GPG key4.添加ROS 2 的软件源安装开发工具 二.下载ROS2sh源代码编译 一.ROS2 IRON环境搭建 虚拟机系统：Ubuntu22.04 虚拟机：VMware-player-full-16.2.5-2090451…
阅读更多...
身份和访问管理解决方案：混合型IAM

身份和访问管理解决方案：混合型IAM

对于依赖于本地 IT 基础结构和传统安全模型的组织，可以更轻松地验证和授权企业网络内的所有内容，包括设备、用户、应用程序和服务器。尝试从公司网络外部获取访问权限的用户使用虚拟专用网络 （VPN） 和网络访问控制 （NA…
阅读更多...
SQL中IN和EXSIST的区别

SQL中IN和EXSIST的区别

在SQL中，IN 和 EXISTS 是两种不同的条件判断方式，用于检查子查询的结果。 IN：IN 运算符用于在一个给定的列表中匹配一个值。它在主查询中使用，检查被比较的列是否与子查询的结果匹配。 例如： SELECT * FROM 表名 WHER…
阅读更多...
【Spring Boot系列】- Spring Boot侦听器Listener

【Spring Boot系列】- Spring Boot侦听器Listener

【Spring Boot系列】- Spring Boot侦听器Listener 文章目录 【Spring Boot系列】- Spring Boot侦听器Listener一、概述二、监听器Listener分类2.1 监听ServletContext的事件监听器2.2 监听HttpSeesion的事件监听器2.3 监听ServletRequest的事件监听器 三、SpringMVC中的监听器3…
阅读更多...
匿名管道-

匿名管道-

因为父子进程是共享文件描述符的环形队列&#xff0c;只能读一次 会被后面覆盖 /*#include <unistd.h>int pipe(int pipefd[2]);功能&#xff1a;创建一个匿名管道&#xff0c;用于进程间通信参数&#xff1a;int 类型数组 &#xff0c;是传出参数pipefd[0]是管道读端 p…
阅读更多...
Python 1-03 基础语法测试

Python 1-03 基础语法测试

基础语法测试 1、注册 Leetcode 2、学会使用平台 223. 矩形面积 知识点&#xff1a; return, max(), .min() class Solution:def computeArea(self, ax1: int, ay1: int, ax2: int, ay2: int, bx1: int, by1: int, bx2: int, by2: int) -> int:a (ax1 - ax2) * (ay1 - …
阅读更多...
Git多人开发解决冲突案例

Git多人开发解决冲突案例

准备工作&#xff1a; 1.创建一个gitee远程仓库https://gitee.com/xxxxxxx.git 2.初始化两个本地git仓库用户&#xff0c;目的是模拟多人协作开发时提交代码发生冲突的场景 3.解决冲突并提交。 进入正题&#xff1a; lisi 通过vim指令修改readme.md文件内容&#xff0c;推送到…
阅读更多...
Centos8系统中安装docker-compose报错（已解决）

Centos8系统中安装docker-compose报错（已解决）

1.报错内容&#xff1a; ModuleNotFoundError: No module named setuptools_rust Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-jrzp2ukw/bcrypt/2.报错原因&#xff1a; 在CentOS8中安装“加密”程序包时出现问题。当包所需的…
阅读更多...
cv2.calibrateCamera函数

cv2.calibrateCamera函数

ret, mtx, dist, r_vecs, t_vecs cv2.calibrateCamera(obj_points, img_points, size, None, None)这个函数里的obj_points和img_points是同一相机不同视角下20张图片的角点&#xff0c;那这个函数返回的旋转向量r_vecs和位置矢量t_vecs是指什么&#xff0c;因为20张图像&…
阅读更多...
Windows关闭zookeeper、rocketmq日志输出以及修改rocketmq的JVM内存占用大小

Windows关闭zookeeper、rocketmq日志输出以及修改rocketmq的JVM内存占用大小

JDK-1.8zookeeper-3.4.14rocketmq-3.2.6 zookeeper 进入到zookeeper的conf目录 清空配置文件&#xff0c;只保留下面这一行。zookeeper关闭日志输出相对简单。 log4j.rootLoggerOFFrocketmq 进入到rocketmq的conf目录 logback_broker.xml <?xml version"1.0&q…
阅读更多...
基于Matlab实现自动泊车（垂直泊车）

基于Matlab实现自动泊车（垂直泊车）

自动泊车是一项非常有趣和实用的技术&#xff0c;它可以让车辆在没有人为干预的情况下自动停放在合适的位置上。在这篇文章中&#xff0c;我们将介绍如何使用Matlab实现自动泊车。 首先&#xff0c;我们需要了解自动泊车的基本原理。自动泊车系统通常包括车辆、传感器和控制算…
阅读更多...
SpringMVC中的JSR303与拦截器的使用

SpringMVC中的JSR303与拦截器的使用

一&#xff0c;JSR303的概念 JSR303是Java中的一个标准&#xff0c;用于验证和校验JavaBean对象的属性的合法性。它提供了一组用于定义验证规则的注解&#xff0c;如NotNull、Min、Max等。在Spring MVC中&#xff0c;可以使用JSR303注解对请求参数进行校验。 1.2 为什么要使用J…
阅读更多...
RepViT：从ViT视角重新审视移动CNN

RepViT：从ViT视角重新审视移动CNN

文章目录 摘要1、简介2、相关工作3、方法论3.1、初步3.2、Block设计3.3、宏观设计3.4、微观设计3.5、网络架构4、实验4.1、图像分类4.2、目标检测与实例分割4.3、语义分割5、结论A. RepViTs架构一些名词的理解mobile-friendlinessEarly Convolutions摘要 https://arxiv.org/pd…
阅读更多...
7.SpringEL使用正则表达式

7.SpringEL使用正则表达式

SpringEL使用正则表达式 文章目录 SpringEL使用正则表达式介绍Spring EL以注解的形式Spring EL以XML的形式 介绍 Spring Expression Language (SpEL) 中可以使用正则表达式进行模式匹配。以下是一个使用SpEL和正则表达式的案例&#xff1a; 假设我们有一个字符串列表&#xf…
阅读更多...
深度学习-卷积神经网络-纹理表示卷积神经网络-卷积神经网络-[北邮鲁鹏]

深度学习-卷积神经网络-纹理表示卷积神经网络-卷积神经网络-[北邮鲁鹏]

这里写目录标题 参考文章全连接神经网络全连接神经网络的瓶颈全连接神经网络应用场景 卷积神经网络卷积层(CONV)卷积核卷积操作卷积层设计卷积步长(stride)边界填充特征响应图组尺寸计算 激活层池化层(POOL)池化操作定义池化操作作用池化层超参数常见池化操作 全连接层(FC)样本…
阅读更多...
【看好了】如何使用fiddler实现手机抓包，Filters过滤器！

【看好了】如何使用fiddler实现手机抓包，Filters过滤器！

一、Fiddler与其他抓包工具的区别 　1、Firebug虽然可以抓包&#xff0c;但是对于分析http请求的详细信息&#xff0c;不够强大。模拟http请求的功能也不够&#xff0c;且firebug常常是需要“无刷新修改”&#xff0c;如果刷新了页面&#xff0c;所有的修改都不会保存&#xff…
阅读更多...
成绩分析（蓝桥杯）

成绩分析（蓝桥杯）

成绩分析 题目描述 小蓝给学生们组织了一场考试&#xff0c;卷面总分为 100 分&#xff0c;每个学生的得分都是一个 0 到 100 的整数。 请计算这次考试的最高分、最低分和平均分。 输入描述 输入的第一行包含一个整数 n (1≤n≤104 )&#xff0c;表示考试人数。 接下来 n 行…
阅读更多...
数据治理-数据存储和操作-数据处理类型

数据治理-数据存储和操作-数据处理类型

数据库处理有两种基本类型&#xff0c;ACID和BASE,ACID是酸的意思&#xff0c;而BASE有碱的含义&#xff0c;是对立的两端。CAP定理用于界定分布式系统与ACID(强调一致性C)还是BASE(强调可用性)更加接近。 ACID 原子性&#xff1a;所有操作要么都完成&#xff0c;要么一个也不…
阅读更多...
最新文章

Copyright @ 2022~2023