Apache Dolphinscheduler - 无需重启 Master-Server 停止疯狂刷日志解决方案

记录的是一个 3.0 比较难搞的问题，相信不少使用过 3.0 的用户都遇到过 Master 服务中存在一些工作流或者任务流一直不停的死循环的问题，导致疯狂刷日志。不过本人到现在也没找到最关键的触发原因，只是看到一些连锁反应带来的结果……

影响因素

CPU飙高：每个工作流的运行在 Master 中都是一个线程，当这个线程一直没有结束时，是会占用CPU资源的，当服务中存在大量的线程死循环时，可想而知，服务器的资源压力有多大。

磁盘打满：循环的线程内存在日志打印，当大量的线程无时无刻在打印日志时，日志文件会迅速堆积，磁盘的大小是固定的，当磁盘使用率超过一定的阀值时，其他的程序也会因为磁盘可用空间不足而受影响。有些人设置了 Logback 等日志框架配置，限定了日志文件的总大小，但是这样也会引发日志快速覆盖问题，无法找到可用的日志。

数据库压力：每个循环里面都有相关的数据库查询操作，大量的查询会造成数据库压力短期内迅速增大，如果数据库性能不能很好的话，可能数据库就会先挂了。

异常分类

工作流异常：经过排查，大概率发现工作流 state = 4 状态的实例会刷日志

任务流异常：经过排查，大概率发现任务流 state = 6 状态的实例会刷日志

状态枚举异常：工作流、任务流一些异常状态会集中到一个异常状态集合里，监听该异常状态集合时，导致会刷日志

以上 3 种情况也分别对应代码里 3 个关键实体类：ProcessInstanceExecCacheManagerImpl、StreamTaskInstanceExecCacheManagerImpl、StateEventHandlerManager

我们见名知意可知，这 3 个实体类分别对应以上 3 种异常分类，而且都属于 Java 缓存级别管理类！

解决思路

基本的 master 服务处理工作流的一个事件流程，工作流的线程类（WorkflowExecuteRunnable）被放到缓存中，缓存的 key 是工作流实例的 ID，同时每一个工作流都有对应的事件，事件中存储工作流实例的 ID，每次执行事件时都会从缓存中获取线程类，当线程类执行失败时便重新创建一个事件加入事件队列中执行，依次往复，除非缓存中的数据被清除了，才会结束循环。具体流程如下图

  1. 清空异常的工作流或任务流实例（数据库），否则重启又会重新读取问题流实例数据，又开始刷……
  2. 清空以上相关的 Java 缓存（重点看异常分类的 3 个关键类），这一步是关键不重启也可解决刷日志问题，否则需要重启来替代清空缓存的操作（不优雅）

具体操作

1、进入 Master-Server 的日志目录

2、通过 grep 筛选日志中存在的问题流实例 ID（工作流实例、任务流实例）

# 工作流实例
cat dolphinscheduler-master.log |grep "ERROR" | awk -F 'WorkflowInstance-' '{print $2}'
| awk -F']' '{print $1}' | sort | uniq# 任务流实例
cat dolphinscheduler-master.log |grep "ERROR" | awk -F 'TaskInstance-' '{print $2}'
| awk -F']' '{print $1}' | sort | uniq

Tips：这里有一点要注意，如果筛选出来有『0』的实例ID，这个经排查并没用，猜测属于系统默认ID（无视即可），而且发现规律：在日志中，如果 A 或 B 等于 0 或都等于 0，其实只要关心有正常业务值实例ID一方即可，意味着每次业务主要问题是由他（工作流实例或任务流实例）引起，如果都有正常值，那么属于任务流实例问题引起

……[WorkflowInstance-A][TaskInstance-B]……

3、分别在 Api-Server 和 Master-Server 搭建 Arthas 框架，将筛选出来的实例 ID 替换 OGNL 调用函数参数

  • Arthas 快速入门见文档：快速入门 | arthas

4、删除工作流实例、任务流实例数据库数据（Api-Server 执行）

ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("processServiceImpl").deleteWorkProcessInstanceById("工作流实例ID")'
ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("processServiceImpl").deleteAllSubWorkProcessByParentId("工作流实例ID")'
ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("processServiceImpl").deleteWorkProcessMapByParentId("工作流实例ID")'
ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("processServiceImpl").deleteWorkTaskInstanceByProcessInstanceId("工作流实例ID")'

如果不想清空数据库实例，我们刚讲过主要也是因为 state = 4 引起的问题，可以通过改工作流数据库状态也是可以的

UPDATE t_ds_process_instance SET state = 5 WHERE state = 4 AND id = 工作流实例ID;

5、清空 Java 缓存（Master-Server 执行）

# 工作流实例缓存
ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("processInstanceExecCacheManagerImpl").removeByProcessInstanceId("工作流实例ID")'# 任务流实例缓存
ognl  '@org.apache.dolphinscheduler.service.bean.SpringApplicationContext@applicationContext.getBean("streamTaskInstanceExecCacheManagerImpl").removeByTaskInstanceId("任务流实例ID")'# 异常枚举缓存
ognl  '@org.apache.dolphinscheduler.server.master.event.StateEventHandlerManager@stateEventHandlerMap.clear()'

Tips：最后一步因为一刀切可能会误伤正常业务状态，所以最好等到只剩这些异常业务的时候再执行，也可进一步做一些定位异常业务的工作流实例ID进行精准清空（后续更新……）

附加

  • ​​​​​​Arthas - Can not read arthas version from: https://arthas.aliyun.com/api/latest_version
  • Arthas - Unable to open socket file: target process not responding or HotSpot VM not loaded

  • 近期在跟社区的沟通中，3.1.9 和 3.2.0 版本都有涉及过该 BUG 的代码修复，使得该问题已经得到解决，感兴趣可以了解最新版本

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/754705.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

统计-R(相关系数)与R^2(决定系数)

统计-R(相关系数)与R^2(决定系数)

1.相关系数（R） 定义：考察两个事物（在数据里我们称之为变量）之间的相关程度。 假设有两个变量X，Y，那么两个变量间的皮尔逊相关系数可通过以下公式计算： 公式一： 其中…
阅读更多...
CCF-CSP认证考试 202305-1 重复局面 100分题解

CCF-CSP认证考试 202305-1 重复局面 100分题解

更多 CSP 认证考试题目题解可以前往：CSP-CCF 认证考试真题题解 原题链接： 202305-1 重复局面 时间限制： 1.0s 内存限制： 512.0MB 题目背景 国际象棋在对局时，同一局面连续或间断出现3次或3次以上，可由任…
阅读更多...
缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题

缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题

一、缓存雪崩 简单理解：由于原有缓存失效，新缓存未到期间 (例如：设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成…
阅读更多...
File文件对象

File文件对象

在计算机系统中，文件是非常重要的存储方式。Files（java.nio.file.Files）提供了多种方法来处理文件系统中的文件。比直接使用File文件要方便。 Files工具类:读取指定文件中的所有文本 package study1;import java.io.IOException; import ja…
阅读更多...
trpc-go 博客系统

trpc-go 博客系统

trpc-go 博客系统 使用go语言构建的全栈项目，充分利用了go的简洁性、高性能和并发处理能力。 系统采用了trpc-go框架和北极星进行分布式开发，展示了如何基于腾讯开源技术栈构建微服务架构，实现高效的服务通信和管理。 https://github.com/…
阅读更多...
项目管理系统私有化部署解决方案！找企智汇软件！

项目管理系统私有化部署解决方案！找企智汇软件！

企智汇项目管理软系统是一款支持私有化部署的项目管理系统，适合大型、中型、小型企业的不同需求。企智汇软件是一个专业的项目全周期管理平台，拥有10年的项目管理经验，以项目为中心，通过计划控制进度，预算控制成本&…
阅读更多...
HTML5语义化元素

HTML5语义化元素

在HTML5之前，网站的分布层级有哪些呢？ nav，header，main，footer 这样做有一个弊端 我们往往过多的使用div，通过ID或class来区分元素 对于浏览器来说这些元素不够语义化 对于我来说搜索引擎来说，不…
阅读更多...
云原生部署手册01：构建k8s集群并配置持久化存储

云原生部署手册01：构建k8s集群并配置持久化存储

写在前面：k8s弃用docker的影响其实没那么大 k8s通过dockershim对docker的支持从1.20版本后就已经移除，仅支持符合Container Runtime Interface(CRI)的容器运行环境，比如containerd。containerd本身就是docker底层的容器运行环境，…
阅读更多...
海康威视相机SDK二次开发（JAVA语言）

海康威视相机SDK二次开发（JAVA语言）

目录 前言客户端创建虚拟相机示例代码保存图片程序运行结果修改需求 二次开发引入外部包对SaveImage.java文件进行修改保存图片saveDataToFile方法选择相机chooseCamera方法主方法 FileUtil类处理过期照片启动类与配置文件application.yml通过实体类读取yml启动类 SaveImage.ja…
阅读更多...
供应链投毒预警 | 开源供应链投毒202402月报发布啦

供应链投毒预警 | 开源供应链投毒202402月报发布啦

概述 悬镜供应链安全情报中心通过持续监测全网主流开源软件仓库，结合程序动静态分析方式对潜在风险的开源组件包进行动态跟踪和捕获，发现大量的开源组件恶意包投毒攻击事件。在2024年2月份，悬镜供应链安全情报中心在NPM官方仓库（…
阅读更多...
Linux uucico命令教程：UUCP文件传输服务程序(附实例详解和注意事项)

Linux uucico命令教程：UUCP文件传输服务程序(附实例详解和注意事项)

Linux uucico命令介绍 uucico，全称UUCP文件传输服务程序，是用来处理uucp或uux送到队列的文件传输工具。uucico有两种工作模式：主动模式和附属模式。当在主动模式下时，uucico会调用远端主机；在附属模式下时&#xff0c…
阅读更多...
快速搭建一个一元二次方程flask应用

快速搭建一个一元二次方程flask应用

新建flask_service目录、templates子目录 flask_service —— app.py —— templates —— —— index.html app.py from flask import Flask, request, jsonify, render_template import random import matplotlib.pyplot as plt from io import BytesIO import base64app F…
阅读更多...
分布式 Session--一起学习吧之架构

分布式 Session--一起学习吧之架构

一、定义 分布式Session是指在一个分布式系统中，多个服务器之间共享用户的会话信息。在Web应用中，Session通常用于跟踪用户的状态和会话数据。然而，在分布式系统中，由于用户请求可能被分发到不同的服务器上，因此需要一…
阅读更多...
jenkins Pipeline接入mysql

jenkins Pipeline接入mysql

背景： jenkin pipeline进化过程如下： Jenkins Pipeline 脚本优化实践：从繁琐到简洁 >>>>> Jenkins Pipeline脚本优化：为Kubernetes应用部署增加状态检测>>>>>> 使用Jenkins和单个模板部署多个K…
阅读更多...
BootScrap详细教程

BootScrap详细教程

文章目录 前言一、BootScrap入门二、导航三、栅格系统四、container五、面板六、媒体对象七、分页八、图标九、实现动态效果 前言 BootScrap是别人帮我们写好的CSS样式。如果想要使用BootScrap，需要先下载下来，在页面上引入，编写HTML需要按照…
阅读更多...
Ubuntu 23.10 tar包安装和配置Elasticsearch kibana 7.13.3

Ubuntu 23.10 tar包安装和配置Elasticsearch kibana 7.13.3

目录 一、环境说明 二、准备工作 三、安装elasticsearch 3.1 安装elasticsearch 3.2 添加服务和设置开机启动 四、安装kibana 4.1. 安装kibana 4.2 添加服务和设置开机启动 出于工作需要，需要在Ubuntu 23.10系统上通过tar包方式安…
阅读更多...
QT 商品入库与出库（库存管理系统）

QT 商品入库与出库（库存管理系统）

商品入库 void GoodsWarehousing::InitComboBoxFunc() // 初始化Combo box控件 {int i0;QSqlQuery sqlQuery;sqlQuery.exec("SELECT * FROM commoditydatatable");QString StrId;while(sqlQuery.next()){StrIdsqlQuery.value(0).toString();ui->comboBox_Id->…
阅读更多...
华岳M9制造企业管理软件业务流程 1/4

华岳M9制造企业管理软件业务流程 1/4

华岳M9制造企业管理软件业务流程 1/4 版本特征主控概念步骤1 部署一、服务器端二、客户端 步骤2 基础一、填写授权信息及操作权限分配二、设置业务期间三、账套参数设置四、设置分类目录五、其他基础设置六、功能模块管理 华岳M9制造企业管理软件业务流程，贯彻存货总…
阅读更多...
Android 开发环境搭建(Android Studio 安装图文详细教程)

Android 开发环境搭建(Android Studio 安装图文详细教程)

Android Studio 下载 https://developer.android.google.cn/studio?hlzh-cn Android Studio 安装 检查电脑是否启用虚拟化 如果没有开启虚拟化，则需要进入电脑的 BIOS 中开启 直接 next选择安装的组件，Android Studio 和 Android 虚拟设备&#xff…
阅读更多...
（学习日记）2024.03.18：UCOSIII第二十节：移植到STM32

（学习日记）2024.03.18：UCOSIII第二十节：移植到STM32

写在前面： 由于时间的不足与学习的碎片化，写博客变得有些奢侈。 但是对于记录学习（忘了以后能快速复习）的渴望一天天变得强烈。 既然如此 不如以天为单位，以时间为顺序，仅仅将博客当做一个知识学习的目录&a…
阅读更多...
最新文章

Copyright @ 2022~2023