MySQL 通过 systemd 启动时 hang 住了……

mysqld：哥，我起不来了……

作者：贲绍华，爱可生研发中心工程师，负责项目的需求与维护工作。其他身份：柯基铲屎官。

爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

本文约 2100 字，预计阅读需要 7 分钟。

引言

正如题目所述，在自动化测试场景下，通过 systemd 无法启动 MySQL。

连续 kill -9 结束实例进程，检测 mysqld 在退出后是否会被正确拉起。

具体信息如下：

  1. 主机信息：CentOS 8（Docker 容器）
  2. 使用 systemd 的方式管理 mysqld 进程
  3. systemd service 的运行模式为：forking
  4. 启动命令如下：
# systemd 启动命令
sudo -S systemctl start mysqld_11690.service# systemd service 内的 ExecStart 启动命令
/opt/mysql/base/8.0.34/bin/mysqld --defaults-file=/opt/mysql/etc/11690/my.cnf --daemonize --pid-file=/opt/mysql/data/11690/mysqld.pid --user=actiontech-mysql --socket=/opt/mysql/data/11690/mysqld.sock --port=11690

现象描述

启动命令持续 hang 住，既不成功，也无任何返回，尝试几次后均无法手动复现该场景。

下图为复现场景，service 端口号不一致请忽略。

MySQL 错误日志无任何信息。查看 systemd service 状态，发现启动脚本中由于缺少参数 MAIN PID，执行失败。

systemd 最后输出的信息为：New main PID 31036 does not exist or is a zombie

原因总结

systemd 启动 mysqld 的过程中，会先根据 service 模板中的配置，执行：

  1. ExecStart（启动 mysqld）
  2. mysqld 启动创建 pid 文件
  3. ExecStartPost（自定义的一些后置脚本：调整权限、将 pid 写入 cgroup 等）

在 步骤 2-3 的中间态，也就是 pid 文件刚创建出来时，主机上接收到了自动化测试下发的命令：sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。

由于这个 pid 文件和 pid 进程确实存在（如果不存在 kill 命令或 cat 会报错），自动化的 CASE 认为 kill 操作已成功结束。但由于 mysqld.pid 这个文件是由 MySQL 自身维护的，在 systemd 的视角中，还需要继续等待 步骤 3 完成，才认为启动成功。

在 systemd 使用 forking 模式时，会根据子进程的 PID 值判断服务是否成功启动。

如果子进程成功启动，并且没有发生意外退出，则 systemd 会认为服务已启动，并将子进程的 PID 作为 MAIN PID。

而如果子进程启动失败或意外退出，则 systemd 会认为服务未能成功启动。

结论

在执行 ExecStartPost 时，由于子进程 ID 31036 已经被 kill 掉，后置 shell 缺少了启动参数，但 ExecStart 步骤已完成，导致 MAIN PID 31036 成为了只存在于 systemd 里的 僵尸进程。

排查过程

当遇到这个问题时是有点懵的，简单检查了一下内存、磁盘基本信息。符合预期并没有出现资源不足的情况。

先从 MySQL 的 Error Log 看看有什么发现。查看结果如下：

...无关内容省略...
2024-02-05T05:08:42.538326+08:00 0 [Warning] [MY-010539] [Repl] Recovery from source pos 3943309 and file mysql-bin.000001 for channel ''. Previous relay log pos and relay log file had been set to 4, /opt/mysql/log/relaylog/11690/mysql-relay.000004 respectively.
2024-02-05T05:08:42.548513+08:00 0 [System] [MY-010931] [Server] /opt/mysql/base/8.0.34/bin/mysqld: ready for connections. Version: '8.0.34'  socket: '/opt/mysql/data/11690/mysqld.sock'  port: 11690  MySQL Community Server - GPL.
2024-02-05T05:08:42.548633+08:00 0 [System] [MY-013292] [Server] Admin interface ready for connections, address: '127.0.0.1'  port: 6114
2024-02-05T05:08:42.548620+08:00 5 [Note] [MY-010051] [Server] Event Scheduler: scheduler thread started with id 5

通过观察 Error Log 发现并无任何有用信息，因为启动的时间点之后无任何日志信息输出。

查看 systemctl status 确认服务当前状态：

下图为正常情况下的 status 信息：

通过对比后，整理两条有用信息：

  1. 后置 shell 由于缺少 -p 参数导致执行失败（-p 参数为 MAIN PID，也就是 fork 子进程启动后的 PID）。
  2. systemd 无法获取 PID 31036，不存在或者为僵尸进程。

先来检查进程 ID 与 mysqld.pid 看看：

确认线索：

  1. PID 31036 不存在
  2. mysqld.pid 文件存在，且文件内容为 31036
  3. top 命令查看不存在僵尸进程

还需要获取更多的线索来确认原因，检查 journalctl -u 内容，看看是否有帮助：

sh-4.4# journalctl -u mysqld_11690.service
-- Logs begin at Mon 2024-02-05 04:00:35 CST, end at Mon 2024-02-05 17:08:01 CST. --
Feb 05 05:07:54 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:07:56 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:31 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:32 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:36 udp-11 systemd[1]: Started MySQL Server.
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Main process exited, code=killed, status=9/KILL
Feb 05 05:08:37 udp-11 systemd[1]: mysqld_11690.service: Failed with result 'signal'.
Feb 05 05:08:39 udp-11 systemd[1]: Starting MySQL Server...
Feb 05 05:08:42 udp-11 u_set_iops.sh[31507]: /etc/systemd/system/mysqld_11690.service.d/u_set_iops.sh: option requires an argument -- p
Feb 05 05:08:42 udp-11 systemd[1]: mysqld_11690.service: New main PID 31036 does not exist or is a zombie.

这里的 journalctl -u 内容也只描述了现象，无法分析具体原因，与 systemctl status 的内容相差不多，帮助不大。

查看 /var/log/messages 系统日志内容：

发现循环报出了一些内存方面的错误信息，通过搜索后发现该错误可能为硬件问题。询问了自动化测试的同事后，得到结论：

  1. 场景为偶发问题，执行 4 次用例，2 次成功，2 次失败
  2. 每次执行均为同一台宿主机，同一份容器镜像
  3. 失败时 hang 住的容器为同一个

既然有成功执行的结果，这里就先忽略硬件问题导致的。

既然提到了容器，此时想到了 cgroup 会不会映射宿主机的时候出现了问题？在上边排查的 systemctl status 中，观察可知 cgroup 映射的宿主机目录为：CGroup: /docker/3a72b2cdc7bd9beb1c7b2abec24763046604602a38f0fcb7406d17f5d33353d2/system.slice/mysqld_11690.service

检查父级文件夹 system.slice 的读写权限并无异常。先暂时排除 cgroup 的映射问题（因为主机上还有其他 systemd 接管的 service 也在使用同一份 cgroup）。

打算试试 pstack 能不能看到 systemd 具体 hang 在了哪个地方，3048143 为 systemctl start 的 pid：

sh-4.4# pstack 3048143
#0  0x00007fdfaef33ade in ppoll () from /lib64/libc.so.6
#1  0x00007fdfaf7768ee in bus_poll () from /usr/lib/systemd/libsystemd-shared-239.so
#2  0x00007fdfaf6a8f3d in bus_wait_for_jobs () from /usr/lib/systemd/libsystemd-shared-239.so
#3  0x000055b4c2d59b2e in start_unit ()
#4  0x00007fdfaf7457e3 in dispatch_verb () from /usr/lib/systemd/libsystemd-shared-239.so
#5  0x000055b4c2d4c2b4 in main ()

观察发现 start_unit 比较可疑，start_unit() 函数位于可执行文件中，它用于启动 systemd units，并没有什么帮助。

根据已有线索，推测后可知：

  1. mysqld.pid 文件存在，则表示之前确实有一个 mysqld 且进程号为 31036 的进程被启动了
  2. 进程启动后被自动化用例 kill -9 结束掉
  3. systemd 获取到了一个已经被结束的 MAIN PID，后置 shell 执行失败，fork 流程失败

通过梳理 systemd 启动流程的步骤，推测可能性。MySQL 实例只有在 mysqld 成功启动后才会生成 mysqld.pid 文件，所以可能是在后续步骤里被意外 kill -9 结束掉导致的。

复现方式

既然没什么其他头绪和线索了，打算根据推测结论尝试复现一下试试。

4.1 调整 systemd mysql serivce 模板

编辑模板文件 /etc/systemd/system/mysqld_11690.service，在 mysqld 启动后，sleep10 秒，方便在这时间窗口内模拟kill掉实例进程的场景。

4.2 配置重载

执行 systemctl daemon-reload 令变更生效。

4.3 场景重现

  1. [ssh seesion A] 首先准备一个新的容器，做好相关配置后执行 sudo -S systemctl start mysqld_11690.service 启动一个 mysqld 进程，此时会因为 sleep 的原因 hang 住会话。
  2. [ssh seesion B] 在另一个会话窗口，start 命令 hang 住时，检查 mysqld.pid 文件，一旦文件被创建后，立刻执行 sudo -S kill -9 $(cat /opt/mysql/data/11690/mysqld.pid)。
  3. 此时观察 systemctl status，表现与预期一致

解决方式

先 kill 掉 hang 住的 systemctl start 命令，执行 systemctl stop mysqld_11690.service，这可以让 systemd 主动结束僵尸进程，虽然 stop 命令可能会报错但这并不影响。

等待 stop 执行完成后再次使用 start 命令启动，恢复正常。

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。

SQLE 获取

类型地址
版本库https://github.com/actiontech/sqle
文档https://actiontech.github.io/sqle-docs/
发布信息https://github.com/actiontech/sqle/releases
数据审核插件开发文档https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/11635.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

佛山市组织开展2024年全市抗震救灾应急演练并召开相关部署会

佛山市组织开展2024年全市抗震救灾应急演练并召开相关部署会

为深入贯彻落实关于防灾减灾救灾重要论述精神和国家、省、市决策部署,提高佛山市应对地震灾害的抢险救灾实战能力,构建切实可行、快速反应、科学处置的抗震救灾应急救援工作体系,结合第16个全国防灾减灾日宣传主题,5月11日上午,佛山市组织开展2024年全市抗震救灾应急演练并召开…
阅读更多...
计算机网络 3.3OSI参考模型

计算机网络 3.3OSI参考模型

第三节 OSI参考模型 一、认识OSI/RM 1.描述：定义了一个连接异种计算机的标准主体结构，给网络设计者提供了一个参考规范。 2.组织：国际标准化组织. 3.发展：1979年研究并提出了该国际标准。 4.分层原则： ①层次的划…
阅读更多...
d17(154-168)-勇敢开始Java，咖啡拯救人生

d17(154-168)-勇敢开始Java，咖啡拯救人生

目录 方法递归 字符集 编码-解码 IO流 字节流 字节输入流 InputSream FileInputStream 字节输出流 OutputSream FileOutputSream 释放资源的方式 try-catch-finallly try-with-resource 字符流 字符输入流 Reader FileReader 文件字符输出流 Writer FileWriter …
阅读更多...
达梦数据库 报错 数据类型不匹配

达梦数据库 报错 数据类型不匹配

达梦数据库 报错 数据类型不匹配 背景描述问题分析问题处理方案1：方案2：TO_CHAR(str)CAST(value AS type)CONVERT(type,value)DBMS_LOB 包TEXT_EQUAL(n1,n2) 写在最后 背景描述 本文写于初接触到达梦(DM)数据库，之前没有用过，因此…
阅读更多...
电脑快速搜索文件及文件夹软件——Everything

电脑快速搜索文件及文件夹软件——Everything

一、前言 Everything是一款由voidtools开发的文件搜索工具，主要运行于Windows操作系统上。它的主要功能是快速、高效地搜索电脑上的文件和文件夹名称。Everything通过利用NTFS文件系统的MFT（主文件表）来索引文件，从而实现几乎实时…
阅读更多...
基于SpringBoot + MySQL的宠物医院管理系统设计与实现+毕业论文+指导搭建视频

基于SpringBoot + MySQL的宠物医院管理系统设计与实现+毕业论文+指导搭建视频

系统介绍 项目的使用者可以避免排队挂号，比较方便，也方便于宠物医院的管理。现在的宠物本系统根据华阳社区宠物医院管理工作流程将系统使用者划分为三类，分别为、宠物医生、宠物主人以及系统管理人员，以下是对该三类类用户的具体…
阅读更多...
Jmeter内存溢出原因及解决办法

Jmeter内存溢出原因及解决办法

现在越来越多的小伙伴在压力测试过程中选择使用Jmeter，原因是这个工具开源且小巧，而且还支持二次开发。 但是事情都有两面性，利弊共存啊，对比商业软件Loadrunner，Jmeter在高并发，特别是大型项目的高并发&a…
阅读更多...
浏览器执行渲染原理

浏览器执行渲染原理

一、事件循环 事件循环（Event Loop）是JavaScript的执行环境的核心概念之一，它负责处理JavaScript中的异步操作和执行顺序。事件循环使得JavaScript能够在单线程上有效地处理并发，同时保持编程模型的简单性。 以下是事件循环的一…
阅读更多...
使用Eigen将经纬度、高程、偏北角转成变换矩阵

使用Eigen将经纬度、高程、偏北角转成变换矩阵

目录 1、前言 2、示例 3、代码解析 4、垂直于给定点的切平面变换 5、代码解析 1、前言 在地球表面进行刚体变换时候，要将具有经纬度、高程和偏北角的坐标信息转换为变换矩阵表达，首先需要了解坐标系之间的转换关系。 通常，我们会将经纬…
阅读更多...
AI2024(64bit) Adobe Illustrator 软件安装包下载

AI2024(64bit) Adobe Illustrator 软件安装包下载

AI2024(64bit) Adobe Illustrator 软件安装包下载地址： 百度网盘下载https://pan.baidu.com/s/1C10-2JVN1rxFF5VFRuV2Yw?pwdSIMS 在创意设计的浩瀚宇宙中，Adobe Illustrator 2024如同一颗璀璨新星，以其无与伦比的创新功能和优化体验&#x…
阅读更多...
快团团新人怎么找供货团长？免费教程一学就会！

快团团新人怎么找供货团长？免费教程一学就会！

作为快团团的新手，想要寻找供货团长，可以按照以下步骤进行： 打开微信：首先，在您的手机上打开微信应用。 搜索快团团：在微信顶部的搜索框中输入“团长运营之家”，选择出现的“团长运营之家”公号…
阅读更多...
搭建网站式个人网盘-超仿Windows界面

搭建网站式个人网盘-超仿Windows界面

搭建网站式个人网盘-超仿Windows界面 效果图部分源码领取源码下期更新预报 效果图 一款网站式个人网盘源码-Windows界面相等于一个网站式电脑可以放照片，视频-支持在线播放（你懂的）我觉得式一款很不错的个人网盘提醒：千万不要升级…
阅读更多...
【STM32HAL库】DAC输出0-3.3v

【STM32HAL库】DAC输出0-3.3v

一、简要介绍一下DAC DAC也有分辨率，转换时间，精度等 分辨率常见为8或12位的 转换时间F1，F4,F7都是3us左右，而H7系列是1.7us 1.DAC框图 2.数据格式（对齐方式） 3.触发源 4.可以发送DMA请求 注意&#xff…
阅读更多...
【知识碎片】2024_05_13

【知识碎片】2024_05_13

本文记录了两道代码题【自除数】和【除自身以外数组的乘积】（利用了前缀积和后缀积，值得再看），第二部分记录了关于指针数组和逗号表达式的两道选择题。 每日代码 自除数 . - 力扣（LeetCode） /*** Note: T…
阅读更多...
类与对象（二）

类与对象（二）

封装 封装作为面向对象三大特性（封装，继承，多态）之一，那如何实现封装性的呢？就又得拿出上面的访问修饰限定符的图 public: 就是在任何地方都可以访问 protected: 涉及子类在介绍继承时详细介绍 default: …
阅读更多...
分类预测 | Matlab实现DBO-CNN-SVM蜣螂算法优化卷积神经网络结合支持向量机多特征分类预测

分类预测 | Matlab实现DBO-CNN-SVM蜣螂算法优化卷积神经网络结合支持向量机多特征分类预测

分类预测 | Matlab实现DBO-CNN-SVM蜣螂算法优化卷积神经网络结合支持向量机多特征分类预测 目录 分类预测 | Matlab实现DBO-CNN-SVM蜣螂算法优化卷积神经网络结合支持向量机多特征分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现DBO-CNN-SVM蜣螂算法…
阅读更多...
APP反抓包 - 客户端证书验证进阶（代码混淆）

APP反抓包 - 客户端证书验证进阶（代码混淆）

1.关于混淆 在安卓开发中，对于第三方的包是可以进行混淆的，例如：OKHttp3.Http.Cert.check 被混淆后可以是a.f.c.b 形式。在安卓开发中，系统包是无法混淆的，例如：java.security.KeyStore不会被混淆。由于这种的情况的存在，再次审示我们之前的通用脚本，就会发现他是不通用…
阅读更多...
计算机Java项目｜Springboot房产销售系统

计算机Java项目｜Springboot房产销售系统

作者主页：编程指南针 作者简介：Java领域优质创作者、CSDN博客专家 、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师 主要内容：Java项目、Python项目、前端项目、人工智能与大数据、简…
阅读更多...
mybatis-plus（2）

mybatis-plus（2）

上文我们介绍完mybatis-plus的常用注解，现在介绍 mp的基础的yaml配置 mybatis-plus:type-aliases-package: #该位置写 数据库对应实体类的全路径global-config:db-config:id-type: auto # 全局id类型为自增长 mp同时也是支持手写sql，而且mapper的读取地…
阅读更多...
如何用 OceanBase做业务开发——【DBA从入门到实践】第六期

如何用 OceanBase做业务开发——【DBA从入门到实践】第六期

当应用一款新的数据库时，除了基础的安装部署步骤，掌握其应用开发方法才是实现数据库价值的关键。为此，我们特别安排了5月15日（周三）的《DBA 从入门到实践》第六期课程——本次课程将带大家了解OceanBase数据库的开发流…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023