记一次线上数据库连接超时异常问题

最近其他团队的开发人员告知我,我们项目有个feign接口调用失败了。我查看日志发现,其原因是尝试数据库连接超时,30秒内都没有连接成功。
我首先判断可能是网络不稳定,在一定时间内连接不上数据库。我登录到服务器环境看,尝试用命令行连接数据库,结果很快库连接上了,并没有命令行等待很久才有反应。后面再尝试使用ping命令测试网络,发现网络延迟很低。根据这些东西,我判断不太可能会有30秒都连接失败。
接下来我继续查看前一天的日志,发现了一个有意思的现象,这几天都是同一时间段发生了大量的database connect timeout 现象。以我对这项目的了解度,我马上就想到了这段时间有一两个定时任务,这两个定时任务都是多线程任务,并且有量的查询和写入数据,但之前都是20分钟左右跑完数据,一般会在这此事故发生段之前就执行完。看下xxl-job的执行日志,确实是在我预先的时间就开始跑任务,但是服务应用的日志却又发现在事故发生时还有定时任务在处理中,并且也都失败了,还进行了事务回滚。
大致可以判断是因为获取数据库连接的请求太多了,导致数据库连接超时。接下来我用sql脚本show GLOBAL VARIABLES like '%connect%'查看了下,数据库的最大总连接数、单用户最大连接数,结果如下图所示,八千多的连接上限,我想我的项目实时的连接数还不至于这么大。
在这里插入图片描述
不是数据库服务端的问题,就可能是数据库客户端的问题,所以我就只能去我的项目应用中去排查问题。根据应用错误日志,很快排定位到是com.zaxxer.hikari.pool.HikariPool#getConnection(long)方法的代码片段throw createTimeoutException(startTime);抛出的超时异常。在这里插入图片描述
可以推测PoolEntry poolEntry = connectionBag.borrow(timeout, MILLISECONDS);这行代码应该是没获取到数据库连接,poolEntrynull,也就是说没有从连接池mysql connection .
com.zaxxer.hikari.util.ConcurrentBag#borrow方法的主要逻辑是:
先尝试在线程独占变量threadList中获取未被使用的mysql connection (速度快),若失败则从多线程共享变量sharedList获取connection(速度慢),若在失败就到同步队列handoff中阻塞超时等待(速度最慢)。

在这里插入图片描述
可以看出这里没有真正去创建数据库连接,只是在从变量、队列中去取出连接,此方法只是到连接池中去拿连接、不创连接。根据方法来看,如果连接池中的对象一直都在被使用中,就只能在同步队列handoff上阻塞等待,直到触及其超时时间线,返回一个null给调用方。事实上也确实如此,定时任务持有大量的mysql connection,并在一段时间内没有释放,最终导致无法从连接池获取有效的连接,实际上真正的连接Driver.connect并未超时。
找到了事故原因,那么解决起来就比较容易了,大致有连个方向:1、增加连接池超时时间,2、增加连接池的连接数。
其实方案一,不太可靠,因为我们不知道到那些定时任务要多久才能完成业务逻辑、并释放数据库连接,并且如果一直等待连接池也会导致http接口超时。所以增加连接池的链接数是个可行的方案。我初步将连接池的最小空闲数定为32,最大连接数定位64。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/846763.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第五周) - Transformer

Transformer 1. 注意力机制 在语言建模中,注意力(attention)是一个关键机制,用于在给定上下文中访问相关信息以进行预测。注意力机制允许模型根据输入上下文中的重要信息来加权关注不同的部分,并根据其重要性来决定对不同部分的关注程度。 …

Android基础-UI布局

在Android开发中,UI布局是构建用户界面(User Interface)的基础。不同的布局方式可以适应不同的界面需求,实现多样化的界面效果。下面将详细阐述Android中几种常见的UI布局方式,包括它们的功能、优势和劣势,…

【工具】探索 MOU:每用户通话时长

缘分让我们相遇乱世以外 命运却要我们危难中相爱 也许未来遥远在光年之外 我愿守候未知里为你等待 我没想到为了你我能疯狂到 山崩海啸没有你根本不想逃 我的大脑为了你已经疯狂到 脉搏心跳没有你根本不重要 🎵 邓紫棋《光年之外》 什么是 MOU…

discuz点微同城源码34.7+全套插件+小程序前端

discuz点微同城源码34.7全套插件小程序前后端 模板挺好看的 带全套插件 自己耐心点配置一下插件 可以H5可以小程序

深入理解Linux网络总结

1、内核如何接收网络包 1.1 RingBuffer到底是什么,RingBuffer为什么会丢包? 问:RingBuffer到底存在那一块,是如何被使用到的,真的就只是一个环形队列吗?RingBuffer内存是预先分配好的,还是随着…

YOLOv1深入解析与实战:目标检测算法原理

参考: https://zhuanlan.zhihu.com/p/667046384 https://blog.csdn.net/weixin_41424926/article/details/105383064 https://arxiv.org/pdf/1506.02640 1. 算法介绍 学习目标检测算法,yolov1是必看内容,不同于生成模型,没有特别…

C语言习题~day27

1.关于下面代码描述不正确的是: void GetMemory(char *p) {p (char *)malloc(100); } void Test(void) {char *str NULL;GetMemory(str);strcpy(str, "hello world");printf(str); } A.上面代码没问题 B.上面代码存在内存泄露 C.上面代码可能会崩溃…

Spring (35)OAuth2

OAuth 2.0 是一个开放标准,它允许用户授权第三方应用访问自己在某一网站上的私密资源(如个人信息、相册),而无需将用户名和密码提供给第三方应用。OAuth 2.0 主要用于授权(Authorization),而非认…

ECMAScript 详解:深入探索JavaScript的核心规范

在Web开发的世界里,JavaScript无疑是最为璀璨的明星之一,它赋予了网页动态交互的能力,让互联网变得更加生动有趣。而JavaScript的标准化规范——ECMAScript,则是这一切奇迹背后的基石。本文将深入探讨ECMAScript的基本概念、发展历…

CSAPP Lab07——Malloc Lab完成思路

完整代码见:CSAPP/malloclab-handout at main SnowLegend-star/CSAPP (github.com) Malloc Lab 按照惯例,我先是上来就把mm.c编译了一番,结果产生如下报错。搜索过后看样子应该是编译器的版本不匹配,得建立条软链接。 经过多番…

【TB作品】msp430g2553,读取SHT31,读取gy-30,显示到lcd12864,温度湿度光强

功能 msp430g2553,读取SHT31,读取gy-30,显示到lcd12864 硬件 /* 12864液晶串行显示测试程序P1.4模拟SID(接第5脚),P1.5模拟SCLK(接第6脚)4脚(CS信号)接高…

【数据结构】链式二叉树详解

个人主页~ 链式二叉树基本内容~ 链式二叉树详解 1、通过前序遍历的数组来构建二叉树2、二叉树的销毁3、二叉树节点个数4、二叉树叶子节点个数5、二叉树第k层节点个数6、二叉树查找7、前序遍历8、中序遍历9、后序遍历10、层序遍历与检查二叉树是否为完全二叉树Queue.hQueue.c层序…

WordPress子比内容同步插件

1.支持分类替换 将主站同步过来的文章分类进行替换 2.支持本地化文章图片 (使用储存桶可能会导致无法保存图片) 3.支持自定义文章作者(选择多个作者则同步到的文章作者将会随机分配) 4.支持将同步过来的文章自定义文章状态&…

Java | Leetcode Java题解之第128题最长连续序列

题目&#xff1a; 题解&#xff1a; class Solution {public int longestConsecutive(int[] nums) {Set<Integer> num_set new HashSet<Integer>();for (int num : nums) {num_set.add(num);}int longestStreak 0;for (int num : num_set) {if (!num_set.contai…

乡村振兴与文化传承:挖掘乡村历史文化资源,传承乡村优秀传统,打造具有地方特色的美丽乡村文化品牌

目录 一、引言 二、乡村历史文化资源的挖掘与保护 &#xff08;一&#xff09;乡村历史文化资源的内涵 &#xff08;二&#xff09;乡村历史文化资源的挖掘 &#xff08;三&#xff09;乡村历史文化资源的保护 三、乡村优秀传统的传承与创新 &#xff08;一&#xff09;…

4.基础纹理

纹理的目的&#xff1a;使用一张图片来控制模型的外观纹理映射技术&#xff1a;把一张图“黏”在模型表面&#xff0c;逐纹素&#xff08;与像素不同&#xff09;地控制模型颜色通常在建模软件中利用纹理展开技术实现&#xff0c;把纹理映射坐标存储在每个顶点上纹理映射坐标&a…

php--无回显情况下的命令执行

免责声明:本文仅做技术交流与学习... 目录 绕过模版: 1. 写入文件、二次返回: 2. DNS信道: 3.http信道: 4.反弹shell信道 -->公网IP 5.延时 sleep 3 建立通道(信道) --数据传输的路径 shell_exec 与 system 相比&#xff0c;shell_exec没有回显结果. 绕过模版:…

Java中的Instant

在Java中&#xff0c;Instant 是 java.time 包中的一个类&#xff0c;用于表示时间轴上的一个瞬时点&#xff0c;通常以纳秒精度表示。它通常用于表示机器可读的时间戳&#xff0c;而不是人类可读的时间表示&#xff08;如日期和时间&#xff09;。 Instant 主要用于时间计算和…

数学基础——微积分在机器/深度学习上的应用

目录 微分学 导数 偏导数 梯度 梯度下降算法 反向传播算法 自动求导 计算图 正则化与过拟合 L1正则化 L2正则化 Dropout正则化 拉格朗日对偶问题 拉格朗日乘数法 凸优化 对偶问题 KKT条件 Slater条件 积分学 笔记内容 微积分是17世纪后半叶发展起来的数…

【Leetcode每日一题】 动态规划 - 简单多状态 dp 问题 - 买卖股票的最佳时机含冷冻期(难度⭐⭐)(79)

1. 题目解析 题目链接&#xff1a;309. 买卖股票的最佳时机含冷冻期 这个问题的理解其实相当简单&#xff0c;只需看一下示例&#xff0c;基本就能明白其含义了。 2.算法原理 二、算法思路 1. 状态表示 dp[i][0]&#xff1a;表示第 i 天结束后&#xff0c;处于「买入」状态…