MySQL - 记一次 HikariDataSource + Etcd 组合技打爆数据库连接数

问题描述

如题所述,我们每新增一个数据源并且往 etcd 去生产的时候,etcd 消费者收到监听到的内容去消费,产生大量的数据库连接(通过 SHOW PROCESSLIST 查到)

原因分析

故事是因为项目本身有一个多租户功能,每个租户独立动态生成一个数据库,那么这里就会牵扯到动态数据源的话题(配置最小连接数是 10)

TenantInfo tenantInfo =  new Gson().fromJson(multiTenantStr, TenantInfo.class);
log.info(tenantInfo.toString());
HikariDataSource dataSource = new HikariDataSource(hikariConfig);
dataSource.setDriverClassName(tenantInfo.getDatasourceDriver());
dataSource.setJdbcUrl(tenantInfo.getDatasourceUrl());
dataSource.setUsername(tenantInfo.getDatasourceUsername());
dataSource.setPassword(tenantInfo.getDatasourcePassword());
handleHikariConfig(hikariConfig, dataSource);

一开始有 2 个很奇怪的现象,下面会一一解释

1、Etcd 明明只生产一次,为什么会反复的收到很多条一模一样的消息?

经排查发现,是因为 Etcd 报错导致反复重复的消费本条消息,但是呢?我们没在后台看到报错日志是因为异步监听,所以后来我们也给它加了 try...catch... 来捕获异常,发现异常来自于以下第 2 点会说明

2、理论上是新生产的连接池应该是新租户对应的数据库信息,为什么老是生产默认的数据库连接池?

HikariDataSource dataSource = new HikariDataSource(hikariConfig);
dataSource.setDriverClassName(tenantInfo.getDatasourceDriver());

首先,hikariConfig 因为拿的是默认的 application.yml 配置的连接池配置信息,拿肯定里面包含了默认的 JDBC-URL,然后一旦 new 成功后,就会自动连接到数据库,新增至少 10 条连接数。紧接着,在 setXxx 属性的时候,因为这个是连接好了的连接池信息,这逻辑本身这么顺序颠倒着写就是不对的。虽然 HikariPoolMXBean 是支持动态修改配置信息,但也是部分属性支持修改,其余一旦动了就会抛异常,抛异常,抛异常……那么再感谢第 1 点说的 Etcd 报错没有 ACK 的问题引起的重试机制,完美配合下,你说这个数据库你不爆谁爆?!

其实,主要就是以上两点加起来,导致把数据库连接数干爆,按一个最小 10 来算的话,Etcd 如果没成功 ACK 的话,就会启动重试机制,重试 N 次,那就会 N*10 条数据库连接数,这能不打爆吗?!

解决方案

HikariConfig config = buildConfig(hikariConfig, tenantInfo);
HikariDataSource dataSource = new HikariDataSource(config);

那通过我们的分析就很好解决这个问题,毕竟知道问题产生的缘由。

首先将默认配置拿到,然后通过新租户对应的数据库配置信息,来覆盖默认的配置信息。完事后再去生成新的 HikariDataSource 即可,完美解决~

 

温馨提示

new HikariDataSource(); // 无参构造: 使用懒加载模式,第一次调用的时候才会连接数据库new HikariDataSource(config); // 有参构造:在 new 的时候,就会连接到数据库

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/11342.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

剑指YOLOv7改进最新MPDIoU损失函数(23年7月首发论文):论文实测YOLOv7模型涨点,超越现有多种G/D/C/EIoU,高效准确的边界框回归的损失

💡本篇内容:剑指YOLOv7改进最新MPDIoU损失函数(23年7月首发论文):论文实测YOLOv7模型涨点,超越现有多种G/D/C/EIoU,高效准确的边界框回归的损失 💡🚀🚀🚀本博客 改进源代码改进 适用于 YOLOv7 按步骤操作运行改进后的代码即可 💡:重点:该专栏《剑指YOLOv7原…

python pygbag教程 —— 在网页上运行pygame程序(全网中文教程首发)

pygame是一款流行的游戏制作模块,经过特殊的方式编译后,可以在浏览器web网页上运行。web上的打包主要使用第三方模块pygbag。 pygame教程:Python pygame(GUI编程)模块最完整教程(1)_pygame模块详解_Python-ZZY的博客-…

【配置环境】Windows下 VS Code 远程连接虚拟机Ubuntu

一,环境 Windows 11 家庭中文版VMware Workstation 16 Pro (版本:16.1.2 build-17966106)ubuntu-22.04.2-desktop-amd64 二,关键步骤 Windows下安装OpenSSHVS Code安装Remote - SSH插件 三,详细步骤 在Ubun…

kotlin获取泛型集合的类型信息

通过 reified 关键字和内联函数来实现 inline fun <reified T> getClassFromList(list: List<T>): Class<T> {return T::class.java }fun main() {val list listOf("Hello", "World")val clazz getClassFromList(list)println(clazz)…

React 前端应用中快速实践 OpenTelemetry 云原生可观测性(SigNoz/K8S)

OpenTelemetry 可用于跟踪 React 应用程序的性能问题和错误。您可以跟踪从前端 web 应用程序到下游服务的用户请求。OpenTelemetry 是云原生计算基金会(CNCF)下的一个开源项目&#xff0c;旨在标准化遥测数据的生成和收集。已成为下一代可观测平台的事实标准。 React(也称为 Re…

【K8s】k8s配置存储卷PersistentVolumeClaim里的readwriteonce是什么意思

示例 参考这个示例 对于其中的ReadWriteOnce参数 ReadWriteOnce是Kubernetes PersistentVolume的访问模式之一。具体来说&#xff1a; ReadWriteOnce&#xff1a;卷可以被一个节点以读写模式挂载。ReadOnlyMany&#xff1a;卷可以被多个节点以只读模式挂载。ReadWriteMany&…

Kotlin 内联函数语法之let、apply、also、run、with的用法与详解

一、介绍 kotlin的语法千奇百怪&#xff0c;今天我们将介绍项目中频率使用比较高的几个内联函数。 二、什么叫内联函数&#xff1f; 内联函数 的语义很简单&#xff1a;把函数体复制粘贴到函数调用处 。使用起来也毫无困难&#xff0c;用 inline关键字修饰函数即可。 语法&a…

详解zookeeper安装使用

目录 1.概述 1.1.功能 1.2.特点 1.3.数据结构 2.安装 2.1.Windows 2.2.Linux 3.基础操作 3.1.增 3.2.删 3.3.改 3.4.查 3.5.监听 4.JAVA操作Zookeeper 4.1.依赖 4.2.客户端 4.3.增 4.4.删 4.5.查 4.6.改 1.概述 1.1.功能 zookeeper&#xff0c;Apache旗下…

amd的cpu有哪些型号(amd的cpu系列介绍)

1、amd处理器有什么系列&#xff1f; 2、AMD各系列CPU和对应的主板型号有哪些&#xff1f; 3、AMD双核CPU有哪几个型号? amd处理器有什么系列&#xff1f; amd处理器的系列有: 1、锐龙&#xff1a;AMD Ryzen是AMD开发并推出市场的x86微处理器品牌&#xff0c;AMD Zen微架构…

pdf转换word软件哪个好?式?这款软件帮你轻松实现转换

在工作中&#xff0c;我们常常遇到这样的情况&#xff1a;我们的文件可能是PDF格式的&#xff0c;但对方要求我们以Word形式发送&#xff0c;因为Word相对于PDF占用更小的内存&#xff0c;打开更方便&#xff0c;发送时间更短。这时我们需要将PDF转换为Word格式&#xff0c;然而…

【跨代码仓库合并方案】

1、背景&#xff1a; 1、wiser绑定的uiidA的定制修改内容和ELKO绑定的uiidB基本是一样的&#xff0c;需要手动粘贴同步&#xff0c;增加测试保障风险&#xff0c;还会浪费开发资源投入&#xff1b; 2、施耐德wiser和elko面板两套面板基本一致&#xff0c;但是经过new art升级后…

Ubuntu 安装 MinIO

MinIO是一个开源的高性能对象存储解决方案&#xff0c;支持多种安装方式&#xff0c;本例仅介绍最基础的单机安装方式。 一&#xff1a;下载安装文件 直接从MinIO官网下载安装文件。 1.1 下载服务端 wget https://dl.min.io/server/minio/release/linux-amd64/minio 1.2 将…

【AI】《动手学-深度学习-PyTorch版》笔记(四):pandas

AI学习目录汇总 1、简介 pandas中文网:https://www.pypandas.cn/ pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。 pandas 的主要功能包括: 处理大量数据:pandas 的数据结构可以快速地处理大量数据…

机器学习深度学习——感知机

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位即将上大四&#xff0c;正专攻机器学习的保研er &#x1f30c;上期文章&#xff1a;机器学习&&深度学习——softmax回归的简洁实现 &#x1f4da;订阅专栏&#xff1a;机器学习&&深度学习 希望文章对你们…

市面上的ipad国产触控笔怎么样?精选的性价比电容笔

要知道&#xff0c;真正的苹果品牌的那款原装电容笔&#xff0c;光是一支电容笔就价格近千元。实际上&#xff0c;平替电容笔对没有太多预算的用户是个不错的选择。一支苹果品牌的电容笔&#xff0c;价格是平替品牌的四倍&#xff0c;但电容笔的书写效果&#xff0c;却丝毫不逊…

科技云报道:是时候全员FinOps了吗?

科技云报道原创。 在论坛上&#xff0c;国外某企业的真实案例引发了热议。一开始该企业只顾技术创新&#xff0c;积极上云&#xff0c;不顾成本。 直到有一天&#xff0c;高层介入喊停&#xff1a;“这个云不能再上了&#xff0c;成本已经远大于收益了”。该企业因为成本失控…

java-day01

一&#xff1a;基础常识 软件&#xff1a;按照特定顺序的计算机数据与指令的集合。可分为系统软件&#xff08;如操作系统&#xff09;和应用软件&#xff08;如QQ&#xff09; 人机交互方式&#xff1a;图形化界面&#xff08;GUI&#xff09;与命令行&#xff08;CLI&#…

性能优化 - 前端性能监控和性能指标计算方式

性能优化 - 前端性能监控和性能指标计算方式 前言一. 性能指标介绍1.1 单一指标介绍1.2 指标计算① Redirect(重定向耗时)② AppCache(应用程序缓存的DNS解析)③ DNS(DNS解析耗时)④ TCP(TCP连接耗时)⑤ TTFB(请求响应耗时)⑥ Trans(内容传输耗时)⑦ DOM(DOM解析耗时) 1.3 FP(f…

代码随想录算法训练营第二天| 977

977. 有序数组的平方y 思路&#xff0c;原数组是有序的&#xff0c;但是因为负数平方后可能变无序了&#xff0c;因此利用双指针遍历原数组&#xff0c;比较 nums[left]*nums[left]和nums[right]*nums[right]谁更大&#xff0c;然后对新数组赋值 class Solution {public int…

MFC第二十四天 使用GDI对象画笔和画刷来开发控件(分页控件选择态的算法分析、使用CToolTipCtrl开发动静态提示)

文章目录 GDI对象画笔和画刷来开发控件梯形边框的按钮控件CMainDlg.hCMainDlg.cppCLadderCtrl.hCLadderCtrl.cpp 矩形边框的三态按钮控件 CToolTipCtrl开发动静态提示CMainDlg.hCMainDlg.cppCLadderCtrl.hCLadderCtrl.cpp: 实现文件 矩形边框的三态按钮控件 CToolTipCtrl开发动…