动态线程池的简单实现思路

什么是动态线程池?
在线程池日常实践中我们常常会遇到以下问题:

代码中创建了一个线程池却不知道核心参数设置多少比较合适。
参数设置好后,上线发现需要调整,改代码重启服务非常麻烦。
线程池相对于开发人员来说是个黑箱,运行情况在出现问题 前很难被感知。
因此,动态可监控线程池一种针对以上痛点开发的线程池管理工具。主要可实现功能有:提供对 Spring 应用内线程池实例的全局管控、应用运行时动态变更线程池参数以及线程池数据采集和监控阈值报警。

已经实现的优秀开源动态线程池
hippo4j

实现思路
核心管理类
需要能实现对线程池的服务注册
获取已经注册好的线程池
以及对注册号线程池参数的刷新。
对于每一个线程池,我们使用一个线程池名字作为标识每个线程池的唯一ID
public class DtpRegistry {/*** 储存线程池*/private static final Map<String, Executor> EXECUTOR_MAP = new ConcurrentHashMap<>();/*** 获取线程池* @param executorName 线程池名字*/public static Executor getExecutor(String executorName) {return EXECUTOR_MAP.get(executorName);}/*** 线程池注册* @param executorName 线程池名字*/public static void registry(String executorName, Executor executor) {//注册EXECUTOR_MAP.put(executorName, executorWrapper);}/*** 刷新线程池参数* @param executorName 线程池名字* @param properties 线程池参数*/public static void refresh(String executorName, ThreadPoolProperties properties) {Executor executor = EXECUTOR_MAP.get(executorName)//刷新参数//.......}}

如何创建线程池?
STEP 1. 我们可以使用yml配置文件的方式配置一个线程池,将线程池实例的创建交由Spring容器。

public class DtpProperties {private List<ThreadPoolProperties> executors;}public class ThreadPoolProperties {/*** 标识每个线程池的唯一名字*/private String poolName;private String poolType = "common";/*** 是否为守护线程*/private boolean isDaemon = false;/*** 以下都是核心参数*/private int corePoolSize = 1;private int maximumPoolSize = 1;private long keepAliveTime;private TimeUnit timeUnit = TimeUnit.SECONDS;private String queueType = "arrayBlockingQueue";private int queueSize = 5;private String threadFactoryPrefix = "-td-";private String RejectedExecutionHandler;
}

yml example:

spring:dtp:executors:# 线程池1- poolName: dtpExecutor1corePoolSize: 5maximumPoolSize: 10# 线程池2- poolName: dtpExecutor2corePoolSize: 2maximumPoolSize: 15

STEP 2 根据配置信息添加线程池的BeanDefinition
关键类

@Slf4j
public class DtpImportBeanDefinitionRegistrar implements ImportBeanDefinitionRegistrar, EnvironmentAware {private Environment environment;@Overridepublic void registerBeanDefinitions(AnnotationMetadata importingClassMetadata, BeanDefinitionRegistry registry) {log.info("注册");//绑定资源DtpProperties dtpProperties = new DtpProperties();ResourceBundlerUtil.bind(environment, dtpProperties);List<ThreadPoolProperties> executors = dtpProperties.getExecutors();if (Objects.isNull(executors)) {log.info("未检测本地到配置文件线程池");return;}//注册beanDefinitionexecutors.forEach((executorProp) -> {BeanUtil.registerIfAbsent(registry, executorProp);});}@Overridepublic void setEnvironment(Environment environment) {this.environment = environment;}
}/**** 工具类**/
public class BeanUtil{public static void registerIfAbsent(BeanDefinitionRegistry registry, ThreadPoolProperties executorProp) {register(registry, executorProp.getPoolName(), executorProp);}public static void register(BeanDefinitionRegistry registry, String beanName, ThreadPoolProperties executorProp) {Class<? extends Executor> executorType = ExecutorType.getClazz(executorProp.getPoolType());Object[] args = assembleArgs(executorProp);register(registry, beanName, executorType, args);}public static void register(BeanDefinitionRegistry registry, String beanName, Class<?> clazz, Object[] args) {BeanDefinitionBuilder builder = BeanDefinitionBuilder.genericBeanDefinition(clazz);for (Object arg : args) {builder.addConstructorArgValue(arg);}registry.registerBeanDefinition(beanName, builder.getBeanDefinition());}private static Object[] assembleArgs(ThreadPoolProperties executorProp) {return new Object[]{executorProp.getCorePoolSize(),executorProp.getMaximumPoolSize(),executorProp.getKeepAliveTime(),executorProp.getTimeUnit(),QueueType.getInstance(executorProp.getQueueType(), executorProp.getQueueSize()),new NamedThreadFactory(executorProp.getPoolName() + executorProp.getThreadFactoryPrefix(),executorProp.isDaemon()),//先默认不做设置RejectPolicy.ABORT.getValue()};}
}

下面解释一下这个类的作用,environment实例中储存着spring启动时解析的yml配置,所以我们spring提供的Binder将配置绑定到我们前面定义的DtpProperties类中,方便后续使用。接下来的比较简单,就是将线程池的BeanDefinition注册到IOC容器中,让spring去帮我们实例化这个bean。

STEP 3. 将已经实例化的线程池注册到核心类 DtpRegistry 中
我们注册了 beanDefinition 后,spring会帮我们实例化出来, 在这之后我们可以根据需要将这个bean进行进一步的处理,spring也提供了很多机制让我们对bean的生命周期管理进行更多的扩展。对应到这里我们就是将实例化出来的线程池注册到核心类 DtpRegistry 中进行管理。

这里我们使用 BeanPostProcessor 进行处理。

@Slf4j
public class DtpBeanPostProcessor implements BeanPostProcessor {private DefaultListableBeanFactory beanFactory;@Overridepublic Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {if (bean instanceof DtpExecutor) {//直接纳入管理DtpRegistry.registry(beanName, (DtpExecutor) bean);}return bean;}
}

这里的逻辑很简单, 就是判断一下这个bean是不是线程池,是就统一管理起来。

STEP 4. 启用 BeanDefinitionRegistrar 和 BeanPostProcessor
在springboot程序中,只要加一个@MapperScan注解就能启用mybatis的功能,我们可以学习其在spring中的启用方式,自定义一个注解:

@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Import(DtpImportSelector.class)
public @interface EnableDynamicThreadPool {
}

其中,比较关键的是@Import注解,spring会导入注解中的类DtpImportSelector

而DtpImportSelector这个类实现了:

public class DtpImportSelector implements DeferredImportSelector {@Overridepublic String[] selectImports(AnnotationMetadata importingClassMetadata) {return new String[]{DtpImportBeanDefinitionRegistrar.class.getName(),DtpBeanPostProcessor.class.getName()};}
}

这样,只要我们再启动类或者配置类上加上@EnableDynamicThreadPool这个注解,spring就会将DtpImportBeanDefinitionRegistrar和DtpBeanPostProcessor这两个类加入spring容器管理,从而实现我们的线程池的注册。

@SpringBootApplication
@EnableDynamicThreadPool
public class Application {public static void main(String[] args) {SpringApplication.run(Application.class, args);}
}

如何实现线程池配置的动态刷新
首先明确一点,对于线程池的实现类,例如:ThreadPoolExecutor等,都有提供核心参数对应的 set 方法,让我们实现参数修改。因此,在核心类DtpRegistry中的refresh方法,我们可以这样写:

public class DtpRegistry {/*** 储存线程池*/private static final Map<String, ThreadPoolExecutor> EXECUTOR_MAP = new ConcurrentHashMap<>();/*** 刷新线程池参数* @param executorName 线程池名字* @param properties 线程池参数*/public static void refresh(String executorName, ThreadPoolProperties properties) {ThreadPoolExecutor executor = EXECUTOR_MAP.get(executorName)//设置参数executor.setCorePoolSize(...);executor.setMaximumPoolSize(...);......}}

而这些新参数怎么来呢?我们可以引入Nacos、Apollo等配置中心,实现他们的监听器方法,在监听器方法里调用DtpRegistry的refresh方法刷新即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/729571.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Pytorch导出自定义ONNX算子

在实际部署模型时有时可能会遇到想用的算子无法导出onnx&#xff0c;但实际部署的框架是支持该算子的。此时可以通过自定义onnx算子的方式导出onnx模型&#xff08;注&#xff1a;自定义onnx算子导出onnx模型后是无法使用onnxruntime推理的&#xff09;。下面给出个具体应用中的…

100个网络基础知识普及

目录 1、什么是链接&#xff1f; 2、OSI 参考模型的层次是什么&#xff1f; 3、什么是骨干网&#xff1f; 4、什么是 LAN&#xff1f; 5、什么是节点&#xff1f; 6、什么是路由器&#xff1f; 7、什么是点对点链接&#xff1f; 8、什么是匿名 FTP&#xff1f; 9、什么…

机器学习中的线性代数

基础知识的的复习: 线性代数——深度学习花书第二章 - 知乎 矩阵分解 特征值分解。 PCA(Principal Component Analysis)分解,作用:降维、压缩。 SVD(Singular Value Decomposition)分解,也叫奇异值分解。 矩阵分解的主要应用是:降维、聚类分析、数据预处理、低维度特征学…

Keepalive 解决nginx 的高可用问题

一 说明 keepalived利用 VRRP Script 技术&#xff0c;可以调用外部的辅助脚本进行资源监控&#xff0c;并根据监控的结果实现优先动态调整&#xff0c;从而实现其它应用的高可用性功能 参考配置文件&#xff1a; /usr/share/doc/keepalived/keepalived.conf.vrrp.localche…

学校课程:固体物理学--黄昆·CH1

1. 序言 固体的结构概念 固体材料分晶体和非晶体 理想晶体原子排列具有周期性&#xff0c;长程有序 非晶体不具有以上性质 准晶体是新发现的 晶体中原子分子规则排列&#xff0c;导致晶体具有规则的几何外形 1. 1-1 晶格/晶体格子&#xff1a; 晶体中原子排列的具体方式…

三八妇女节智慧花店/自动售花机远程视频智能监控解决方案

一、项目背景 国家统计局发布的2023年中国经济年报显示&#xff0c;全年社会消费品零售总额471495亿元&#xff0c;比上年增长7.2%。我国无人零售整体发展迅速&#xff0c;2014年市场规模约为17亿元。无人零售自助终端设备市场规模超过500亿元&#xff0c;年均复合增长率超50%。…

正则表达式在QT开发中的应用

一.正则表达式在QT开发中的使用&#xff1a; 1.模式匹配与验证&#xff1a;正则表达式最基本的作用就是进行模式匹配&#xff0c;它可以用来查找、识别或验证一个字符串是否符合某个特定的模式。例如&#xff0c;在表单验证中&#xff0c;可以使用正则表达式来检查用户输入的邮…

Agent——记忆模块

在基于大模型的 Agent架构设计方面,论文[1]提出了一个统一的框架,包括Profile模块、Memory模块、Planning模块和Action模块。其中长期记忆的状态维护至关重要,在 OpenAI AI 应用研究主管 Lilian Weng 的博客《基于大模型的 Agent 构成》[2]中,将记忆视为关键的组件之一,下…

Prompt Engineering、Finetune、RAG:OpenAI LLM 应用最佳实践

一、背景 本文介绍了 2023 年 11 月 OpenAI DevDay 中的一个演讲&#xff0c;演讲者为 John Allard 和 Colin Jarvis。演讲中&#xff0c;作者对 LLM 应用落地过程中遇到的问题和相关改进方案进行了总结。虽然其中用到的都是已知的技术&#xff0c;但是进行了很好的总结和串联…

1688 API接口:连接电商平台与后台系统

在当今快速变化的电子商务环境中&#xff0c;实现高效的数据同步和业务流程自动化是企业保持竞争力的关键。阿里巴巴旗下的1688平台提供了强大的API接口&#xff0c;它不仅为企业打开了通往丰富电商数据的大门&#xff0c;还成为了连接电商平台与后台系统的桥梁。 1688 API接口…

羊大师分析羊奶滋养,女性魅力绽放

羊大师分析羊奶滋养&#xff0c;女性魅力绽放 羊奶&#xff0c;自古以来便是滋养身心的天然佳品。它富含多种营养成分&#xff0c;如蛋白质、脂肪、矿物质和维生素等&#xff0c;能够为女性提供全面而均衡的营养支持&#xff0c;帮助她们保持健康与活力。 女性是社会的半边天&…

单片机入门:LED数码管

LED数码管 LED数码管&#xff1a;由多个发光二极管封装在一起组成的“8”字型的器件。如下图所示&#xff1a; 数码管引脚定义 一位数码管 内部由八个LED组成。器件有十个引脚。 对于数码管内的8个LED有共阴和共阳两种连接方法。 共阴&#xff1a;将8个LED的阴极都连接到一…

Java项目:41 springboot大学生入学审核系统的设计与实现010

作者主页&#xff1a;源码空间codegym 简介&#xff1a;Java领域优质创作者、Java项目、学习资料、技术互助 文中获取源码 项目介绍 本大学生入学审核系统管理员和学生。 管理员功能有个人中心&#xff0c;学生管理&#xff0c;学籍信息管理&#xff0c;入学办理管理等。 学…

wpf prism左侧抽屉式菜单

1.首先引入包MaterialDesignColors和MaterialDesignThemes 2.主页面布局 左侧菜单显示在窗体外&#xff0c;点击左上角菜单图标通过简单的动画呈现出来 3.左侧窗体外菜单 <Grid x:Name"GridMenu" Width"150" HorizontalAlignment"Left" Ma…

鸿蒙原生应用元服务开发-WebGL网页图形库开发概述

WebGL的全称为Web Graphic Library(网页图形库)&#xff0c;主要用于交互式渲染2D图形和3D图形。目前HarmonyOS中使用的WebGL是基于OpenGL裁剪的OpenGL ES&#xff0c;可以在HTML5的canvas元素对象中使用&#xff0c;无需使用插件&#xff0c;支持跨平台。WebGL程序是由JavaScr…

OpenBayes 一周速览|在 OpenBayes 上一键运行通义千问大模型、PAWS-X 跨语言对抗数据集上线

公共资源速递 This Weekly Snapshots &#xff01; 3 个数据集&#xff1a; * PKU 简体中文分词数据集 * 1,823 张花卉图像数据集 * PAWS-X &#xff1a;用于释义识别的跨语言对抗数据集 1 个模型&#xff1a; * Yi-34B-Chat-4bits 2 个教程&#xff1a; * 通义千问 1…

解读:DUSt3R: Geometric 3D Vision Made Easy

概述&#xff1a;给定一个无约束图像集&#xff0c;即一组具有未知相机姿态和内在特征的照片&#xff0c;我们提出的 DUSt3R 方法会输出一组相应的点阵图&#xff0c;从中我们可以直接恢复通常难以一次性估算的各种几何量&#xff0c;如相机参数、像素对应关系、深度图和完全一…

【PCIe】 PCIe 拓扑结构与分层结构

&#x1f525;博客主页&#xff1a;PannLZ 文章目录 PCIe拓扑结构PCIe分层结构 PCIe拓扑结构 计算机网络中的拓扑结构源于拓扑学(研究与大小、形状无关的点、线关系的方法)。 把网络中的计算机和通信设备抽象为一个点&#xff0c;把传输介质抽象为一条线&#xff0c;由点和线组…

【物联网】stm32芯片结构组成,固件库、启动过程、时钟系统、GPIO、NVIC、DMA、UART以及看门狗电路的全面详解

一、stm32的介绍 1、概述 stm32: ST&#xff1a;指意法半导体 M&#xff1a;指定微处理器 32&#xff1a;表示计算机处理器位数 与ARM关系:采用ARM推出cortex-A&#xff0c;R,M三系中的M系列&#xff0c;其架构主要基于ARMv7-M实现 ARM分成三个系列&#xff1a; Cortex-A&…

【排序算法】推排序算法解析:从原理到实现

目录 1. 引言 2. 推排序算法原理 3. 推排序的时间复杂度分析 4. 推排序的应用场景 5. 推排序的优缺点分析 5.1 优点&#xff1a; 5.2 缺点&#xff1a; 6. Java、JavaScript 和 Python 实现推排序算法 6.1 Java 实现&#xff1a; 6.2 JavaScript 实现&#xff1a; 6.…