Apache Commons Pool2 池化技术

对象池是一种设计模式,用于管理和重用对象,以提高性能和资源利用率。对象池的概念在许多应用程序中都有广泛应用,特别是在需要频繁创建和销毁对象的情况下,例如数据库连接、线程、HTTP连接等

对象池通过预先创建一组对象并将它们存储在池中,以供需要时获取和使用。当对象不再需要时,它们不会被销毁,而是被返回到池中,以便在后续的请求中重新使用

对象池的优点包括:

  • 减少对象创建和销毁的开销,提高性能和响应时间
  • 最大限度地利用系统资源,避免资源的浪费
  • 控制对象的数量,防止资源耗尽和系统崩溃
  • 提供对象的重用机制,避免频繁的对象创建和垃圾回收

Apache Commons Pool2

Apache Commons Pool2 是一个广泛使用的Java对象池库,被许多开源项目和企业应用程序采用。它提供了通用的对象池化解决方案,可用于管理各种类型的对象,如数据库连接、线程池、HTTP连接等

Commons Pool 工作原理

核心类

ObjectPool

对象池,负责对对象进行生命周期的管理,并提供了对对象池中活跃对象和空闲对象统计的功能

  • 对象的提供与归还:borrowObjectreturnObject
  • 创建对象:addObject
  • 销毁对象:invalidateObject
  • 池中空闲对象数量、被使用对象数量:getNumActivegetNumIdle

PooledObjectFactory

对象工厂类,负责具体对象的创建、初始化,对象状态的销毁和验证

commons-pool2框架本身提供了默认的抽象实现BasePooledObjectFactory,业务方在使用的时候只需要继承该类,然后实现warpcreate方法即可

PooledObject

池化对象,是需要放到ObjectPool对象的一个包装类。添加了一些附加的信息,比如说状态信息,创建时间,激活时间等

池对象状态及流程

PooledObjectState 池对象状态枚举

public enum PooledObjectState {//在空闲队列中,还未被使用IDLE,//使用中ALLOCATED,//在空闲队列中,当前正在测试是否满足被驱逐的条件EVICTION,//不在空闲队列中,目前正在测试是否可能被驱逐。因为在测试过程中,试图借用对象,并将其从队列中删除。//回收测试完成后,它应该被返回到队列的头部。EVICTION_RETURN_TO_HEAD,//在队列中,正在被校验VALIDATION,//不在队列中,当前正在验证。该对象在验证时被借用,由于配置了testOnBorrow,//所以将其从队列中删除并预先分配。一旦验证完成,就应该分配它。VALIDATION_PREALLOCATED,//不在队列中,当前正在验证。在之前测试是否将该对象从队列中移除时,曾尝试借用该对象。//一旦验证完成,它应该被返回到队列的头部。VALIDATION_RETURN_TO_HEAD,//无效状态(如驱逐测试或验证),并将/已被销毁INVALID,//判定为无效,将会被设置为废弃ABANDONED,//正在使用完毕,返回池中RETURNING
}

流程理解

此段原文自 https://www.cnblogs.com/haixiang/p/14783955.html

对象存储
 private PooledObject<T> create() throws Exception {.....final PooledObject<T> p;try {p = factory.makeObject();.....allObjects.put(new IdentityWrapper<>(p.getObject()), p);return p;}

我们查看allObjects,所有对象都存储于ConcurrentHashMap,除了被杀掉的对象

/** All of the objects currently associated with this pool in any state. It* excludes objects that have been destroyed. The size of* {@link #allObjects} will always be less than or equal to {@link* #_maxActive}. Map keys are pooled objects, values are the PooledObject* wrappers used internally by the pool.*/
private final Map<IdentityWrapper<T>, PooledObject<T>> allObjects =new ConcurrentHashMap<>();
对象取用逻辑
  • 首先根据AbandonedConfig配置判断是否取用对象前执行清理操作
  • 再从idleObject中尝试获取对象,获取不到就创建新的对象
    • 判断blockWhenExhausted是否设置为true,是的话按照设置的borrowMaxWaitMillis属性等待可用对象(这个配置的意思是当对象池的active状态的对象数量已经达到最大值maxinum时是否进行阻塞直到有空闲对象)
  • 有可用对象后调用工厂的factory.activateObject方法激活对象
  • getTestOnBorrow设置为true时,调用factory.validateObject(p)对对象进行校验,通过校验后执行下一步
  • 调用updateStatsBorrow方法,在对象被成功借出后更新一些统计项,例如返回对象池的对象个数等

//....
private final LinkedBlockingDeque<PooledObject<T>> idleObjects;
//....
public T borrowObject(final long borrowMaxWaitMillis) throws Exception {assertOpen();final AbandonedConfig ac = this.abandonedConfig;if (ac != null && ac.getRemoveAbandonedOnBorrow() &&(getNumIdle() < 2) &&(getNumActive() > getMaxTotal() - 3) ) {removeAbandoned(ac);}PooledObject<T> p = null;// Get local copy of current config so it is consistent for entire// method executionfinal boolean blockWhenExhausted = getBlockWhenExhausted();boolean create;final long waitTime = System.currentTimeMillis();while (p == null) {create = false;p = idleObjects.pollFirst();if (p == null) {p = create();if (p != null) {create = true;}}if (blockWhenExhausted) {if (p == null) {if (borrowMaxWaitMillis < 0) {p = idleObjects.takeFirst();} else {p = idleObjects.pollFirst(borrowMaxWaitMillis,TimeUnit.MILLISECONDS);}}if (p == null) {throw new NoSuchElementException("Timeout waiting for idle object");}} else {if (p == null) {throw new NoSuchElementException("Pool exhausted");}}if (!p.allocate()) {p = null;}if (p != null) {try {factory.activateObject(p);} catch (final Exception e) {try {destroy(p, DestroyMode.NORMAL);} catch (final Exception e1) {// Ignore - activation failure is more important}p = null;if (create) {final NoSuchElementException nsee = new NoSuchElementException("Unable to activate object");nsee.initCause(e);throw nsee;}}if (p != null && getTestOnBorrow()) {boolean validate = false;Throwable validationThrowable = null;try {validate = factory.validateObject(p);} catch (final Throwable t) {PoolUtils.checkRethrow(t);validationThrowable = t;}if (!validate) {try {destroy(p, DestroyMode.NORMAL);destroyedByBorrowValidationCount.incrementAndGet();} catch (final Exception e) {// Ignore - validation failure is more important}p = null;if (create) {final NoSuchElementException nsee = new NoSuchElementException("Unable to validate object");nsee.initCause(validationThrowable);throw nsee;}}}}}updateStatsBorrow(p, System.currentTimeMillis() - waitTime);return p.getObject();}
对象的激活和钝化

在对象使用完被返回对象池时,如果校验失败直接销毁,如果校验通过需要先钝化对象passivateObject(PooledObject<T> p)再存入空闲队列。至于激活对象的方法activateObject(PooledObject<T> p)在上述取用对象时也会先激活再被取出。因此我们可以发现处于空闲和使用中的对象他们除了状态不一致,我们也可以通过激活和钝化的方式在他们之间增加新的差异

例如我们要做一个Elasticsearch连接池,每个对象就是一个带有ip和端口的连接实例,很显然访问es集群是多个不同的ip,所以每次访问的ip不一定相同,我们则可以在激活操作为对象赋值ip和端口,钝化操作中将ip和端口归为默认值或者空,这样流程更为标准

对象回收机制

EvictionTimer为回收对象的定时器,当且仅当设置了timeBetweenEvictionRunsMillis参数后才会开启定时清理任务

对象状态为evict,直接调用destroy进行回收。否则会进行进一步地处理,逻辑如下:

  1. 尝试激活对象,如果激活失败则认为对象已经不再存活,直接调用destroy进行销毁
  2. 在激活对象成功的情况下,会通过validateObject方法取校验对象状态,如果校验失败,则说明对象不可用,需要进行销毁
// org.apache.commons.pool2.impl.GenericObjectPool#evict
if (evict) {destroy(underTest);destroyedByEvictorCount.incrementAndGet();
} else {if (testWhileIdle) {boolean active = false;try {factory.activateObject(underTest);active = true;} catch (Exception e) {destroy(underTest);destroyedByEvictorCount.incrementAndGet();}if (active) {if (!factory.validateObject(underTest)) {destroy(underTest);destroyedByEvictorCount.incrementAndGet();} else {try {factory.passivateObject(underTest);} catch (Exception e) {destroy(underTest);destroyedByEvictorCount.incrementAndGet();}}}}if (!underTest.endEvictionTest(idleObjects)) {// TODO - May need to add code here once additional// states are used}
}

常用参数详解

参数类型(默认值)描述
lifoboolean(true)当去获取对象池中的空闲实例时,是否需要遵循后进先出的原则
fairnessboolean(false)当对象池处于exhausted状态,即可用实例为空时,大量线程在同时阻塞等待获取可用的实例,fairness配置来控制是否启用公平锁算法,即先到先得。这一项的前提是blockWhenExhausted配置为true
maxTotalint(8)对象池中最大使用数量
maxIdleint(8)对象中空闲对象最大数量
minIdleint(0)对象池中空闲对象最小数量
maxWaitMillislong(-1)最大阻塞时间,当对象池处于exhausted状态,即可用实例为空时,大量线程在同时阻塞等待获取可用的实例,如果阻塞时间超过了maxWaitMillis将会抛出异常
testOnCreateboolean(false)创建对象前,是否校验该新对象的有效性
testOnBorrowboolean(false)取用对象前,是否检验对象的有效性
testOnReturnboolean(false)归还对象前,是否检验对象的有效性
testWhileIdleboolean(false)当回收器在扫描空闲对象时,是否校验对象的有效性
numTestsPerEvictionRunint(3)根据该值x可以推导出一个数值n,标识回收过程需要检查多少个空闲对象。如果x>=0,那么n=x。如果x<0,那么n=(空闲对象数量/x的绝对值)向上取整,假设空闲对象一共有10个,该值配置为-3,那么就意味着这次回收需要检查4个空闲对象
timeBetweenEvictionRunsMillislong(-1)回收器线程多久执行一次空闲对象回收
softMinEvictableIdleTimeMillislong(-1)软回收时间阈值一个对象如果空闲时间超过了该值(毫秒),并且空闲对象的数量已经大于了minIdle时,就可以被回收器回收
minEvictableIdleTimeMillislong(1000L * 60L * 30L)硬回收时间阈值一个对象如果空闲时间超过了该值,即使空闲对象的数量已经小于minIdle了,一样也会被回收器回收

假如在某个高负载的系统里,对象频繁被借出、被归还。此时推荐对象池配置为

  1. testOnBorrowtestOnReturn都设置为false,提升性能
  2. timeBetweenEvictionRunsMillis设置为60000,一分钟进行一次空闲对象的回收检查
  3. numTestsPerEvictionRun设置为-1,检查所有空闲对象
  4. minEvictableIdleTimeMillis设置为180000,空闲超过3分钟的可以被回收
  5. testWhileIdle设置为true,不管空闲时间是否超时,每个空闲对象都检查下有效性,无效的一样被回收

通过异步的回收器来尽可能的保证空闲对象的有效性,减少同步调用时有效性检查导致的响应延迟、以及有效性检查对底层带来的访问压力

总结

Apache Commons Pool2是一个用于对象池化的Java库,它提供了一种管理和重用对象实例的机制,旨在改善应用程序的性能和资源利用率。下面是对Apache Commons Pool2的总结:

  • 对象池化:Apache Commons Pool2允许您创建和管理一个对象池,该对象池中保存着可重用的对象实例。通过将对象保存在池中而不是频繁地创建和销毁对象,可以减少系统开销,提高性能。
  • 对象生命周期管理:Pool2提供了生命周期管理功能,允许您定义在对象从池中借出和归还时的初始化和清理操作。这确保了从池中借出的对象始终处于一种可用状态。
  • 池化策略:Pool2支持多种池化策略,如通用对象池、软引用对象池和弱引用对象池。您可以根据应用程序的需求选择适合的策略。
  • 线程安全:Pool2是线程安全的,它提供了同步机制来处理多个线程同时访问池的情况,确保对象的正确分配和归还。
  • 配置灵活:Pool2允许您通过配置文件或编程方式来配置对象池的各种属性,如最大池大小、最小空闲对象数、池中对象的最大空闲时间等。这使得您可以根据应用程序的需求进行优化和调整。
  • 连接池和资源池:Pool2不仅适用于对象池,还可用于连接池和其他资源的池化管理。这使得它在处理数据库连接、线程池等资源时非常有用。

总的来说,Apache Commons Pool2是一个功能强大且灵活的对象池化库,可帮助您管理和重用对象实例,提高应用程序的性能和资源利用率。无论是在Web应用程序、并发编程还是资源管理方面,Pool2都是一个可靠的选择


参考资料:

  1. Apache Commons Pool
  2. commons-pool2 池化技术探究
  3. 对象池
  4. apache common pool2原理与实战

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/91981.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【论文笔记】SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection

原文链接&#xff1a;https://arxiv.org/abs/2307.02270 1. 引言 目前的从单目相机生成伪传感器表达的方法依赖预训练的深度估计网络。这些方法需要深度标签来训练深度估计网络&#xff0c;且伪立体方法通过图像正向变形合成立体图像&#xff0c;会导致遮挡区域的像素伪影、扭…

【数据结构篇】堆

文章目录 堆前言基本介绍认识堆堆的特点堆的分类堆的操作堆的常见应用 堆的实现JDK 自带的堆手动实现堆 堆 前言 本文主要是对堆的一个简单介绍&#xff0c;如果你是刚学数据结构的话&#xff0c;十分推荐看这篇文章&#xff0c;通过本文你将对堆这个数据结构有一个大致的了解…

C++ 传值调用

向函数传递参数的传值调用方法&#xff0c;把参数的实际值复制给函数的形式参数。在这种情况下&#xff0c;修改函数内的形式参数不会影响实际参数。 默认情况下&#xff0c;C 使用传值调用方法来传递参数。一般来说&#xff0c;这意味着函数内的代码不会改变用于调用函数的实…

阿里云ACP知识点(三)

1、弹性伸缩不仅提供了在业务需求高峰或低谷时自动调节ECS实例数量的能力&#xff0c;而且提供了ECS实例上自动部署应用的能力。弹性伸缩的伸缩配置支持多种特性&#xff0c;例如______,帮助您高效、灵活地自定义ECS实例配置&#xff0c;满足业务需求。 标签、密钥对、 实例RAM…

大学各个专业介绍

计算机类 五米高考-计算机类 注&#xff1a;此处平均薪酬为毕业五年平均薪酬&#xff0c;薪酬数据仅供参考 来源&#xff1a; 掌上高考 电气类 五米高考-电气类 机械类 五米高考-机械类 电子信息类 五米高考-电子信息类 土木类 五米高考-土木类

【多媒体技术与实践】音频信息获取和处理——编程题汇总

1&#xff1a;音频信息数据量计算 已知采样频率&#xff08;单位KHz&#xff09;、量化位数、声道数及持续时间&#xff08;单位分钟&#xff09;&#xff0c;求未压缩时的数据量&#xff08;单位MB&#xff09;. 例如&#xff1a; 输入&#xff1a; 22.05 16 2 3 &#xff…

从零手搓一个【消息队列】实现数据的硬盘管理和内存管理(线程安全)

文章目录 一、硬盘管理1, 创建 DiskDataCenter 类2, init() 初始化3, 封装交换机4, 封装队列5, 关于绑定6, 关于消息 二、内存管理1, 数据结构的设计2, 创建 MemoryDataCenter 类3, 关于交换机4, 关于队列5, 关于绑定6, 关于消息7, 恢复数据 三、小结 创建 Spring Boot 项目, S…

26 docker前后端部署

[参考博客]((257条消息) DockerNginx部署前后端分离项目(SpringBootVue)的详细教程_在docker中安装nginx实现前后端分离_这里是杨杨吖的博客-CSDN博客) (DockerNginx部署前后端分离项目(SpringBootVue)) 安装docker # 1、yum 包更新到最新 yum update # 2、安装需要的软件包…

SEO的优化教程(百度SEO的介绍和优化)

百度SEO关键字介绍&#xff1a; 百度SEO关键字是指用户在搜索引擎上输入的词语&#xff0c;是搜索引擎了解网站内容和相关性的重要因素。百度SEO关键字可以分为短尾词、中尾词和长尾词&#xff0c;其中长尾词更具有针对性和精准性&#xff0c;更易于获得高质量的流量。蘑菇号-…

构建一个TypeScript环境的node项目

本文 我们用一种不太一样的方式来创建项目 这里 我们事先创建了一个文件夹作为项目目录 然后打开项目终端 输入 npm init然后 在新弹出的对话框中 大体就是 名字随便写一个 然后 后面的回车&#xff0c;到最后一个输入 yes 然后回车 这样 我们就有一个基础的 node项目结构了…

AGV小车、机械臂协同作业实战06-任务分配算法(图解蚁群算法)代码示例java

什么是蚁群算法&#xff1f; 蚁群系统(Ant System(AS)或Ant Colony System(ACS))是由意大利学者Dorigo、Maniezzo等人于20世纪90年代首先提出来的。他们在研究蚂蚁觅食的过程中&#xff0c;发现蚁群整体会体现一些智能的行为&#xff0c;例如蚁群可以在不同的环境下&#xff0c…

排序篇(四)----归并排序

排序篇(四)----归并排序 1.归并(递归) 基本思想&#xff1a; 归并排序&#xff08;MERGE-SORT&#xff09;是建立在归并操作上的一种有效的排序算法,该算法是采用分治法&#xff08;Divide andConquer&#xff09;的一个非常典型的应用。将已有序的子序列合并&#xff0c;得到…

Hive SQL初级练习(30题)

前言 Hive 的重要性不必多说&#xff0c;离线批处理的王者&#xff0c;Hive 用来做数据分析&#xff0c;SQL 基础必须十分牢固。 环境准备 建表语句 这里建4张表&#xff0c;下面的练习题都用这些数据。 -- 创建学生表 create table if not exists student_info(stu_id st…

rabbimq之java.net.SocketException: Connection reset与MissedHeartbeatException分析

一、前言 在android前端中接入了rabbitmq消息队列来处理业务&#xff0c;在手机网络环境错综复杂&#xff0c;网络信号不稳定&#xff0c;可能导致mq的频繁断开与连接&#xff0c;在日志中&#xff0c;发现有很多这样的日志&#xff0c;java.net.SocketException: Connection …

yolov5分割+检测c++ qt 中部署,以opencv方式(详细代码(全)+复制可用)

1&#xff1a;版本说明&#xff1a; qt 5.12.10 opencv 4.5.3 &#xff08;yolov5模型部署要求opencv>4.5.0&#xff09; 2&#xff1a;检测的代码 yolo.h #pragma once #include<iostream> #include<cmath> #include<vector> #include <opencv2/…

【QandA C++】内存分段和内存分页等重点知识汇总

目录 内存分段 内存分页 内存分段 程序是由若干个逻辑分段组成的&#xff0c;如可由代码分段、数据分段、栈段、堆段组成。不同的段是有不同的属性的&#xff0c;所以就用分段的形式把这些段分离出来。 分段机制下&#xff0c;虚拟地址和物理地址是如何映射的&#xff1f; …

毅速课堂:3D打印随形水路在小零件注塑中优势明显

小零件注塑中的冷却不均匀问题常常导致烧焦现象的发生。这主要是因为传统机加工方法无法制造出足够细小的水路&#xff0c;以适应小零件的复杂形状。而3D打印技术的引入&#xff0c;尤其是随形水路的设计&#xff0c;为解决这一问题提供了新的解决方案。 3D打印随形水路技术的优…

TS编译选项——编译TS文件同时对JS文件进行编译

一、允许对JS文件进行编译 我们在默认情况下编译TS项目时是不能编译js文件的&#xff0c;如下图中的hello.js文件并未编译到dist目录下&#xff08;这里配置了编译文件放到dist目录下&#xff09; 如果我们想要实现编译TS文件同时对JS文件进行编译&#xff0c;就需要在tsconfi…

列出使用Typescript的一些优点?

使用Typescript有以下优点&#xff1a; 类型安全&#xff1a;Typescript是一种静态类型语言&#xff0c;它要求在编码阶段明确定义变量和函数的类型。这种类型安全可以减少在运行时出现错误的可能性&#xff0c;并提高代码的可读性和可维护性。代码可读性和可维护性&#xff1…

使用U3D、pico开发VR(二)——添加手柄摇杆控制移动

一、将unity 与visual studio 相关联 1.Edit->Preference->External tool 选择相应的版本 二、手柄遥控人物转向和人物移动 1.添加Locomotion System组件 选择XR Origin&#xff1b; 2.添加Continuous Move Provider&#xff08;Action-based&#xff09;组件 1>…