SpringBoot-线程池ThreadPoolExecutor异步处理（包含拆分集合工具类）

ThreadPoolExecutor VS ThreadPoolTaskExecutor

ThreadPoolTaskExecutor是对ThreadPoolExecutor进行了封装处理。

在这里插入图片描述

配置文件application.yml

# 异步线程配置 自定义使用参数
async:executor:thread:core_pool_size: 10max_pool_size:  100   # 配置最大线程数queue_capacity:  99988  # 配置队列大小keep_alive_seconds:  20  #设置线程空闲等待时间秒sname:prefix: async-thread-  # 配置线程池中的线程的名称前缀

配置类

@Configuration
@EnableAsync
@Slf4j
public class ThreadPoolConfig{//自定义使用参数@Value("${async.executor.thread.core_pool_size}")private int corePoolSize;   //配置核心线程数@Value("${async.executor.thread.max_pool_size}")private int maxPoolSize;    //配置最大线程数@Value("${async.executor.thread.queue_capacity}")private int queueCapacity;@Value("${async.executor.thread.name.prefix}")private String namePrefix;@Value("${async.executor.thread.keep_alive_seconds}")private int keepAliveSeconds;/**1.自定义asyncServieExecutor线程池*/@Bean(name = "asyncServiceExecutor")public ThreadPoolTaskExecutor asyncServiceExecutor(){log.info("start asyncServiceExecutor......");ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();//配置核心线程数executor.setCorePoolSize(corePoolSize);//配置最大线程数executor.setMaxPoolSize(maxPoolSize);//设置线程空闲等待时间 sexecutor.setKeepAliveSeconds(keepAliveSeconds);//配置队列大小 设置任务等待队列的大小executor.setQueueCapacity(queueCapacity);//配置线程池中的线程的名称前缀//设置线程池内线程名称的前缀-------阿里编码规约推荐--方便出错后进行调试executor.setThreadNamePrefix(namePrefix);/**rejection-policy：当pool已经达到max size的时候，如何处理新任务CALLER_RUNS：不在新线程中执行任务，而是有调用者所在的线程来执行*/executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardPolicy());//执行初始化executor.initialize();return executor;}/**公共线程池，利用系统availableProcessors线程数量进行计算*/@Bean(name="commonThreadPoolTaskExecutor")public ThreadPoolTaskExecutor commonThreadPoolTaskExecutor(){ThreadPoolTaskExecutor pool = new ThreadPoolTaskExecutor();// 返回可用处理器的Java虚拟机的数量int processNum = Runtime.getRuntime().availableProcessors();int corePoolSize = (int)(processNum / (1-0.2));int maxPoolSize = (int)(processNum / (1-0.5));pool.setCorePoolSize(corePoolSize); // 核心池大小pool.setMaxPoolSize(maxPoolSize); // 最大线程数pool.setQueueCapacity(maxPoolSize * 1000); // 队列程度pool.setThreadPriority(Thread.MAX_PRIORITY);pool.setDaemon(false);pool.setKeepAliveSeconds(300);// 线程空闲时间		return pool;}/**自定义defaultThreadPoolExecutor线程池*/@Bean(name="defaultThreadPoolExecutor",destroyMethod = "shutdown")public ThreadPoolExecutor systemCheckPoolExecutorService(){int maxNumPool=Runtime.getRuntime().availableProcessors();return new ThreadPoolExecutor(3,maxNumPool,60,TimeUnit.SECONDS,new LinkedBlockingQueue<Runnable>(10000),//置线程名前缀，例如设置前缀为hutool-thread-，则线程名为hutool-thread-1之类。new ThreadFactoryBuilder().setNamePrefix("default-executor-thread-%d").build(),(r, executor) -> log.error("system pool is full! "));}
}

异步线程业务类

//自定义asyncServiceExecutor线程池
@Override
@Async("asyncServiceExecutor")
public void executeAsync(List<Student> students,StudentService studentService,CountDownLatch countDownLatch){try{log.info("start executeAsync");//异步线程要做的事情studentService.saveBatch(students);log.info("end executeAsync");}finally{countDownLatch.countDown();// 很关键, 无论上面程序是否异常必须执行countDown,否则await无法释放}
}

拆分集合工具类

public class SplitListUtils {/*** 功能描述:拆分集合* @param <T> 泛型对象* @MethodName: split* @MethodParam: [resList:需要拆分的集合, subListLength:每个子集合的元素个数]* @Return: java.util.List<java.util.List<T>>:返回拆分后的各个集合组成的列表* 代码里面用到了guava和common的结合工具类* @Author: yyalin* @CreateDate: 2022/5/6 14:44*/public static <T> List<List<T>> split(List<T> resList, int subListLength) {if (CollectionUtils.isEmpty(resList) || subListLength <= 0) {return Lists.newArrayList();}List<List<T>> ret = Lists.newArrayList();int size = resList.size();if (size <= subListLength) {// 数据量不足 subListLength 指定的大小ret.add(resList);} else {int pre = size / subListLength;int last = size % subListLength;// 前面pre个集合，每个大小都是 subListLength 个元素for (int i = 0; i < pre; i++) {List<T> itemList = Lists.newArrayList();for (int j = 0; j < subListLength; j++) {itemList.add(resList.get(i * subListLength + j));}ret.add(itemList);}// last的进行处理if (last > 0) {List<T> itemList = Lists.newArrayList();for (int i = 0; i < last; i++) {itemList.add(resList.get(pre * subListLength + i));}ret.add(itemList);}}return ret;}/*** 功能描述:方法二：集合切割类，就是把一个大集合切割成多个指定条数的小集合，方便往数据库插入数据* 推荐使用* @MethodName: pagingList* @MethodParam:[resList:需要拆分的集合, subListLength:每个子集合的元素个数]* @Return: java.util.List<java.util.List<T>>：返回拆分后的各个集合组成的列表* @Author: yyalin* @CreateDate: 2022/5/6 15:15*/public static <T> List<List<T>> pagingList(List<T> resList, int pageSize){//判断是否为空if (CollectionUtils.isEmpty(resList) || pageSize <= 0) {return Lists.newArrayList();}int length = resList.size();int num = (length+pageSize-1)/pageSize;List<List<T>> newList =  new ArrayList<>();for(int i=0;i<num;i++){int fromIndex = i*pageSize;int toIndex = (i+1)*pageSize<length?(i+1)*pageSize:length;newList.add(resList.subList(fromIndex,toIndex));}return newList;}// 运行测试代码 可以按顺序拆分为11个集合public static void main(String[] args) {//初始化数据List<String> list = Lists.newArrayList();int size = 19;for (int i = 0; i < size; i++) {list.add("hello-" + i);}// 大集合里面包含多个小集合List<List<String>> temps = pagingList(list, 100);int j = 0;// 对大集合里面的每一个小集合进行操作for (List<String> obj : temps) {System.out.println(String.format("row:%s -> size:%s,data:%s", ++j, obj.size(), obj));}}}

造数据，进行多线程异步插入

public int batchInsertWay() throws Exception {log.info("开始批量操作.........");Random rand = new Random();List<Student> list = new ArrayList<>();//造100万条数据for (int i = 0; i < 1000003; i++) {Student student=new Student();student.setStudentName("大明："+i);student.setAddr("上海:"+rand.nextInt(9) * 1000);student.setAge(rand.nextInt(1000));student.setPhone("134"+rand.nextInt(9) * 1000);list.add(student);}//2、开始多线程异步批量导入long startTime = System.currentTimeMillis(); // 开始时间//boolean a=studentService.batchInsert(list);List<List<Student>> list1=SplitListUtils.pagingList(list,100);  //拆分集合CountDownLatch countDownLatch = new CountDownLatch(list1.size());for (List<Student> list2 : list1) {asyncService.executeAsync(list2,studentService,countDownLatch);}try {countDownLatch.await(); //保证之前的所有的线程都执行完成，才会走下面的；long endTime = System.currentTimeMillis(); //结束时间log.info("一共耗时time: " + (endTime - startTime) / 1000 + " s");// 这样就可以在下面拿到所有线程执行完的集合结果} catch (Exception e) {log.error("阻塞异常:"+e.getMessage());}return list.size();}

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/78442.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【css面试题】 实现一个盒子的水平竖直居中对齐效果

【css面试题】 实现一个盒子的水平竖直居中对齐效果

面试题里有时还会强调 子盒子宽高是否已知&#xff0c;要注意一下 尝试一&#xff1a;给父盒子设置padding 或者子盒子设置margin <style>.father{width: 300px;height: 200px;overflow: hidden; /* 放坑爹现象&#xff0c;不信你删了试试 */background-color: #db7b7b…
阅读更多...
61、SpringBoot -----跨域资源的设置----局部设置和全局设置

61、SpringBoot -----跨域资源的设置----局部设置和全局设置

★ 跨域资源共享的意义 ▲ 在前后端分离的开发架构中&#xff0c;前端应用和后端应用往往是彻底隔离的&#xff0c;二者不在同一个应用服务器内、甚至不再同一台物理节点上。 因此前端应用和后端应用就不在同一个域里。▲ 在这种架构下&#xff0c;前端应用可能采用前端框架&a…
阅读更多...
【驱动开发】实现三盏灯的控制，编写应用程序测试

【驱动开发】实现三盏灯的控制，编写应用程序测试

head.h #ifndef __HEAD_H__ #define __HEAD_H__//LED1:PE10 //LED2:PF10 //LED3:PE8#define LED_RCC 0X50000A28 //使能GPIO#define LED_MODER 0X50006000 //设置输出模式 #define LED_ODR 0X50006014 //设置输出高低电平#define LED2_MODER 0X50007000 …
阅读更多...
【分布式计算】六、命名机制 Naming

【分布式计算】六、命名机制 Naming

1.基本思想&#xff1a;用于标记分布式系统中的实体 2.pure name:1、不能代表全部&#xff0c;随机字符串2、仅用于比较 3.identifier(ID)&#xff1a;一个ID对应一个实体、一个实体对应一个实体、ID永远对应同一实体 4.无层次命名&#xff08;Flat Naming&#xff09;   a.非…
阅读更多...
JVM调优的GC日志观察解读

JVM调优的GC日志观察解读

如果各项参数设置合理&#xff0c;系统没有超时日志出现&#xff0c;GC 频率不高&#xff0c;GC 耗时不高&#xff0c;那么没有必要进行 GC 优化 如果 GC 时间超过 1-3 秒&#xff0c;或者频繁 GC&#xff0c;则必须优化。 一、参数解读 Jvm 调优典型参数设置; -Xms: 堆内存的…
阅读更多...
NEDC、WLTC、CLTC，三种汽车能源消耗测试标准有什么区别？

NEDC、WLTC、CLTC，三种汽车能源消耗测试标准有什么区别？

NEDC、WLTC、CLTC，三种汽车能源消耗测试标准有什么区别？ 参考链接：https://cj.sina.com.cn/articles/view/1677177940/63f7b454027018pu2 2023 年 1 月，抱着对先进新能源汽车的数码设备充电配置兴趣，小编抽空参观了第二十届广州国际车展，详细可以看这篇稿件《走马观花逛广…
阅读更多...
【5种数据结构的操作】RedisTemplate模版类！

【5种数据结构的操作】RedisTemplate模版类！

RedisTemplate 是 Spring Data Redis 提供的一个操作 Redis 的模板类&#xff0c;它封装了 Redis 的操作&#xff0c;方便开发者进行 Redis 缓存操作。 可以使用Autowired注解直接调用&#xff01;&#xff01;&#xff01; Autowired private RedisTemplate redisTemplate; …
阅读更多...
VMware vCenter 从6.7跨版本升级至7.0U3N

VMware vCenter 从6.7跨版本升级至7.0U3N

本文尝试使用 vCenter Server Appliance 管理界面 (VAMI) 进行对vCenter Server Appliance7应用进行小版本升级&#xff0c;从6.7.0.47000升级到7.0.3.01600&#xff08;7.0U3N&#xff09;。 一、升级前的准备工作 1、检查当前运行环境&#xff08;当前为6.7.0.47000&#x…
阅读更多...
Git：git clone 之 --recursive 选项

Git：git clone 之 --recursive 选项

在git的repo中&#xff0c;可能会有子项目的代码&#xff0c;也就是"git中的git" --recursive是递归的意思&#xff0c;不仅会git clone当前项目中的代码&#xff0c;也会clone项目中子项目的代码。 我们有时在git clone的时候漏掉 --recursive选项&#xff0c;导致编…
阅读更多...
【办公自动化】用Python批量从上市公司年报中获取主要业务信息

【办公自动化】用Python批量从上市公司年报中获取主要业务信息

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…
阅读更多...
python3 重启docker方法

python3 重启docker方法

一、工作中的问题 工作中进行测试时&#xff0c;需要修改nacos配置&#xff0c;修改完成后再重启对应的docker容器&#xff0c;让配置生效&#xff0c;研究了下&#xff0c;使用docker库可以做到。 如何修改nacos配置可以参见我的另一篇文章&#xff0c;传送门 python3 修改…
阅读更多...
软件测试行业已经卷到什么程度了？

软件测试行业已经卷到什么程度了？

近几个月经常听到IT行业的人员吐槽找工作难的事情&#xff0c;特别是找软件测试工作相比前几年难了很多&#xff0c;以前只要简历一挂网上&#xff0c;每天会接到好多个面试邀请电话&#xff0c;甚至两三天或者一周内就能把工作找好&#xff0c;而现在把简历投了个遍&#xff0…
阅读更多...
10. 正则表达式匹配

10. 正则表达式匹配

10. 正则表达式匹配 class IsMatch:"""10. 正则表达式匹配https://leetcode.cn/problems/regular-expression-matching/description/"""def solution(self, s: str, p: str) -> bool:m, n len(s), len(p)memo [[-1] * n for _ in range(m)]…
阅读更多...
T-ETL和ELT区别

T-ETL和ELT区别

ETL表示提取、转换和加载&#xff1b;ELT表示提取、加载和转换。都是用于数据集成。 两者区别 ETL和ELT在数据集成过程中有着明显的区别。 ETL ETL&#xff0c;即抽取、转换、加载&#xff0c;是从不同的数据源抽取信息&#xff0c;将其转换为根据业务定义的格式&#xff0c…
阅读更多...
在Linux上利用宝塔面板搭建网站，并通过内网穿透方便地实现公网访问

在Linux上利用宝塔面板搭建网站，并通过内网穿透方便地实现公网访问

文章目录 前言1. 环境安装2. 安装cpolar内网穿透3. 内网穿透4. 固定http地址5. 配置二级子域名6. 创建一个测试页面 前言 宝塔面板作为简单好用的服务器运维管理面板&#xff0c;它支持Linux/Windows系统&#xff0c;我们可用它来一键配置LAMP/LNMP环境、网站、数据库、FTP等&…
阅读更多...
IDEA报错：No valid Maven installation found

IDEA报错：No valid Maven installation found

当我想要用maven进行clean的时候&#xff0c;发现报了这个错误&#xff0c;idea的event logs记录为 网上又说可能是因为你的maven环境没有配置好&#xff0c;我对我的maven进行了检查&#xff0c;发现是没有问题的&#xff0c;在这里提醒大家&#xff0c;如果你以前的项目maven…
阅读更多...
计算机竞赛 机器视觉opencv答题卡识别系统

计算机竞赛 机器视觉opencv答题卡识别系统

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 答题卡识别系统 - opencv python 图像识别 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f947;学长这里给一个题目综合评分(每项满分5分…
阅读更多...
ChatGPT新增超强插件：文本直接生成视频、海报，支持自定义修改！

ChatGPT新增超强插件：文本直接生成视频、海报，支持自定义修改！

全球著名在线设计平台Canva&#xff0c;在ChatGPT Plus&#xff08;GPT-4&#xff09;上推出了插件功能&#xff0c;用户通过文本提示&#xff0c;几秒钟就能生成演示文稿、PPT插图、电子书封面、宴会邀请函等各种精美设计海报&#xff0c;同时支持生成视频。 该插件最强大的功…
阅读更多...
怎样为Apache配置文件索引页？

怎样为Apache配置文件索引页？

索引页是指当访问一个目录时&#xff0c;自动打开哪个文件作为索引。例如&#xff0c;访问http:/localhost这个地址实际上访问的是http//localhost/index.html,这是因为index.html是默认索引页&#xff0c;可以省略索引页的文件名。 在Apache配置文件confhttpd.conf 中搜索Dir…
阅读更多...
爬虫系统的核心：如何创建高质量的HTML文件？

爬虫系统的核心：如何创建高质量的HTML文件？

在网页抓取或爬虫系统中&#xff0c;HTML文件的创建是一项重要的任务。HTML文件是网页的基础&#xff0c;包含了网页的所有内容和结构。在爬虫系统中&#xff0c;我们需要生成一个HTML文件&#xff0c;以便于保存和处理网页的内容。 在这种情况下&#xff0c;可以使用Java函数…
阅读更多...
最新文章

Copyright @ 2022~2023