电商项目之如何判断线程池是否执行完所有任务

在这里插入图片描述

文章目录

  • 1 问题背景
  • 2 前言
  • 3 4种常用的方法
  • 4 代码
    • 4.1 isTerminated()
    • 4.2 线程池的任务总数是否等于已执行的任务数
    • 4.3 `CountDownLatch`计数器
    • 4.4 `CyclicBarrier`计数器

1 问题背景

真实生产环境的电商项目,常使用线程池应用于执行大批量操作达到高性能的效果。应用场景有批量补偿修正数据库历史数据、定时批量执行业务逻辑(涉及到百万级数据)、批量初始化新业务的数据等等。用到线程池,必须要知道任务是否执行完了,才能进行下一步业务操作。今天总结归纳4种常用的方法判断线程池是否执行完所有任务

2 前言

先给出解决方案,文末再贴出详细代码
参考自:面试突击35:如何判断线程池已经执行完所有任务了?

3 4种常用的方法

  1. 线程池提供的isTerminated()方法。缺点是需要调用shutdown()关闭线程池
  2. 判断线程池的任务总数是否等于已执行的任务数。优点是无需关闭线程池。缺点是两个数值都是动态计算的,只是一个近似值
  3. CountDownLatch计数器。写法很优雅,且无需关闭线程池,但它的缺点是只能使用一次,CountDownLatch 创建之后不能被重复使用
  4. CyclicBarrier计数器。和 CountDownLatch 类似,它可以理解为一个可以重复使用的循环计数器,CyclicBarrier 可以调用reset()将自己重置到初始状态

4 代码

4.1 isTerminated()

@Slf4j
public class IsTerminatedDemo {private static final int BLOCKING_QUEUE_CAPACITY = 100;private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss:SSS");/*** 使用isTerminated判断线程池是否执行完任务,缺点是要关闭线程池** @param args*/public static void main(String[] args) {ThreadPoolExecutor threadPool = new ThreadPoolExecutor(10,10,10 * 60,TimeUnit.SECONDS,new ArrayBlockingQueue<>(BLOCKING_QUEUE_CAPACITY),new DefaultThreadFactory("complete_thread_pool"),new ThreadPoolExecutor.AbortPolicy());// 添加任务for (int i = 0; i < 5; i++) {int finalI = i;threadPool.submit(() -> {// 随机休眠int r = new Random().nextInt(5);try {Thread.sleep(r);} catch (InterruptedException e) {throw new RuntimeException(e);}log.info("Task NO.{} finish.", finalI);});}threadPool.shutdown();// 判断线程池是否执行完所有任务,前提是要执行shutdownwhile (!threadPool.isTerminated()) {log.info("{}: ThreadPool handleing task.", LocalDateTime.now().format(FORMATTER));}log.info("All tasks have been finished!");}
}

4.2 线程池的任务总数是否等于已执行的任务数

@Slf4j
public class GetCompletedTaskCountDemo {private static final int BLOCKING_QUEUE_CAPACITY = 100;private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss:SSS");/*** 判断线程池是否执行完所有任务,如果计划执行任务数=已完成任务数,那么线程池的任务就全部执行完了。* 优点是无需关闭线程池* 缺点是 getTaskCount() 和 getCompletedTaskCount() 返回的是一个近似值,因为线程池中的任务和线程的状态可能在计算过程中动态变化,所以它们两个返回的都是一个近似值** @param args*/public static void main(String[] args) {ThreadPoolExecutor threadPool = new ThreadPoolExecutor(10,10,10 * 60,TimeUnit.SECONDS,new ArrayBlockingQueue<>(BLOCKING_QUEUE_CAPACITY),new DefaultThreadFactory("complete_thread_pool"),new ThreadPoolExecutor.AbortPolicy());// 添加任务for (int i = 0; i < 5; i++) {int finalI = i;threadPool.submit(() -> {// 随机休眠int r = new Random().nextInt(5);try {Thread.sleep(r);} catch (InterruptedException e) {throw new RuntimeException(e);}log.info("Task NO.{} finish.", finalI);});}// 判断线程池是否执行完所有任务,如果计划执行任务数=已完成任务数,那么线程池的任务就全部执行完了。// 优点是无需关闭线程池// 缺点是 getTaskCount() 和 getCompletedTaskCount() 返回的是一个近似值,因为线程池中的任务和线程的状态可能在计算过程中动态变化,所以它们两个返回的都是一个近似值while (threadPool.getTaskCount() != threadPool.getCompletedTaskCount()) {log.info("{}: ThreadPool handleing task.", LocalDateTime.now().format(FORMATTER));}log.info("All tasks have been finished!");}
}

4.3 CountDownLatch计数器

@Slf4j
public class CountDownLatchDemo {private static final int BLOCKING_QUEUE_CAPACITY = 100;private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss:SSS");/*** 写法很优雅,且无需关闭线程池,但它的缺点是只能使用一次,CountDownLatch 创建之后不能被重复使用,* 也就是说 CountDownLatch 可以理解为只能使用一次的计数器** @param args*/public static void main(String[] args) {ThreadPoolExecutor threadPool = new ThreadPoolExecutor(10,10,10 * 60,TimeUnit.SECONDS,new ArrayBlockingQueue<>(BLOCKING_QUEUE_CAPACITY),new DefaultThreadFactory("complete_thread_pool"),new ThreadPoolExecutor.AbortPolicy());int taskCount = 5;CountDownLatch cdl = new CountDownLatch(taskCount);// 添加任务for (int i = 0; i < taskCount; i++) {int finalI = i;threadPool.submit(() -> {// 随机休眠int r = new Random().nextInt(5);try {Thread.sleep(r);} catch (InterruptedException e) {throw new RuntimeException(e);}log.info("Task NO.{} finish.", finalI);// 线程执行完,计数器减1cdl.countDown();});}log.info("{}: ThreadPool handleing task.", LocalDateTime.now().format(FORMATTER));try {// 阻塞等待所有线程执行完任务cdl.await();} catch (InterruptedException e) {throw new RuntimeException(e);}log.info("All tasks have been finished!");}
}

4.4 CyclicBarrier计数器

@Slf4j
public class CyclicBarrierDemo {private static final int BLOCKING_QUEUE_CAPACITY = 100;private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss:SSS");/***和 CountDownLatch 类似,它可以理解为一个可以重复使用的循环计数器,CyclicBarrier 可以调用 reset 方法将自己重置到初始状态** @param args*/public static void main(String[] args) {ThreadPoolExecutor threadPool = new ThreadPoolExecutor(10,10,10 * 60,TimeUnit.SECONDS,new ArrayBlockingQueue<>(BLOCKING_QUEUE_CAPACITY),new DefaultThreadFactory("complete_thread_pool"),new ThreadPoolExecutor.AbortPolicy());int taskCount = 5;CyclicBarrier cb = new CyclicBarrier(taskCount, () -> log.info("log from CyclicBarrier, all tasks of ThreadPool have been finished"));// 添加任务for (int i = 0; i < taskCount; i++) {int finalI = i;threadPool.submit(() -> {// 随机休眠int r = new Random().nextInt(5);try {Thread.sleep(r);} catch (InterruptedException e) {throw new RuntimeException(e);}log.info("Task NO.{} finish.", finalI);// 阻塞等待try {cb.await();} catch (Exception e) {throw new RuntimeException(e);}});}log.info("All tasks have been finished!");}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/51008.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Dify中语音和文字间转换问题的一种暂时注释方式

本文主要解释了Dify中语音和文字间转换可能会遇到的问题&#xff0c;并给出了一种暂时注释的解决方案。 一.文本转语音可能问题 本地部署文本转语音时&#xff0c;如果遇到如下问题&#xff0c;安装ffmpeg即可。但是如果安装后&#xff0c;重启系统还是遇到这个问题该如何办&…

分库分表——从理论到最佳实践

目录 1、为什么要分库分表&#xff1f;2、切分方案有哪些&#xff1f;2.1 分库2.1.1 垂直分库2.1.2 水平分库 2.2 分表2.2.1 垂直分表2.2.2 水平分表 2.3 分库分表 3、数据水平分片方法3.1 Hash分片3.2 一致性Hash分片3.3 Range分片 4、分库分表的挑战4.1 分布式id4.2 分布式事…

LLM:归一化 总结

一、Batch Normalization 原理 Batch Normalization 是一种用于加速神经网络训练并提高稳定性的技术。它通过在每一层网络的激活值上进行归一化处理&#xff0c;使得每一层的输入分布更加稳定&#xff0c;从而加速训练过程&#xff0c;并且减轻了对参数初始化的依赖。 公式 …

分类模型——逻辑回归和Fisher线性判别分析

个人学习笔记&#xff0c;课程为数学建模清风付费课程 目录 一、引例 二、逻辑回归 2.1线性概率模型 2.2Fisher线性判别分析 2.3两点分布&#xff08;伯努利分布&#xff09; 2.4连接函数的取法 2.5如何求解 2.6如何用于分类 三、SPSS 3.1二元分类 3.1.1逻辑回…

MySQL内如何改变编码格式

查找数据库的编码格式&#xff1a; show variables like character%;具体内容时这些 在创建表时设定编码格式&#xff1a; create database <要创建的数据库的名字> charset utf8; 修改数据库默认编码&#xff1a; set character_set_databaseutf8mb4; character_…

eclipse ui bug

eclipse ui bug界面缺陷&#xff0c;可能项目过多&#xff0c;特别maven项目过多&#xff0c;下载&#xff0c;自动编译&#xff0c;加载更新界面异常 所有窗口死活Restore不回去了 1&#xff09;尝试创建项目&#xff0c;还原界面&#xff0c;失败 2&#xff09;关闭所有窗口&…

Vue.js 搭建大屏可视化项目

引言 在数字化转型的时代背景下&#xff0c;大屏可视化项目因其直观的数据展示和实时的业务监控能力而变得日益重要。Vue.js&#xff0c;以其简洁的语法、高效的虚拟DOM和强大的组件化能力&#xff0c;成为了构建大屏可视化应用的首选框架之一。本文将从零开始&#xff0c;引导…

Springboot @Validate @Valid 基于复杂嵌套对象的参数校验示例

Springboot Validate Valid 基于复杂嵌套对象的参数校验示例 复杂对象 Data public class Object1 {Length(max 50,message "长度不能超过50位字符")NotBlank(message "名称不能为空")private String name;NotNull(message "不能为空")pri…

将TP5链接导入笔影个人博客代码

首先第一步&#xff0c;打开界面 第二步&#xff0c;这里卡住了&#xff0c;无法看到源代码&#xff0c;我们使用其他软件看看源代码 调试乱码&#xff0c;因为没有找到相应的笔影个人博客源码。源码在桌面上。询问百度&#xff0c;说了有的没的一大堆。 尝试的结果就是失败…

时间复杂度与O(n)

文章目录 1 复杂度分析1.1 时间复杂度1.1.1 循环执行次数1.1.2 大O(n)表示法 1.2 空间复杂度 1 复杂度分析 1.1 时间复杂度 ​ 时间复杂度用来表示算法运行时间的长短&#xff0c;用来定性的描述程序的运行时间。要了解时间复杂度&#xff0c;我们需要先了解程序执行的次数。…

机器学习(二十二):精度和召回率

一、倾斜数据集 倾斜数据集&#xff1a;一个数据集中的正面和负面例子的比例非常不平衡&#xff0c;比如数据集中&#xff0c;结果为1的占比20%&#xff0c;结果为0的占比80% 例子&#xff1a;如果数据集的结果中只有0.5%是1&#xff0c;其余结果是0。有一个模型的预测准确度…

【elasticsearch实现词重复,文档长度不影响匹配度】

elasticsearch实现词重复&#xff0c;文档长度不影响匹配度 前言BM25&#xff08;默认&#xff09;索引重建 前言 搜索场景要求&#xff1a; 关键词重复出现不影响匹配度【默认重复匹配度会提高】记录的文档长度不影响匹配度【默认文档越短&#xff0c;匹配度越高】 BM25&am…

【信创】udisk2服务异常导致U盘使用中自动移除问题解决

原文链接&#xff1a;【信创】udisk2服务异常导致U盘使用中自动移除问题解决 Hello&#xff0c;大家好啊&#xff01;今天给大家带来一篇关于在信创终端操作系统上由于udisk2服务异常导致U盘等移动设备在使用中自动移除问题的排查文章。udisk2是一个管理存储设备的服务&#xf…

restTemplate实现http远程调用

import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.web.client.RestTemplate; /*** description 将RestTemplate注入到容器当中&#xff0c;让他保持单例&#xff0c;当我们哪个…

树莓派下,docker中安装部署TensorFlow java版本

在树莓派上安装和部署TensorFlow Java版本需要一些特定的步骤,尤其是当你打算使用Docker容器来运行它时。以下是详细的步骤,帮助你在树莓派上完成这一任务。 一、准备工作 确保你的树莓派操作系统已更新,并安装了Docker。如果尚未安装,使用以下命令进行安装和更新: sud…

C++学习第四天

文章目录 1. 存储变量值的内存2. 声明并初始化指针3.引用运算符4. 解除引用运算符 1. 存储变量值的内存 /* - 指针是一个变量&#xff0c;与所有变量一样&#xff0c;指针也占用内存空间- 指针的特殊之处在于&#xff0c;指针包含的值&#xff08;这里为0x558&#xff09;被解…

【计算机网络】OSPF单区域实验

一&#xff1a;实验目的 1&#xff1a;掌握在路由器上配置OSPF单区域。 2&#xff1a;学习OSPF协议的原理&#xff0c;及其网络拓扑结构改变后的变化。 二&#xff1a;实验仪器设备及软件 硬件&#xff1a;RCMS交换机、网线、内网网卡接口、Windows 2019操作系统的计算机等。…

Vue 3 实现左侧列表点击跳转滚动到右侧对应区域的功能

使用 Vue 3 实现左侧列表点击跳转到右侧对应区域的功能 1. 引言 在这篇博客中&#xff0c;我们将展示如何使用 Vue 3 实现一个简单的页面布局&#xff0c;其中左侧是一个列表&#xff0c;点击列表项时&#xff0c;右侧会平滑滚动到对应的内容区域。这种布局在很多应用场景中都…

Llama 3.1 405B 详解

2024 年 7 月 23 日星期二&#xff0c;Meta 宣布推出 Llama 3.1&#xff0c;这是其Llama 系列大型语言模型 (LLM)的最新版本。虽然只是对 Llama 3 模型进行小幅更新&#xff0c;但它特别引入了Llama 3.1 405B——一个 4050 亿参数的模型&#xff0c;这是迄今为止世界上最大的开…

力扣刷题录——链表

一、移除链表元素 移除链表元素 法一&#xff1a;不使用虚拟头节点 ListNode* removeElements(ListNode* head, int val) {//若删除头节点while(head!NULL&&head->valval)//连续删除头节点的条件{headhead->next;} //删除其他节点&#xff08;先判断是不是空链…