多线程执行List的addAll方法产生的并发问题

问题分析

将查询条件subList分为70个一组,通过CompletableFuture执行异步多线程分批次查询数据库,查询完成后在whenCompleteAsync方法中将结果存储在resultList中。

诡异的情况发生了,查询出来的结果resultList中有10000个数据,其中70 * n个为null的对象

try {//分页的参数 每个大小70 总大小100000List<List<Long>> subList = ......;//结果集List<QueryEntity> resultList = new ArrayList<>();//全流式处理转换成CompletableFuture[]+组装成一个无返回值CompletableFuture,join等待执行完毕。返回结果whenComplete获取CompletableFuture[] cfs = subList.stream().map(list -> CompletableFuture.supplyAsync(() -> querySQLList(list), threadPoolTaskExecutor).whenCompleteAsync((v, e) -> {resultList.addAll(v);})).toArray(CompletableFuture[]::new);//等待总任务完成,但是封装后无返回值,必须自己whenComplete()获取CompletableFuture.allOf(cfs).join();log.info("结果集中空对象的个数: " + resultList.stream().filter(Objects::isNull).count());//结果集中空对象的个数: 70} catch (Exception e) {throw new RuntimeException("异常", e);
}

问题排查

猜测1:查询数据库的问题

查询数据库的过程中,因为网络或者其他原因导致查询出来的结果为null

List<QueryEntity> querySQLList(List<Long> paramList) {List<QueryEntity> resultList = this.sqlMapper.querySQL(paramList);log.info("结果集中空对象的个数: " + resultList.stream().filter(Objects::isNull).count());//结果集中空对象的个数: 0return resultList;
}

执行方法后,日志打印的空对象个数都是0,所以这一步能查到数据

猜测2: whenCompleteAsync方法的问题

怀疑是whenCompleteAsync方法接受的参数为List中全是空参数,于是在方法中增加日志

CompletableFuture[] cfs = subList.stream().map(list -> CompletableFuture.supplyAsync(() -> querySQLList(list), threadPoolTaskExecutor).whenCompleteAsync((v, e) -> {resultList.addAll(v);log.info("结果集中空对象的个数: " + resultList.stream().filter(Objects::isNull).count());//结果集中空对象的个数: 0})).toArray(CompletableFuture[]::new);//等待总任务完成,但是封装后无返回值,必须自己whenComplete()获取CompletableFuture.allOf(cfs).join();

但是结果也是空对象个数都是0

最终原因

因为是异步多线程,所有有可能会产生并发问题。因为数据大小为10000,一个数据不多也不少,所以一开始没想到是并发导致的问题。

CopyOnWriteArrayList是线程安全的List,替换ArrayList后,就没有发生过List中为空的问题了

//结果集
List<QueryEntity> resultList = new CopyOnWriteArrayList<>();
//....分片查询

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/830006.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【经典算法】Leetcode.83删除排序链表中的重复元素(Java/C/Python3/Go实现含注释说明,Easy)

标签&#xff1a;链表 题目描述 给定一个排序链表&#xff0c;删除所有重复的元素&#xff0c;使得每个元素只出现一次。 原题&#xff1a;LeetCode 83 思路及实现 方式一&#xff1a;双指针 思路 使用快慢双指针遍历链表&#xff0c;快指针用于遍历链表&#xff0c;慢指…

PY32F040单片机产品介绍,LQFP封装,带LCD 驱动器

PY32F040单片机搭载了 Arm Cortex-M0内核&#xff0c;最高主频可达72 MHz&#xff0c;专为高性价比、高可靠性的系统而设计&#xff0c;符合消费市场的基本设计需求。可广泛应用于电机控制、手持设备、PC 外设、以及复杂的数字控制应用等领域。 PY32F040片内集成 UART、I2C、S…

手机空号过滤,提高工作效率

手机空号过滤在多个方面都具有重要的作用。 首先&#xff0c;它对于短信群发商和电话营销商来说至关重要。通过空号过滤&#xff0c;他们可以确保手机号码数据库的准确性和有效性。由于每天都有大量人群因各种原因更换手机号码&#xff0c;导致每个号段中的空号率和手机状态都…

Debian 系统设置SSH 连接时长

问题现象&#xff1a; 通过finalshell工具连接Debian系统远程操作时&#xff0c;总是一下断开一下断开&#xff0c;要反复重新连接 &#xff0c;烦人&#xff01; 解决办法&#xff1a; 找到ssh安装目录下的配置文件&#xff1a;sshd_config vi sshd_config &#xff1a; 找到…

【喜报】科大睿智为武汉博睿英特科技高质量通过CMMI3级评估咨询工作

武汉博睿英特科技有限公司是信息通信技术产品、建筑智慧工程服务提供商。其拥有专注于航空、政府、教育、金融等多行业领域的资深团队&#xff0c;及时掌握最新信息通信应用技术&#xff0c;深刻理解行业业务流程&#xff0c;擅于整合市场优质资源&#xff0c;积极保持与高校产…

STM32 SPI通信

一、SPI总线简介 1.1 SPI总线 串口外设接口&#xff08;Serial Peripheral Interface&#xff0c;SPI&#xff09;总线是一种同步串行外设接口&#xff0c;允许MCU与各种外围设备进行全双工、同步串行通信 SPI总线有四根通信线&#xff1a; ①SCK&#xff08;Serial Clock&a…

并发编程中的各类锁

引言 在并发编程中&#xff0c;锁是一种关键的同步机制&#xff0c;用于控制多个线程对共享资源的访问。不同类型的锁在不同的场景下有着不同的适用性和性能特点。本文将探讨几种常见的锁&#xff0c;包括互斥锁、自旋锁、读写锁、悲观锁和乐观锁&#xff0c;并对它们进行详细总…

On evaluating adversarial robustness of large vision language models - 论文翻译

论文链接&#xff1a;https://arxiv.org/pdf/2305.16934 项目代码&#xff1a;https://github.com/yunqing-me/AttackVLM On evaluating adversarial robustness of large vision language models Abstract1 Introduction2 Related work3 Methodology3.1 Preliminary3.2 Transf…

linux的压缩与备份

一、打包 格式&#xff1a;tar -参数 <打包文件名> <打包的目标> 作用&#xff1a;将文件或者目录打包 重要参数&#xff1a;-f 使用归档文件&#xff0c;一定要加上这个参数 -c 新建打包文件 -x 解包文件 -t 可以不用解包就能查看包文件内容 -v 打包和解包时显…

JVM的垃圾回收机制(GC机制)

在Java代码运行的过程中&#xff0c;JVM发现 某些资源不需要再使用的时候&#xff0c;就会自动把资源所占的内存给回收掉&#xff0c;就不需要程序员自行操作了。“自动回收资源”就是JVM的“垃圾回收机制”&#xff0c;“垃圾回收机制”也称"GC机制"。 对于Java代码…

Redux(类似vue中的vuex和pina)

什么是Redux Redux 是React最常用的集中状态管理工具&#xff0c;类似于Vue中的Pinia&#xff08;Vuex&#xff09;&#xff0c;可以独立于框架运行 作用&#xff1a;通过集中管理的方式管理应用的状态 为什么要使用Redux&#xff1f; 独立于组件&#xff0c;无视组件之间的层…

C语言指针进阶_字符指针、指针数组、数组指针、函数指针等的介绍

文章目录 前言一、字符指针二、指针数组三、 数组指针1. 数组名和 & 数组名2. 数组指针3. 数组指针解引用 四、数组指针的使用二维数组的传参说明数组指针使用小测验 五、数组传参和指针传参1. 一维数组传参总结2. 二维数组传参总结3. 一级指针传参4. 二级指针传参 六、函数…

MR混合现实实训系统为农学情景实训教学演练

MR混合现实实训系统在农学课堂上的应用具有很大的潜力。它能够为学生提供一种全新的学习方式&#xff0c;使他们能够更直观地了解和理解农业实践。 首先&#xff0c;MR混合现实技术可以模拟真实环境&#xff0c;使学生能够更深入地了解各种农作物生长的过程和环境因素。通过模拟…

java案例-服务端与客户端(传输对象)

需求 代码 SysUser 用户类Operation 操作类Client 客户端Server 服务端ServerReaderThread 服务端线程类 SysUser 用户类 需要实现Serializable 方便序列化&#xff0c;传输对象 public class SysUser implements Serializable {private String username;private String passwo…

kerberos-hive-dbeaver问题总结

一、kerberos安装windows客户端 1、官方下载地址 http://web.mit.edu/kerberos/dist/ 2、环境变量配置 下载msi安装包&#xff0c;无需重启计算机&#xff0c;调整环境变量在jdk的前面&#xff0c;尽量靠前&#xff0c;因为jdk也带了kinit、klist等命令 C:\Program Files\…

攻防演练作为红方:postgresql提权之UDF提权 ,及其好用的工具

在 PostgreSQL 中&#xff0c;用户定义的函数&#xff08;UDF&#xff09;提权是一种常见的提升权限的方法&#xff0c;尤其是当你已经获得了数据库的访问权限但需要更高级别系统权限时。UDF 提权涉及在数据库中创建或使用函数&#xff0c;这些函数可以执行系统级别的命令&…

【Node.js工程师养成计划】之原生node开发web服务器

一、使用node创建http服务器 var http require(http);// 获取到服务器实例对象 var server http.createServer() server.listen(8080, function() {console.log(http://127.0.0.1:8080); })server.on(request, function(req, res){console.log(request);res.write(6666666688…

如何利用 GPT 自我提高写作能力

GPT革命&#xff1a;如何用AI技术重新定义写作 介绍 在我们的数字时代&#xff0c;了解自我提高写作的必要性至关重要。 随着 GPT 的兴起&#xff0c;我们正在见证书写的变革时代。 这篇扩展文章深入探讨了 GPT 如何显着提高写作技能。 拥抱未来&#xff1a; 人工智能时代的写…

Maven介绍 主要包括Maven的基本介绍,作用,以及对应的Maven模型,可以对Maven有一个基本的了解

1、Maven介绍 1.1 什么是Maven Maven是Apache旗下的一个开源项目&#xff0c;是一款用于管理和构建java项目的工具。 官网&#xff1a;https://maven.apache.org/ Apache 软件基金会&#xff0c;成立于1999年7月&#xff0c;是目前世界上最大的最受欢迎的开源软件基金会&…

Elasticsearch实现hotel索引库自动补全、拼音搜索功能

Elasticsearch实现hotel索引库自动补全、拼音搜索功能 在这里边我们有两个字段需要用拼音分词器&#xff0c;一个name字段&#xff0c;一个all字段。 然后我们还需要去实现自动补全&#xff0c;而自动补全对应的字段必须使用completion类型。目前我们酒店里面所有的字段都采用的…