okhttp导致的内存溢出(OOM)sun.security.ssl.SSLSocketImpl

  • 使用分析工具:MAT(Memory Analyzer Tool)、JvisualVM
  • 占用内存:sun.security.ssl.SSLSocketImpl

一、 项目场景:

功能:一个定时任务(xxl-job)采用线程池的方式多线程请求第三方拉取数据,网络框架使用okhttp3。
问题:执行job时,内存短时间内暴增,导致OOM


二、问题描述

  • 定时任务执行时,突然内存激增,OOM导致项目重启。
  • 下面这张图是重启后再次执行定时任务的内存监控

    image.png

三、原因分析:

3.1 查看堆栈信息

使用MAT查看堆栈信息,sun.security.ssl.SSLSocketImpl这个东西占了62%
image.png

点击Details ,可以看到有9k多个对象

image.png

使用OQL查询sun.security.ssl.SSLSocketImpl,发现其中的host都是请求第三方的地址

select * from sun.security.ssl.SSLSocketImpl

image.png
image.png

到这里,基本可以定位到是由于请求第三方资源没有释放,导致内存暴增。接下来查看请求第三方的代码

3.2 查看代码

看到底层工具类OkHttpClientUtil工具类中获取OkHttpClient对象的代码是这样的,每次请求都是new一个OkhttpClient对象,可能是每次都是new一个OkhttpClient的问题,于是在本地复现

   private static OkHttpClient getHttpClient() {return new OkHttpClient.Builder().connectTimeout(obtainConnectTimeOut(), TimeUnit.MILLISECONDS).writeTimeout(obtainWriteTimeOut(), TimeUnit.MILLISECONDS).readTimeout(obtainReadTimeOut(), TimeUnit.MILLISECONDS).build();}

四、场景复现:

模拟生产,采用线程池方式多线程请求,请求地址改为百度,数据随便塞一点只要正常相应就行。

4.1代码

OkHttpClientUtil 工具类,getHttpClient()是之前的,getHttpClientSingleton()是我新写的

@Slf4j
public class OkHttpClientUtil {private static final MediaType TYPE_JSON = MediaType.parse("application/json; charset=utf-8");private volatile static OkHttpClient okHttpClient;public static OkHttpClient getHttpClient() {return new OkHttpClient.Builder().connectTimeout(30000, TimeUnit.MILLISECONDS).writeTimeout(1800000, TimeUnit.MILLISECONDS).readTimeout(1800000, TimeUnit.MILLISECONDS).build();}/*** 单例双重检测** @return*/public static OkHttpClient getHttpClientSingleton() {if (null == okHttpClient) {synchronized (OkHttpClient.class) {if (null == okHttpClient) {okHttpClient = new OkHttpClient.Builder().connectTimeout(30000, TimeUnit.MILLISECONDS).writeTimeout(1800000, TimeUnit.MILLISECONDS).readTimeout(1800000, TimeUnit.MILLISECONDS).build();}}}return okHttpClient;}}

测试类

@Slf4j
@SpringBootTest
public class SpringAmqpTest {@Bean(name = "banksAssetTaskExecutor")public TaskExecutor assetTaskExecutor() {ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();// 设置核心线程数executor.setCorePoolSize(20);// 设置最大线程数executor.setMaxPoolSize(100);// 设置队列容量executor.setQueueCapacity(1000);// 设置默认线程名称executor.setThreadNamePrefix("AssetTaskExecutor-api-thread");// 设置线程池拒绝策略:抛弃旧的executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardOldestPolicy());// 等待所有任务结束后再关闭线程池executor.setWaitForTasksToCompleteOnShutdown(true);executor.initialize();return executor;}@Resourceprivate TaskExecutor assetTaskExecutor;@Testpublic void test() throws Exception {final CountDownLatch countDownLatch = new CountDownLatch(20);for (int i = 0; i < 20; i++) {assetTaskExecutor.execute(() -> {//每个线程执行1000个请求for (int j = 0; j < 10000; j++) {try {long l1 = System.currentTimeMillis();Response response = requestBaidu();long l2 = System.currentTimeMillis();log.info("线程id{},请求响应时间{},相应内容{},", Thread.currentThread().getName(), l2 - l1, response);} catch (Exception e) {log.info("执行失败Excetion:", e);}}countDownLatch.countDown();});}countDownLatch.await();System.out.println("执行完成!!!!");}private Response requestBaidu() throws IOException {// //获取OkHttpClient对象(getHttpClient()\getHttpClientSingleton())OkHttpClient okHttpClient = OkHttpClientUtil.getHttpClient();Map<String, String> map = new HashMap<>();map.put("江", "哈哈");String json = JSONObject.toJSONString(map);RequestBody body = RequestBody.create(TYPE_JSON, json);Request request = new Request.Builder().url("https://baidu.com/").post(body).build();Response response = okHttpClient.newCall(request).execute();return response;}}

4.2 测试结果

4.2.1 每次都new HttpClient

使用getHttpClient()方法获取HttpClient对象(每次请求都new一个新的HttpClient对象)

控制打印可以看到不断的发出请求

image.png

使用jvisualvm工具(位于jdk bin目录下) 分析堆情况

执行后,发现堆在不断增大

image.png

点击菜单上的线程,看到一堆的等待线程OkHttp connectionPool(连接池)

image.png

将堆信息下载下来,用MAT分析

点击右上角堆Dump下载堆信息

image.png

使用MAT分析

发现最大占用的两个部分别是:sun.security.ssl.SSLSocketImplokhttp3.ConnectionPool(连接池),场景基本复现。

image.png

image.png
image.png

使用OQL查看

image.png

host地址是百度地址,基本复现

image.png

4.2.2 使用单例模式

使用getHttpClientSingleton()方法获取HttpClient对象(每次请求都new一个新的HttpClient对象)

使用jvisualVM监控

堆稳定,不会不断增加

image.png

等待线程也不多

image.png

4.3 为什么每次请求都创建OkHttpClient会导致内存溢出

分析完知道导致问题的原因是每次请求都去new一个OkHttpClient,那为什么会导致内存溢出呢?
路径:okhttp3.Dispatcher#executorService可以看到这块代码

  public synchronized ExecutorService executorService() {if (executorService == null) {executorService = new ThreadPoolExecutor(0, Integer.MAX_VALUE, 60, TimeUnit.SECONDS,new SynchronousQueue<Runnable>(), Util.threadFactory("OkHttp Dispatcher", false));}return executorService;}

从这里可以知道每个okHttpClient对象在请求的时候都会创建一个线程池(连接池),而且线程池的keepAliveTime是1分钟;
由于之前的代码是每次请求都new一个OkHttpClient对象,所以每次请求都会new一个新的线程池,在一分钟内大量进行请求的会,内存会在短时间内暴涨。
解决办法依就是只使用一个OkHttpClient

五、解决方案:

解决方法就是只使用一个OkHttpClient实例,而不是每次都去创建

以下两种都可以

  • 使用单例模式
  • 使用静态代码块,只加载一次。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/198122.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

爬虫概念、基本使用及一个类型和六个方法(一)

目录 一、爬虫简介 1.什么是爬虫 2.爬虫的核心 3.爬虫的用途 4.爬虫的分类 5.反爬手段 二、Urllib基本使用 1.导入我们需要的包 2.定义一个url 3.模拟浏览器向服务器发送请求 4.获取响应中的页面的源码 5.打印数据 三、一个类型和六个方法 1.定义url&#xff0c;并…

代码级接口测试与单元测试的区别

关于接口测试 接口测试是一个比较宽泛的概念, 近几年在国内受到很多企业和测试从业者的追捧, 尤其是上层的UI在取悦用户的过程中迭代更新加快, UI自动化维护成本急剧上升的时代, 大家便转向了绕过前端的接口层面进行测试. 但是很多人, 对接口测试的理解并不完整, 事实上, 我们…

【数据结构】最短路径——Floyd算法

一.问题描述 给定带权有向图G&#xff08;V&#xff0c;E&#xff09;&#xff0c;对任意顶点 V &#xff08;ij)&#xff0c;求顶点到顶点的最短路径。 转化为&#xff1a; 多源点最短路径求解问题 解决方案一&#xff1a; 每次以一个顶点为源点调用Dijksra算法。时间复杂…

基于yolov8-道路裂缝检测

1 介绍 本文主要是搜集数据&#xff0c;从网上kaggle等网站找了2000多张图片&#xff0c;然后使用yolov8模型进行训练&#xff0c;最后只展示训练过程中的图片&#xff0c;如果有需要&#xff0c;可以联系&#xff1a;https://docs.qq.com/doc/DWEtRempVZ1NSZHdQ。

在线学习平台-需求分析(Java)

需求分析 研发集管理员、教务、教师、学生四种权限一体的中后台教务服务管理系统。其中管理员能够开设账号与角色分配&#xff0c;控制系统权限&#xff1b;教务能够进行班级管理、学员管理&#xff1b;教师能够进行课程与教学资源发布、作业发布与批改&#xff1b;学生能够观…

力扣刷题day1(两数相加,回文数,罗马数转整数)

题目1&#xff1a;1.两数之和 思路1和解析&#xff1a; //1.暴力枚举解法(历遍两次数组&#xff0c;时间复杂度O&#xff08;N^2)&#xff0c;空间复杂度O&#xff08;1&#xff09; int* twoSum(int* nums, int numsSize, int target, int* returnSize) {for (int i 0; i &…

【Selenium+Webmagic】基于JAVA语言实现爬取js渲染后的页面,附有代码

事先声明 笔者最近需要查看一些数据&#xff0c;自己挨个找太麻烦了&#xff0c;于是简单的学了一下爬虫。笔者在这里声明&#xff0c;爬的数据只为学术用&#xff0c;没有其他用途&#xff0c;希望来这篇文章学习的同学能抱有同样的目的。 枪本身不坏&#xff0c;坏的是使用枪…

如何制作教育培训小程序

教育培训行业近年来发展迅速&#xff0c;越来越多的机构开始意识到通过小程序来提供在线教育服务的重要性。小程序不仅可以为用户提供便捷的学习体验&#xff0c;还可以增加机构的知名度和品牌影响力。那么&#xff0c;如何制作一款教育培训小程序呢&#xff1f; 首先&#xff…

sqlmap400报错问题解决

python sqlmap.py -r sql.txt --batch --techniqueB --tamperspace2comment --risk 3 --force-ssl–batch 选项全部默认 不用再手动输入 –techniqueB 使用布尔盲注&#xff0c;该参数是指出要求使用的注入方式 –tamperspace2comment使用特殊脚本&#xff0c;space2comment是把…

【MySQL语言汇总[DQL,DDL,DCL,DML]以及使用python连接数据库进行其他操作】

MySQL语言汇总[DQL,DDL,DCL,DML] SQL分类1.DDL:操作数据库&#xff0c;表创建 删除 查询 修改对数据库的操作对表的操作复制表&#xff08;重点&#xff09;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 2.DML:增删改表中数据3.DQL&#xff1a;查询表中的记录…

jsp在线辅助教育系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 在线辅助教育系统是一套完善的java web信息管理系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开发&#xff0c;数据库为Mysql5.0&…

工厂生产数据展示基本布局Demo(提供素材)

效果图&#xff1a; <template><div class"app-container"><a-row :span"24"><a-col :span"12"><div class"divBox"><div class"flexBoxs"><div style"margin: 2px 5px;"…

在windows server系统下,快速部署自己的网站

目录 xampp简介xampp的作用xampp的安装方法Apache简介Apache的作用 本文主要介绍使用xampp软件包在windows server系统下&#xff0c;快速部署自己的网站。 xampp简介 XAMPP是一款基于Apache、MySQL、PHP和Perl的开源Web服务器软件包。XAMPP支持多个操作系统&#xff0c;包括W…

go写文件后出现大量NUL字符问题记录

目录 背景 看看修改前 修改后 原因 背景 写文件完成后发现&#xff1a; size明显也和正常的不相等。 看看修改前 buf : make([]byte, 64) buffer : bytes.NewBuffer(buf)// ...其它逻辑使得buffer有值// 打开即将要写入的文件&#xff0c;不存在则创建 f, err : os.Open…

MySQL数据备份

一、逻辑备份 备份的是建表、建库、插入等操作所执行SQL语句&#xff0c;适用于中小型数据库&#xff0c;效率相对较低。 本质&#xff1a;导出的是SQL语句文件 优点&#xff1a;不论是什么存储引擎&#xff0c;都可以用mysqldump备成SQL语句 缺点&#xff1a;速度较慢&…

Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上

1.1 目的 部署MysqlCluster集群环境 1.2 MySQL集群Cluster原理 1 数据分片 MySQL集群Cluster将数据分成多个片段&#xff0c;每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上&#xff0c;提高系统的性能和可扩展性。 2. 数据同步 MySQL集群Cluster使…

c++--运算符重载

1.重载的运算符 (1).重载运算符函数的参数数量与该运算符作用的运算对象数量一样多。 (2).除了重载的函数调用运算符operator()之外&#xff0c;其他重载运算符不能含有默认实参。 (3).对一个重载的运算符&#xff0c;其优先级和结合律与对应的内置运算符保持一致。 (4).当一个…

2022年全国大学生数据分析大赛医药电商销售数据分析求解全过程论文及程序

2022年全国大学生数据分析大赛 医药电商销售数据分析 原题再现&#xff1a; 问题背景   20 世纪 90 年代是电子数据交换时代&#xff0c;中国电子商务开始起步并初见雏形&#xff0c;随后 Web 技术爆炸式成长使电子商务处于蓬勃发展阶段&#xff0c;目前互联网信息碎片化以…

css实现正六边形嵌套圆心

要实现一个正六边形嵌套圆心&#xff0c;可以使用CSS的::before和::after伪元素以及border-radius属性。以下是具体的解析和代码&#xff1a; 使用::before和::after伪元素创建正六边形。设置正六边形的背景色。使用border-radius属性使正六边形的内角为60度。在正六边形内部创…

【matlab程序】matlab画子图的多种样式

【matlab程序】matlab画子图的多种样式