未设置超时时间导致线程池资源耗尽,排查过程

错误分析:

        @Scheduled进行定时任务的时候,spring会创建一个线程,然后用这个线程来执行任务,如果这个任务阻塞了,那么这个任务就会停滞,出现不执行的情况。而使用原生的方法进行http请求时,如果不设置超时时间,定时任务的那个线程就会一直等待对方的响应,就会一直处于运行状态处理该任务,等待下个任务到的时候就没有线程运行了。

        正常任务执行完毕后线程的状态应该是TIMED_WAITING,在异常的状态下线程的状态却是RUNNABLE,说明上个任务没有执行完毕,线程一直在执行。

执行完毕后正常状态:

执行完毕后异常状态: 

错误代码:

@Component
@Log4j2
public class ScheduleTask {@Autowiredprivate SecondUserMapper secondUserMapper;@Scheduled(cron = "0 0/2 * * * ?") //定时任务注解+cron表达式public void testScheduleTask() throws IOException, InterruptedException {List<String> urlList = secondUserMapper.getRandomUrlList();Thread.sleep(3000);for (String s : urlList) {URL url = new URL(s);// 打开连接HttpURLConnection connection = (HttpURLConnection) url.openConnection();// 设置请求方法为GETconnection.setRequestMethod("GET");// 添加自定义的请求头信息String agent = secondUserMapper.getRandomAgent();connection.addRequestProperty("User-Agent", agent);connection.addRequestProperty("Accept-Language", "en-US,en;q=0.9");// 获取服务器返回的状态码int responseCode = connection.getResponseCode();if (responseCode == HttpURLConnection.HTTP_OK) {// 读取服务器返回的数据BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));String line;StringBuilder response = new StringBuilder();while ((line = reader.readLine()) != null) {response.append(line);}reader.close();System.out.println("Server Response:" + responseCode);} else {System.out.println("Error Code: " + responseCode);}// 关闭连接connection.disconnect();}log.info("线程名称为{},线程状态为{}",Thread.currentThread().getName(),Thread.currentThread().getState().name());}
}

正确代码:

增加超时时间即可

@Component
@Log4j2
public class ScheduleTask {@Autowiredprivate SecondUserMapper secondUserMapper;@Scheduled(cron = "0 0/2 * * * ?") //定时任务注解+cron表达式public void testScheduleTask() throws IOException, InterruptedException {List<String> urlList = secondUserMapper.getRandomUrlList();Thread.sleep(3000);for (String s : urlList) {URL url = new URL(s);// 打开连接HttpURLConnection connection = (HttpURLConnection) url.openConnection();// 设置请求方法为GETconnection.setRequestMethod("GET");connection.setConnectTimeout(100000);connection.setReadTimeout(100000);// 添加自定义的请求头信息String agent = secondUserMapper.getRandomAgent();connection.addRequestProperty("User-Agent", agent);connection.addRequestProperty("Accept-Language", "en-US,en;q=0.9");// 获取服务器返回的状态码int responseCode = connection.getResponseCode();if (responseCode == HttpURLConnection.HTTP_OK) {// 读取服务器返回的数据BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));String line;StringBuilder response = new StringBuilder();while ((line = reader.readLine()) != null) {response.append(line);}reader.close();System.out.println("Server Response:" + responseCode);} else {System.out.println("Error Code: " + responseCode);}// 关闭连接connection.disconnect();}log.info("线程名称为{},线程状态为{}",Thread.currentThread().getName(),Thread.currentThread().getState().name());}
}

错误总结:

        我们一般认为线程处于blocked状态的时候线程才是处于阻塞状态,但是这个状态只是对于计算机来说的。对于我们来说,只要业务不执行了,线程就是处于阻塞状态的,因此任何状态下的线程对于业务来说都是阻塞的。

        我这个项目是爬虫项目,会去爬取别人网站的数据,有些网站识别爬虫之后不仅会拒绝你访问,还会通过一直不给响应使得你的服务器线程占满,进而导致你的爬虫服务器崩溃。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/806604.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

应该如何进行POC测试?—【DBA从入门到实践】第三期

在数据库选型过程中&#xff0c;为确保能够灵活应对数据规模的不断扩大和处理需求的日益复杂化&#xff0c;企业和技术人员会借助POC测试来评估不同数据库系统的性能。在测试过程中&#xff0c;性能、并发处理能力、存储成本以及高可用性等核心要素通常会成为大家关注的焦点&am…

分析染色体级别的基因组装配揭示了六倍体栽培菊花的起源和进化-文献精读-7

Analyses of a chromosome-scale genome assembly reveal the origin and evolution of cultivated chrysanthemum 分析染色体级别的基因组装配揭示了栽培菊花的起源和进化 六倍体植物基因组的文献&#xff0c;各位同仁还有什么有特色的基因组评论区留言~ 摘要 菊花&#xf…

如何将PHP的Webman框架打包成二进制文件运行

看了看webman的官方文档&#xff0c;发现居然还能打包为二进制&#xff0c;这样太厉害了吧&#xff01; 先执行这个 composer require webman/console ^1.2.24 安装这个console的包&#xff0c;然后 执行 php webman build:bin 8.1 结果谁想到它报错提示&#xff1a; 好…

嵌入式软件裸机开发—常用的软件架构

嵌入式软件裸机开发 嵌入式软件裸机开发是指在没有操作系统支持的情况下&#xff0c;直接对硬件进行编程&#xff0c;以实现特定功能的开发过程。这种开发方式适用于资源受限、实时性要求高或对系统开销敏感的应用场景。在裸机开发中&#xff0c;设计合理的软件架构对于保证程…

Lesson1--数据结构前言

1. 什么是数据结构&#xff1f; 2. 什么是算法&#xff1f; 3. 数据结构和算法的重要性 4. 如何学好数据结构和算法 5. 数据结构和算法书籍及资料推荐 1. 什么是数据结构&#xff1f; 数据结构(Data Structure) 是计算机存储、组织数据的方式&#xff0c;指相互之间存在一…

oracle 删除用户名

在Oracle数据库中&#xff0c;删除用户的操作通常需要DBA权限。以下是删除Oracle用户的基本SQL命令&#xff1a; DROP USER username CASCADE;请将username替换为你想要删除的用户名。 CASCADE关键字表示同时删除用户拥有的所有对象&#xff08;如表、视图、序列等&#xff0…

机器学习和深度学习-- 李宏毅(笔记与个人理解)Day8

Day 8 classification &#xff1a;Probabilistic Generative Model 今天上了一整天的课&#xff0c; 本来实在是更新不动了&#xff0c;但是看到《剑来》更新了&#xff0c;想一想这本书里面一直强调的成功的feature – 心性&#xff0c;嗯心性坚毅就好&#xff01;主人公陈平…

Unity 遮罩

编辑器版本 2017.2.3f1 学习Unity的三张遮罩方式 1. Mask 遮罩方式 首先&#xff0c;在界面上创建2个Image&#xff0c;一个命名Img_Mask,大小设置 400* 400&#xff0c; 一个命名Img_Show,大小设置500*500。 然后&#xff0c;给 Img_Mask添加Mask,选择Img_Mask,点击Add Com…

docker 创建容器过程

结合下图&#xff0c;本文讨论docker 创建容器过程&#xff1a; START└── [用户通过Docker Client发出指令]└── (1) docker run 或 docker create 命令├── (2) Docker Client与Docker Daemon建立通信连接└── (3) Docker Daemon接收到创建容器请求├── (4) 检查…

vue3里前端生成二维码和解析二维码(不需要后端参与)

1.生成二维码 1&#xff09;安装qrcode npm install qrcode 2&#xff09;生成二维码代码 <template><el-input v-model"formData.designation"></el-input><el-input v-model"formData.people"></el-input><el-button …

Python --- Python + Vs code的安装与使用(windows平台)

Python Vs code的安装与使用 今天是我第一次开始尝试用Python&#xff0c;然后我想借此机会记录一下整个安装过程和上手过程。之前一直都是用的matlab&#xff0c;这个东西不仅大而且收费&#xff0c;但不可否认的是。matlab的很多东西都做的比较好&#xff0c;但我一直用的都…

【Linux的进程篇章 - 进程终止和进程等待的理解】

Linux学习笔记---008 Linux之fork函数、进程终止和等待的理解1、fork函数1.1、什么是fork?1.2、fork的功能介绍1.3、fork函数返回值的理解1.4、fork函数的总结 2、进程的终止2.1、终止是在做什么&#xff1f;2.2、进程终止的3种情况 3、进程的终止3.1、进程终止的三种情况3.2、…

1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3

1.8.4 卷积神经网络近年来在结构设计上的主要发展和变迁——Inception-v2 和Inception-v3 前情回顾&#xff1a; 1.8.1 卷积神经网络近年来在结构设计上的主要发展和变迁——AlexNet 1.8.2 卷积神经网络近年来在结构设计上的主要发展和变迁——VGGNet 1.8.3 卷积神经网络近年来…

阿里Canal使用

Canal 是阿里巴巴开源的一款基于 MySQL 数据库增量日志解析&#xff0c;提供实时的数据订阅和消费服务的工具。它可以用来读取 MySQL 的 binlog 日志并转换成 JSON 格式的事件消息&#xff0c;然后将这些消息发布到下游的消息中间件&#xff0c;比如 RabbitMQ&#xff0c;以实现…

输入输出系统的发展历程

发展阶段&#xff1a;1.早期阶段&#xff1a;i/o设备种类较少&#xff0c;i/o设备与主存交换信息都必须通过CPU&#xff0c;当时的i/o设备具有以下特点&#xff0c;每个i/o设备都必须配有一套独立的逻辑电路与CPU相连&#xff0c;线路十分庞杂散乱。输入输出过程是穿插在CPU执行…

MySQL innoDB存储引擎多事务场景下的事务执行情况

一、背景 在日常开发中&#xff0c;对不同事务之间的隔离情况等理解如果不够清晰&#xff0c;很容易导致代码的效果和预期不符。因而在这对一些存在疑问的场景进行模拟。 下面的例子全部基于innoDB存储引擎。 二、场景&#xff1a; 2.1、两个事务修改同一行记录 正常来说&…

Java 对象的初始化顺序

在 Java 中&#xff0c;对象的初始化顺序都是遵循一定的规则的。这涉及到类的构造函数调用、字段初始化以及继承关系中的初始化顺序。 当涉及到继承时&#xff0c;初始化顺序如下&#xff1a; 父类静态变量和静态初始化块&#xff1a;按照声明的顺序执行。子类静态变量和静态…

自动化测试框架-senlenium(2)

目录 1.前言 2.鼠标点击 2.1click点击对象 2.2senk_keys在对象上模拟键盘输入 2.3清除对象输入的文本内容 2.4submit提交 2.5 text用于获取文本信息 ​编辑3.获取信息 3.1获取title 3.2获取url 1.前言 前面我们讲了如何定位元素,那么我们把元素定位到了以后,又如何…

Python的MATLAB使用

Python和MATLAB是两种不同的编程语言&#xff0c;它们各自拥有不同的生态系统和库。然而&#xff0c;你可以在Python中使用一些方法来实现与MATLAB类似的功能。以下是一些方法和库&#xff0c;可以帮助你在Python中实现MATLAB风格的编程&#xff1a; 1. NumPy: NumPy是Python中…

图论知识汇总

算法可以发掘本质&#xff0c;如&#xff1a; 一&#xff0c;若干师傅和徒弟互有好感&#xff0c;有好感的师徒可以结对学习。师傅和徒弟都只能参加一个对子。如何让对子最多。 二&#xff0c;有无限多1X2和2X1的骨牌&#xff0c;某个棋盘若干格子坏了&#xff0c;如何在没有坏…