性能比较 - Spring Boot 应用程序中的线程池与虚拟线程 (Project Loom)

        本文比较了 Spring Boot 应用程序中的不同请求处理方法:ThreadPool、WebFlux、协程和虚拟线程 (Project Loom)。

        在本文中,我们将简要描述并粗略比较可在 Spring Boot 应用程序中使用的各种请求处理方法的性能。
        高效的请求处理在开发高性能后端应用程序中起着至关重要的作用。传统上,大多数开发人员使用 Spring Boot 应用程序中嵌入的 Tomcat,其默认线程池用于在后台处理请求。然而,替代方法近年来越来越受欢迎。WebFlux 利用事件循环进行响应式请求处理,而 Kotlin 协程及其suspend功能也越来越受到青睐。
        此外,引入虚拟线程的 Project Loom 预计将在 Java 21 中发布。不过,尽管 Java 21 尚未发布,但从 Java 19 开始我们就已经可以尝试 Project Loom 了。因此,在本文中,我们还将探索使用虚拟线程来处理请求。
        此外,我们将使用JMeter 进行高负载测试的不同请求处理方法进行性能比较。

性能测试模型

我们将使用以下模型来比较请求处理方法:

性能测试模型

流程就像蛋糕一样简单:

  • 客户端(JMeter)将并行发送 500 个请求。每个线程将等待响应,然后重复发送另一个请求。请求超时时间为 10 秒。测试时间将持续1分钟。
  • 我们正在测试的 Spring Boot 应用程序将接收来自客户端的请求并等待来自慢速服务器的响应。
  • 慢速服务器以随机超时响应。最大响应时间为 4 秒。平均响应时间为2秒。

处理的请求越多,性能结果就越好。

 

1. 线程池

默认情况下,Tomcat 使用线程池(有时称为连接池)来处理请求。
概念很简单:当请求到达 Tomcat 时,它会从线程池中分配一个线程来处理该请求。该分配的线程将保持阻塞状态,直到生成响应并将其发送回客户端。
默认情况下,线程池最多包含 200 个线程。这基本上意味着单个时间点只能处理 200 个请求。
但这个参数和其他参数是可配置的。

默认线程池

让我们对一个带有嵌入式 Tomcat 和默认线程池的简单 Spring Boot 应用程序进行性能测量。

线程池容纳 200 个线程。对于每个请求,服务器都会对另一台服务器进行阻塞调用,平均响应时间为两秒。因此我们可以预计每秒 100 个请求的吞吐量。

请求总数
吞吐量,请求/秒
响应时间,毫秒
错误率,%
平均的
最小
90%线
最大限度
3356
91.2
4787
155
6645
7304
0.00

值得注意的是,实际结果非常接近,测得的吞吐量为每秒 91.2 个请求。 

增加线程池 

让我们使用应用程序属性将线程池中的最大线程数增加到 400:

server:tomcat:threads:max: 400
 

让我们再次运行测试:

请求总数吞吐量,请求/秒响应时间,毫秒错误率,%
平均的最小90%线最大限度
6078176.7254910418448550.00

预计线程池中的线程数量加倍将使吞吐量提高两倍。

但请注意,在不考虑系统容量和资源限制的情况下增加线程池中的线程数量可能会对性能、稳定性和整体系统行为产生不利影响。根据系统的具体要求和功能仔细调整和优化线程池大小至关重要。

2.WebFlux

WebFlux 没有为每个请求分配专用线程,而是采用具有少量线程的事件循环模型,通常称为事件循环组。这使得它能够用有限数量的线程处理大量并发请求。请求是异步处理的,事件循环可以利用非阻塞 I/O 操作有效地同时处理多个请求。WebFlux非常适合需要高可扩展性的场景,例如处理大量长连接或流数据。
理想情况下,WebFlux 应用程序应该完全以响应式方式编写;有时,这并不那么容易。但我们有一个简单的应用程序,我们可以只使用WebClient 来调用慢速服务器。

@Bean
public WebClient slowServerClient() {return WebClient.builder().baseUrl("http://127.0.0.1:8000").build();
}

在 Spring WebFlux 的上下文中, RouterFunction 是请求映射和处理的另一种方法:

@Bean
public RouterFunction<ServerResponse> routes(WebClient slowServerClient) {return route(GET("/"), (ServerRequest req) -> ok().body(slowServerClient.get().exchangeToFlux(resp -> resp.bodyToFlux(Object.class)),Object.class));
}

但仍然可以使用传统控制器。

那么,让我们运行测试:

请求总数吞吐量,请求/秒响应时间,毫秒错误率,%
平均的最小90%线最大限度
7443219.2206812369943810.00

结果甚至比增加线程池的情况更好。但需要注意的是,线程池和 WebFlux 都有各自的优点和缺点,选择取决于具体要求、工作负载的性质以及开发团队的专业知识。

3. 协程和WebFlux

Kotlin协程 可以有效地用于请求处理,以更加并发和非阻塞的方式提供替代方法。
Spring WebFlux支持 协程来处理请求,所以让我们尝试编写这样一个控制器:

@GetMapping
suspend fun callSlowServer(): Flow<Any> {return slowServerClient.get().awaitExchange().bodyToFlow(String::class)
}

挂起函数可以执行长时间运行或阻塞操作,而不会阻塞底层线程。Kotlin 协程基础知识文章很好地描述了基础知识。

那么,让我们再次运行测试:

请求总数吞吐量,请求/秒响应时间,毫秒错误率,%
平均的最小90%线最大限度
7481220.420645361540490.00

粗略地,我们可以得出这样的结论:结果与没有协程的 WebFlux 应用程序的情况没有什么不同。

但除了协程之外,还使用了相同的WebFlux,测试可能并没有完全揭示出协程的潜力。下次,值得尝试Ktor。

4. 虚拟线程(Project Loom)

虚拟线程或纤维是Project Loom引入的概念。
与本机线程相比,虚拟线程的内存占用量显着降低,允许应用程序创建和管理更多数量的线程,而不会耗尽系统资源。它们可以更快地创建和切换,从而减少与线程创建相关的开销。
虚拟线程执行的切换由 Java 虚拟机 (JVM) 内部处理,可以在以下位置完成:
自愿挂起:虚拟线程可以使用Thread.sleep()或等方法显式挂起其执行CompletableFuture.await()。当虚拟线程自行挂起时,执行会暂时暂停,JVM 可以切换到执行另一个虚拟线程。
阻塞操作:当虚拟线程遇到阻塞操作,例如等待I/O或获取锁时,可以自动挂起。这允许 JVM 通过使用底层本机线程执行其他准备运行的虚拟线程来更有效地利用它们。
如果您对虚拟线程和载体线程主题感兴趣,请阅读 DZone 上这篇精彩的文章 — Java 虚拟线程 — 简单介绍。
虚拟线程最终将在 Java 21 中发布,但从 Java 19 开始我们就已经可以测试它们了。我们只需要显式指定 JVM 选项即可。

基本上,我们要做的就是用一些基于虚拟线程的执行器替换 Tomcat 线程池:

@Bean
public TomcatProtocolHandlerCustomizer<?> protocolHandler() {return protocolHandler ->protocolHandler.setExecutor(Executors.newVirtualThreadPerTaskExecutor());
}

因此,我们开始使用虚拟线程,而不是线程池执行器。

让我们运行测试:

请求总数吞吐量,请求/秒响应时间,毫秒错误率,%
平均的最小90%线最大限度
7427219.3208012369340740.00

结果实际上与 WebFlux 的情况相同,但我们根本没有使用任何反应式技术。即使对于慢速服务器的调用,也使用常规阻塞 RestTemplate。我们所做的就是用虚拟线程执行器替换线程池。

结论

让我们将测试结果收集到一张表中:

请求处理程序
30 秒内的请求总数
吞吐量,请求/秒响应时间,毫秒错误率,%
平均的最小90%线最大限度
线程池(200 个线程)335691.24787155664573040.00
增加线程池(400 个线程)6078176.7254910418448550.00
WebFlux7443219.22068123699943810.00
WebFlux + 协程7481220.420645361540490.00
虚拟线程(Project Loom)7427219.3208012369340740.00

本文进行的性能测试比较肤浅,但我们可以得出一些初步结论:

  • 线程池表现出较差的性能结果。增加线程数量可能会带来改进,但应考虑系统的容量和资源限制。尽管如此,线程池仍然是一个可行的选择,特别是在处理大量阻塞操作时。
  • WebFlux 展示了非常好的结果。但值得注意的是,要充分受益于其性能。整个代码应该以响应式风格编写。 
  • 将协程与 WebFlux 结合使用会产生类似的性能结果。也许我们必须使用 Ktor 来尝试它们,Ktor 是一个专门为利用协程的力量而设计的框架。 
  • 使用虚拟线程(Project Loom)也产生了类似的结果。然而,值得注意的是,我们没有修改代码或采用任何反应技术。唯一的改变是用虚拟线程执行器替换线程池。尽管很简单,但与使用线程池相比,性能结果显着提高。 

因此,我们可以初步得出结论,Java 21中虚拟线程的发布将显着改变现有服务器和框架中请求处理的方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/45876.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

嵌入式不如CS?信了你就上当了!

在现在的互联网上&#xff0c;有人疯狂劝退新人进入嵌入式行业。他们认为嵌入式的工资低于计算机科学&#xff0c;学习难度较大&#xff0c;前景也不好。 首先是工资方面&#xff0c;你要知道&#xff0c;计算机科学专业也有月薪四五千的人&#xff0c;也有月薪六位数的人。相…

Jmeter 连接 MySQL 数据库脚本

1、创建线程组 2、创建 JDBC Connection Configuration 3、创建 JDBC Request 4、最终创建的目录 5、重点来了 5.1 在百度中下载个 MySQL-connector-Java-8.0.28.jar&#xff0c;放在 jmeter 的 bin 目录下 5.2 在测试计划中&#xff0c;将 jar 包添加到脚本中 5.3 输入参…

面试之ReentrantLock

一&#xff0c;ReentrantLock 1.ReentrantLock是什么&#xff1f; ReentrantLock实现了Lock接口&#xff0c;是一个可重入且独占式的锁&#xff0c;和Synchronized关键字类似&#xff0c;不过ReentrantLock更灵活&#xff0c;更强大&#xff0c;增加了轮询、超时、中断、公平锁…

不同企业如何选择合适的CRM系统?

市场上的CRM系统千差万别&#xff0c;如何选到适合的CRM系统&#xff1f;很多企业凭借感觉盲目选型&#xff0c;结果上线后发现CRM系统功能不符合需求。这就好比买衣服&#xff0c;不试穿就买回家&#xff0c;结果发现尺码不合适&#xff0c;还不能退换。下面说说企业如何进行C…

series的数据对齐功能

Series 是一种类似于 Numpy 中一维数组的对象&#xff0c;它由一组任意类型的数据以及一组与之相关的数据标签&#xff08;即索引&#xff09;组成。举个最简单的例子&#xff1a; 上面的代码将打印出如下内容&#xff1a; 左边的是数据的标签&#xff0c;默认从 0 开始依次递增…

Git 目录详解

一、Git目录详解 在使用Git时&#xff0c;有几个目录和文件在Git项目中扮演着重要的角色&#xff0c;下面详细介绍一下这些目录和文件的作用 1、.git目录 .git目录是Git项目的核心&#xff0c;包含了Git的版本库和元数据等重要信息。在该目录中&#xff0c;有一些重要的子目录和…

嵌入式:ARM Day6

作业:完成cortex-A7核UART总线实验 目的&#xff1a;1.输入a,显示b&#xff0c;将输入的字符的ASCII码下一位字符输出 2.原样输出输入的字符串 源码&#xff1a; uart4.h #ifndef __UART4_H__ #define __UART4_H__#include "stm32mp1xx_rcc.h" #incl…

excel条件格式:不同组对应位置对比标记

问题描述 下图中有两组数据&#xff0c;想要对比两个对应位置的数据并标记 条件格式 选中其中一个单元格&#xff0c;条件格式->新建规则 使用公式确定要设置格式的单元格&#xff0c;自定义需求 格式化剩余同样标准的单元格

QT中资源文件resourcefile的使用

QT中资源文件resourcefile的使用 之前添加图标的方法使用资源文件的方法创建资源文件资源文件添加前缀资源文件添加资源使用资源文件中的资源 在Qt中引入资源文件好处在于他能提高应用程序的部署效率并且减少一些错误的发生。 在程序编译过程中&#xff0c; 添加到资源文件中的…

安全学习DAY17_信息打点-语言框架组件识别

信息打点-WEB打点-语言框架&开发组件 文章目录 信息打点-WEB打点-语言框架&开发组件本节涉及链接&工具本节知识&思维导图基础概念介绍框架&#xff1a;组件&#xff1a;Web架构 对应Web测试手法后端&#xff1a;前端组件&#xff1a;java居多&#xff0c;框架&…

广州华锐互动:3D数字孪生开发编辑器助力企业高效开发数字孪生应用

3D数字孪生开发编辑器是一种新兴的技术&#xff0c;它可以帮助企业更好地管理和维护其物联网设备。这些工具可以帮助企业实现对设备的实时监控、故障排除和优化&#xff0c;从而提高生产效率和降低成本。 数字孪生系统是一种将物理世界与数字世界相结合的技术&#xff0c;它可以…

点亮一颗LED灯

TOC LED0 RCC_APB2PeriphClockCmd(RCC_APB2Periph_GPIOB,ENABLE);//使能APB2的外设时钟GPIO_InitTypeDef GPIO_Initstructure;GPIO_Initstructure.GPIO_Mode GPIO_Mode_Out_PP;//通用推挽输出GPIO_Initstructure.GPIO_Pin GPIO_Pin_5;GPIO_Initstructure.GPIO_Speed GPIO_S…

Midjourney API 申请及使用

在人工智能绘图领域&#xff0c;想必大家听说过 Midjourney 的大名吧&#xff01; Midjourney 以其出色的绘图能力在业界独树一帜。无需过多复杂的操作&#xff0c;只要简单输入绘图指令&#xff0c;这个神奇的工具就能在瞬间为我们呈现出对应的图像。无论是任何物体还是任何风…

Java请求Http接口-OkHttp(超详细-附带工具类)

简介&#xff1a;OkHttp是一个默认有效的HTTP客户端&#xff0c;有效地执行HTTP可以加快您的负载并节省带宽&#xff0c;如果您的服务有多个IP地址&#xff0c;如果第一次连接失败&#xff0c;OkHttp将尝试备用地址。这对于IPv4 IPv6和冗余数据中心中托管的服务是必需的。OkHt…

LVS 负载均衡集群

集群 集群&#xff08;Cluster&#xff09;是一组相互连接的计算机或服务器&#xff0c;它们通过网络一起工作以完成共同的任务或提供服务。集群的目标是通过将多台计算机协同工作&#xff0c;提高计算能力、可用性、性能和可伸缩性&#xff0c;适用于大量高并发的场景。 集群…

【HBZ分享】java中的BitSet 与 Redis中的BitMap 与 布隆过滤器

BitMap的存储原理 bitMap他会标识出某个整数是否存在&#xff0c;存在即为1&#xff0c;不存在对应位即为0bitMap是存储int类型的&#xff0c;int 4byte&#xff0c; 1byte 8bit&#xff0c;因此bitMap数组中的每个下标可以标识出32个数字是否存在bitMap相当于一个个小格子&…

马哈鱼数据血缘工具背后的项目: gsp_demo_java 项目简单介绍与使用

0.背景 马哈鱼数据血缘工具(https://www.sqlflow.cn/)是SQLflow工具的中文译名,实际就是sqlflow. 对于SQL flow来说,底层调用的是General SQL Parser(GSP https://sqlparser.com) 的库. 这个gsp有开源的java demo项目:https://github.com/sqlparser/gsp_demo_java 1.快速使用…

第6章:支持向量机

间隔与支持向量 w为法向量&#xff0c;决定的是超平面的方向。b是偏移项&#xff0c;决定了超平面与原点之间的距离。 为什么最大化间隔&#xff0c;得到的就是最优平面呢&#xff1f; 当超平面没有正确划分正负样本时&#xff0c;几何间隔为负数。几何间隔&#xff0c;各个…

网络编程基础(1)

目录 网络编程解决是跨主机的进程间通讯 1、网络 2、互联网 3、ip地址 &#xff08;1&#xff09;ipv4: &#xff08;2&#xff09;ipV6:1 &#xff08;3&#xff09;IP地址的组成&#xff1a; (4)Linux查看IP地址&#xff1a;ifconfig 4、mac地址 5、ping Ip地址 6…

VisualVM(All-in-One Java Troubleshooting Tool)多合-故障处理工具

VisualVM&#xff1a;多合-故障处理工具 VisualVM&#xff08;All-in-One Java Troubleshooting Tool&#xff09;是功能最强大的 运行监视 和 故障处理 程序之一&#xff0c;曾经在很长一段时间内是Oracle官方主力发展的虚拟机故障处理工具。Oracle曾在VisualVM的软件说明中写…