聊聊接口最大并发处理数

文章目录

  • 前言
  • 并发和并行
  • 并发(Concurrency)
  • 并行(Parallelism)
  • 思考一下

前言

生活在 2023 年的互联网时代下,又是在国内互联网越发内卷的背景下,相信大家面试找工作、网上学习查资料时都了解过互联网系统设计三高指标,那就是高并发、高性能、高可用。本文主要讲高并发、高性能相关。本质上高性能也是为了给高并发铺平道路。而高并发设计中一部分也就是对应了本文主题接口最大并发数。

并发和并行

再开始讲并发之前,我需要再给大家回顾一些旧知识。
什么是并发?什么是并行…

并发(Concurrency)

早期计算机的 CPU 都是单核的,一个 CPU 在同一时间只能执行一个进程/线程,当系统中有多个进程/线程等待执行时,CPU 只能执行完一个再执行下一个。
计算机在运行过程中,有很多指令会涉及 I/O 操作,而 I/O 操作又是相当耗时的,速度远远低于 CPU,这导致 CPU 经常处于空闲状态,只能等待 I/O 操作完成后才能继续执行后面的指令。
为了提高 CPU 利用率,减少等待时间,人们提出了一种 CPU 并发工作的理论。
所谓并发,就是通过一种算法将 CPU 资源合理地分配给多个任务,当一个任务执行 I/O 操作时,CPU 可以转而执行其它的任务,等到 I/O 操作完成以后,或者新的任务遇到 I/O 操作时,CPU 再回到原来的任务继续执行。

虽然 CPU 在同一时刻只能执行一个任务,但是通过将 CPU 的使用权在恰当的时机分配给不同的任务,使得多个任务在视觉上看起来是一起执行的。CPU 的执行速度极快,多任务切换的时间也极短,用户根本感受不到,所以并发执行看起来才跟真的一样。

并行(Parallelism)

并发是针对单核 CPU 提出的,而并行则是针对多核 CPU 提出的。和单核 CPU 不同,多核 CPU 真正实现了“同时执行多个任务”。

多核 CPU 内部集成了多个计算核心(Core),每个核心相当于一个简单的 CPU,如果不计较细节,你可以认为给计算机安装了多个独立的 CPU。

多核 CPU 的每个核心都可以独立地执行一个任务,而且多个核心之间不会相互干扰。在不同核心上执行的多个任务,是真正地同时运行,这种状态就叫做并行。
例如,同样是执行两个任务,双核 CPU 的工作状态如下图所示:

双核 CPU 执行两个任务时,每个核心各自执行一个任务,和单核 CPU 在两个任务之间不断切换相比,它的执行效率更高。

思考一下

那么这里我们讲了关于并发、并行概念与我们的接口最大并发处理数之间有什么关系嘞?放心这都是铺垫,为了让你好消化后面的内容。
这里我给大家总结下并发与并行的概念:

并发:在同一时间段内,多个任务都在执行,但不一定是同时执行。这意味着这些任务在轮流使用 CPU 的时间片,给人一种它们在“同时”运行的错觉。并发的真正含义在于,尽管多个程序或进程可能正在运行,但每次只有一个进程或线程实际上正在使用 CPU。
并行:指在同一时刻,多个任务都在执行。这通常需要多个处理器或多核的 CPU 来实现,因为只有这样,每个处理器或核心才能在同一时刻执行一个任务。例如,当音乐软件和 IDEA 同时运行时,如果计算机有两个以上的 CPU 核心,那么这两个应用程序就可以真正地并行运行。

大家注意我上面加粗的字体,并发强调的是在同一段时间内,它是一个时间范围的概念。打个比方,并发是一个人同时吃三个馒头,吃完一个馒头需要 1 分钟,他就算胃口在大,也只能一个一个馒头吃,吃完三个需要花 3 分钟。
再看并行,并行强调的在同一时刻。打个比方,并行就是三个人同时吃三个馒头。这三个人可以在同一时刻一人吃一个馒头。吃完三个只需要花 1 分钟。
那么看到这里,我在问你个问题,3 个人的在 3 分钟内最多能吃多少个馒头?
相信大家都能告诉我。
理解接口的最大并发处理数
在 Java 语言里面,我们怎么理解并发跟并行嘞?还是跟吃馒头一样,我给大家打个比方,相信大家就明白了。
比如说我有一个接口,他的 RT (响应时长)是 50 毫秒,只有一个线程处理客户端请求,那这个线程在 1000 毫秒就能够处理 20 个客户端请求。
这里 20 就代表一个线程在 1 秒内的最大并发数。
那假如有两个线程处理客户端请求,接口的最大并发数是不是变成了 40,三个线程处理客户端请求,接口的最大并发数就变成了 60,以此类推。
这里我们就可以得出一个公式,线程个数 * 单线程最大并发数 就代表接口的最大并行处理数。
那么根据公式,我们得出一个结论,通过增大线程数或者减少接口响应时间可以增大接口的最大并发处理数。
聊聊 Tomcat 容器的并发处理配置
在 Spring Boot 发布后,Tomcat 就成为了 Spring Boot 默认的 web 容器。这里结合上文内容,给大家讲解下 Spring Boot 中涉及 Tomcat 服务器的一些关键参数,以及在高并发情况下如何通过这些参数来控制请求量。Spring boot 配置文件如下,

SpringBoot 版本:3.1.5

server:port: 8080tomcat:threads:max: 200min-spare: 10accept-count: 100max-connections: 8192server.port

该参数用于指定服务器监听的端口号。通过配置不同的端口号,可以实现多个服务在同一主机上并行运行。

这里为了方便大家理解,我用开饭店来给大家做比喻。通过指定服务器 ip + 启动端口,就相当于告诉顾客我们的饭店位置,等待顾客上门吃饭。

server.tomcat.threads.max
该参数定义了 Tomcat 服务器的最大线程数。在高并发情况下,可以通过增加最大线程数来提高服务器最大并发处理数的能力,但需要注意服务器的硬件资源限制。

threads.max 相当于设置饭店在最忙碌时候,需要的最大的服务员数量,假如说一个服务员只能服务 1 个客人,那么 200 个服务员就可以同时服务 200 个客人,注意这是并行服务哦。

server.tomcat.threads.min-spare
此参数用于设置服务器在空闲状态下保持的最小线程数。确保服务器在处理请求时有足够的线程可用,以避免延迟。

threads.min-spare 相当于设置饭店空闲时候需要的最少的服务员数量。

server.tomcat.max-connections
该参数指定服务器接受和处理的客户端最大连接数。超过这个限制后,会放入 accept-count 队列中

max-connections 相当于设置饭店空间内客人的最大容纳数量,注意是容纳,进了饭店的客人不是一进来就能享受服务的。往往还需要等待一段时间。这段时间就是当服务员服务上一个客人完毕后,有空出来的服务员才能给进店新客人服务。

server.tomcat.accept-count
此参数定义了当所有可能的请求处理线程都在使用时,传入连接请求的最大队列长度。在高并发情况下,可以通过适当调整此参数来控制连接请求的排队长度。

accept-count 相当于设置饭店门口的排队人数大小。想一想我们外出吃饭的时候,什么情况需要排队,当然是店内爆满,没有座位。那么这个时候你就需要排个队了。注意如果说排队人都满了,怎么办?
这个时候饭店就会通知没有排上队,还想要假如排队的人,“你们不要排队了,今天吃饭人满了,大家去别处吃饭吧!”。
对应上 Tomcat 就是遇到客户端连接数量超过了 max-connections + accept-count 大小后的情况,此时 Tomcat 会直接拒绝新的客户端连接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/186951.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何计算数据泄露的成本

现在,几乎所有类型的组织每天都在发生企业 IT 网络遭到破坏的情况。它们是任何合规官员最担心的问题,并且找出更好的方法来防止它们或从中恢复是合规官员永远不会远离的想法。 但数据泄露的实际成本是多少?该数字从何而来?当您获…

考试复习

选择20道 填空10道 判断10道 简答4-5道 编程题2道 一、选择题 1.js中更改一个input框的值&#xff1a; <input ida type"text" value"123456"> 通过a.value改变他的值 方法&#xff1a; 在script标签中通过id获得该输入框对象&#xff0c;然…

纯净版ISO镜像下载大全(Windows、Linux、mac)

目录 一、前言介绍 前言必读 介绍 二、获取ISO镜像方式 &#xff08;一&#xff09;官方镜像下载 &#xff08;二&#xff09;获取下载方式 ps&#xff1a;回复的内容都是小写的 Windows操作系统 1.windows XP系统 2.Windows 7系统 3.Windows10系统 4.Windows11系…

Flutter应用程序的加固原理

在移动应用开发中&#xff0c;Flutter已经成为一种非常流行的技术选项&#xff0c;可以同时在Android和iOS平台上构建高性能、高质量的移动应用程序。但是&#xff0c;由于其跨平台特性&#xff0c;Flutter应用程序也面临着一些安全风险&#xff0c;例如反编译、代码泄露、数据…

Python的正则表达式使用

Python的正则表达式使用 定义使用场景查替换分割 常用的正则表达符号查原字符英文状态的句号点 .反斜杠 \英文的[]英文的()英文的?加号 星号 *英文状态的大括号 {} 案例 定义 正则表达式是指专门用于描述或刻画字符串内在规律的表达式。 使用场景 无法通过切片&#xff0c;…

numpy知识库:深入理解numpy.resize函数和数组的resize方法

前言 numpy中的resize函数顾名思义&#xff0c;可以用于调整数组的大小。但具体如何调整&#xff1f;数组形状变了&#xff0c;意味着数组中的元素个数发生了变化(增加或减少)&#xff0c;如何确定resize后的新数组中每个元素的数值呢&#xff1f;本次博文就来探讨并试图回答这…

electron调用dll问题总汇

通过一天的调试安装&#xff0c;electron调用dll成功&#xff0c;先列出当前的环境&#xff1a;node版本: 18.12.0&#xff0c;32位的&#xff08;因为dll为32位的&#xff09; VS2019 python node-gyp 1、首先要查看报错原因&#xff0c;通常在某一行会有提示&#xff0c;常…

什么是基线和 x-height

前言 在排版和字体设计领域&#xff0c;了解和掌握基线&#xff08;baseline&#xff09;和 x 高度&#xff08;x-height&#xff09;的概念是至关重要的。这两个术语描述了字母在视觉上是如何对齐的&#xff0c;以及它们相对于其他字母的大小。通过对这两个概念的深入了解&…

elk+filebeat+kafka集群部署

EFK实验架构图&#xff1a; 实现高并发&#xff0c;无需指定logstash 3台esfile&#xff0c;3台kafka 20.0.0.10 esfile 20.0.0.20 esfile 20.0.0.30 esfile 20.0.0.11 kafka 20.0.0.12 kafka 20.0.0.13 kafka在es1主机上解压filebeat cd filebeat 安装nginx服务 vim /usr/loc…

无人机助力电力设备螺母缺销智能检测识别,python基于YOLOv7开发构建电力设备螺母缺销高分辨率图像小目标检测系统

传统作业场景下电力设备的运维和维护都是人工来完成的&#xff0c;随着现代技术科技手段的不断发展&#xff0c;基于无人机航拍飞行的自动智能化电力设备问题检测成为了一种可行的手段&#xff0c;本文的核心内容就是基于YOLOv7来开发构建电力设备螺母缺销检测识别系统&#xf…

软件设计师——计算机网络(一)

&#x1f4d1;前言 本文主要是【计算机网络】——软件设计师计算机网络的题目&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是听风与他&#x1f947; ☁️博客首页&#xff1a;CSDN主页听风与他 &#x1f304…

su与 su -导致邮箱收件异常

先贴代码 rootlocalhost postfix]# su - mail-user1 Last login: Thu Nov 30 17:07:14 CST 2023 on pts/0 [mail-user1localhost ~]$ mail Heirloom Mail version 12.5 7/5/10. Type ? for help. "/var/spool/mail/mail-user1": 3 messages > 1 root …

Arduino、ESP8266、HTML相关知识点记录

C代码 const char *ssid "********"; // 这里定义将要建立的WiFi名称。 const char *password "********"; // 这里定义将要建立的WiFi密码。 多WiFi连接&#xff1a; wifiMulti.addAP("**…

TypeScript 中声明类型的方法

1、使用:运算符来为变量和函数参数指定类型。例如&#xff1a; let num: number 5; function add(a: number, b: number): number {return a b; }2、使用 type 关键字来声明自定义类型别名。例如&#xff1a; type Point {x: number;y: number; };3、使用 interface 关键字…

element Tree 树形控件 高亮默认

需求&#xff1a; 1. 进入页面&#xff0c;默认选中需要的节点&#xff0c;并展开做出高亮效果&#xff0c;其他时候点击箭头图标才展开。 2. input框搜索树节点 代码&#xff1a; <el-asideclass"aside flex-shrink-0 bg-white"style"width:300px;height…

mockito加junit gd 单元测试 笔记

目录 一、简介1.1 单元测试的特点1.2 mock类框架使用场景1.3 常用mock类框架1.3.1 mockito1.3.2 easymock1.3.3 powermock1.3.4 JMockit 二、mockito的单独使用2.1 mock对象与spy对象2.2 初始化mock/spy对象的方式2.3 参数匹配2.4 方法插桩2.5 InjectMocks注解的使用断言工具 三…

SQL 金额数值转换成中文大写

需求&#xff1a;将金额转换成中文大写格式填入单据合计行&#xff1a; _佰_拾_万_仟_佰_拾_元_角_分 1234567.89 壹佰贰拾叁万肆仟伍佰陆拾柒元捌角玖分 1.函数转换 drop function n2C;CREATE FUNCTION n2C (num numeric(14,2)) RETURNS VARCHAR(20) AS BEGIN …

Java基础- 自定义类加载器

自定义类加载器 在 Java 中实现自定义类加载器通常涉及继承 ClassLoader 类并重写其 findClass 方法。自定义类加载器允许我们从非标准来源&#xff08;如网络、加密文件或其他媒体&#xff09;加载类。下面是实现自定义类加载器的基本步骤&#xff1a; 1. 继承 ClassLoader …

智跃人力资源管理系统 SQL注入漏洞复现

0x01 产品简介 智跃人力资源管理系统是基于B/S网页端广域网平台&#xff0c;一套考勤系统即可对全国各地多个分公司进行统一管控&#xff0c;成本更低。信息共享更快。跨平台&#xff0c;跨电子设备 0x02 漏洞概述 智跃人力资源管理系统GenerateEntityFromTable.aspx接口处存在…

SQL Sever 基础知识 - 数据查询

SQL Sever 基础知识 - 一、查询数据 一、查询数据第1节 基本 SQL Server 语句SELECT第2节 SELECT语句示例2.1 SELECT - 检索表示例的某些列2.2 SELECT - 检索表的所有列2.3 SELECT - 对结果集进行筛选2.4 SELECT - 对结果集进行排序2.5 SELECT - 对结果集进行分组2.5 SELECT - …