限流是什么？如何限流？怎么限流？

概述

什么是限流

对某一时间窗口内的请求数进行限制，保持系统的可用性和稳定性，防止因流量暴增而导致的系统运行缓慢或宕机

为什么要限流

因为互联网系统通常都要面对大并发大流量的请求，在突发情况下（最常见的场景就是秒杀、抢购），瞬时大流量会直接将系统打垮，无法对外提供服务。那为了防止出现这种情况最常见的解决方案之一就是限流

限流维度&分类

维度

两种维度：

  1. 时间：基于某段时间范围或者某个时间点，也就是我们常说的“时间窗口”，比如对每分钟、每秒钟的时间窗口做限定
  2. 资源：基于可用资源的限制，比如设定最大访问次数，或最高可用连接数

总结：限流就是在某个时间窗口对资源访问做限制，但在真正的场景里，我们不止设置一种限流规则，而是会设置多个限流规则共同作用

分类

限流的分类如下所示：

  1. 合法性验证限流：比如验证码、IP 黑名单等，这些手段可以有效的防止恶意攻击和爬虫采集；
  2. 容器限流：比如 Tomcat、Nginx 等限流手段，
    1. 其中 Tomcat 可以设置最大线程数（maxThreads），当并发超过最大线程数会排队等待执行；
    2. 而 Nginx 提供了两种限流手段：一是控制速率，二是控制并发连接数；
  3. 服务端限流：比如我们在服务器端通过限流算法实现限流

限流指标（TPS、HPS、QPS、RPS）

TPS（Transactions Per Second） 是指每秒事务数：一个事务是指事务内第一个请求发送到接收到最后一个请求的响应的过程，以此来计算使用的时间和完成的事务个数。

  • 如果按照TPS来进行限流，时间粒度可能会很大大，很难准确评估系统的响应性能。

HPS（Hits Per Second） 指每秒点击次数（每秒钟服务端收到客户端的请求数量） 。是指在一秒钟的时间内用户对Web页面的链接、提交按钮等点击总和。 它一般和TPS成正比关系，是B/S系统中非常重要的性能指标之一。

  • 如果一个请求完成一笔事务，那TPS和HPS是等同的。
  • 但在分布式场景下，完成一笔事务可能需要多次请求，所以TPS和HPS指标不能等同看待。

QPS（Queries Per Second） 是指每秒查询率。是一台服务器每秒能够响应的查询次数（数据库中的每秒执行查询sql的次数），显然这个不够全面，不能描述增删改，所以不建议用QPS来作为系统性能指标。

  • 如果后台只有一台服务器，那 HPS 和 QPS 是等同的。
  • 但是在分布式场景下，每个请求需要多个服务器配合完成响应。

RPS（Requests Per Second） 是一个衡量系统或应用程序在一秒钟内能够处理的请求数量的性能指标。

容器限流

有两种限流方式：

  1. tomcat限流：配置最大线程数
  2. nginx限流：一是控制速率，二是控制并发连接数

tomcat限流

spring项目直接可以在配置文件中设置

  • 使用 application.properties:src/main/resources/application.properties文件中添加以下配置
    server.tomcat.max-threads=200  # 设置最大线程数为 200
  • 使用 application.yml:在 src/main/resources/application.yml 中添加：
    server:tomcat:max-threads: 200  # 设置最大线程数为 200

nginx限流

控制速率：

  • 使用limit_req_zone用来限制单位时间内的请求数，即速率限制，
    • 示例配置如下：
    • 配置表示，限制每个 IP 访问的速度为 2r/s，因为 Nginx 的限流统计是基于毫秒的，我们设置的速度是 2r/s，转换一下就是 500ms 内单个 IP 只允许通过 1 个请求，从 501ms 开始才允许通过第 2 个请求。
      limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server { location / { limit_req zone=mylimit;}
}
  • burst 关键字：真实情况下我们应该控制一个 IP 单位总时间内的总访问次数，而不是像上面那么精确但毫秒，我们可以使用 burst 关键字开启此设置，它表示在限速时，允许的额外请求数量。
  • 示例配置如下：
  • burst=4 表示每个 IP 最多允许4个突发请求
    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server { location / { limit_req zone=mylimit burst=4;}
}

控制并发数

  • 利用 limit_conn_zone 和 limit_conn 两个指令即可控制并发数
    • 示例配置如下：
    • 其中 limit_conn perip 10 表示限制单个 IP 同时最多能持有 10 个连接；
      • 只有当 request header 被后端处理后，这个连接才进行计数。
    • limit_conn perserver 100 表示 server 同时能处理并发连接的总数为 100 个。
limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {...limit_conn perip 10;limit_conn perserver 100;
}

服务端限流算法

常见的限流算法有三种：

  • 计数器限流：主要用来限制总并发数，比如数据库连接池大小、线程池大小、接口访问并发数等都是使用计数器算法
  • 漏桶算法：
    • 思路：漏桶算法思路很简单，我们把水比作是请求，漏桶比作是系统处理能力极限，水先进入到漏桶里，漏桶里的水按一定速率流出，当流出的速率小于流入的速率时，由于漏桶容量有限，后续进入的水直接溢出（拒绝请求），以此实现限流
  • 令牌桶算法：可以理解成医院的挂号看病，只有拿到号以后才可以进行诊病
    • 系统会维护一个令牌（token）桶，以一个恒定的速度往桶里放入令牌（token），这时如果有请求进来想要被处理，则需要先从桶里获取一个令牌（token），当桶里没有令牌（token）可取时，则该请求将被拒绝服务。
    • 令牌桶算法通过控制桶的容量、发放令牌的速率，来达到对请求的限制。
    • 和漏桶算法区别
      • 漏桶的天然特性决定了它不会发生突发流量，就算每秒1000个请求到来，那么它对后台服务输出的访问速率永远恒定。
      • 而令牌桶则不同，其特性可以“预存”一定量的令牌，因此在应对突发流量的时候可以在短时间消耗所有令牌，其突发流量处理效率会比漏桶高，导向后台系统的压力也会相应增多。
  • 滑动窗口：

计数器限流（固定窗口算法）

计数器限流算法也是比较常用的，主要用来限制总并发数，比如数据库连接池大小、线程池大小、程序访问并发数等都是使用计数器算法。也是最简单粗暴的算法。
常用的三个方法如下：

  1. 采用AtomicInteger：使用AomicInteger来进行统计当前正在并发执行的次数，如果超过域值就简单粗暴的直接响应给用户，说明系统繁忙，请稍后再试或其它跟业务相关的信息。
    • 弊端：使用 AomicInteger 简单粗暴超过域值就拒绝请求，可能只是瞬时的请求量高，也会拒绝请求。
  2. 采用令牌Semaphore：使用Semaphore信号量来控制并发执行的次数，如果超过域值信号量，则进入阻塞队列中排队等待获取信号量进行执行。如果阻塞队列中排队的请求过多超出系统处理能力，则可以在拒绝请求。
    • 相对Atomic优点：如果是瞬时的高并发，可以使请求在阻塞队列中排队，而不是马上拒绝请求，从而达到一个流量削峰的目的。
  3. 采用ThreadPoolExecutor java线程池：固定线程池大小,超出固定先线程池和最大的线程数,拒绝线程请求

滑动窗口

滑动窗口算法是对固定窗口算法的改进

滑动窗口计数器(Sliding Window)算法限流：解决固定窗口临界值的问题。它将单位时间周期分为n个小周期，分别记录每个小周期内接口的访问次数，并且根据时间滑动删除过期的小周期。

如下图

  • 每 500ms 滑动一次窗口，可以发现窗口滑动的间隔越短，时间窗口的临界突变问题发生的概率也就越小，
  • 不过只要有时间窗口的存在，还是有可能发生时间窗口的临界突变问题。
    sss

漏桶算法

漏桶的桶有大小，就如队列的容量，当请求堆积超过指定容量时，会触发拒绝策略。
漏桶模式中的消费处理总是能以恒定的速度进行，可以很好的保护自身系统不被突如其来的流量冲垮
在这里插入图片描述

令牌桶算法

最为常用的 Google 的 Java 开发工具包 Guava 中的限流工具类 RateLimiter 就是令牌桶的一个实现。令牌桶的实现思路类似于生产者和消费之间的关系。
在这里插入图片描述

系统服务作为生产者，按照指定频率向桶（容器）中添加令牌，如 QPS 为 2，每 500ms 向桶中添加一个令牌，如果桶中令牌数量达到阈值，则不再添加。

  • 1s / 阈值（QPS） = 令牌添加时间间隔。

请求执行作为消费者，每个请求都需要去桶中拿取一个令牌，取到令牌则继续执行；如果桶中无令牌可取，就触发拒绝策略，可以是超时等待，也可以是直接拒绝本次请求，由此达到限流目的

实现方式

算法

应用级限流方式只是单应用内的请求限流，不能进行全局限流。

  1. 限流总资源数
  2. 限流总并发/连接/请求数
  3. 限流某个接口的总并发/请求数
  4. 限流某个接口的时间窗请求数
  5. 平滑限流某个接口的请求数
  6. Guava RateLimiter

我们需要分布式限流和接入层限流来进行全局限流。

  1. redis+lua实现中的lua脚本
  2. 使用Nginx+Lua实现的Lua脚本
  3. 使用 OpenResty 开源的限流方案
  4. 限流框架，比如Sentinel实现降级限流熔断

单点限流

应用级限流方式只是单应用内的请求限流，不能进行全局限流。

  1. 限流总资源数
  2. 限流总并发/连接/请求数
  3. 限流某个接口的总并发/请求数
  4. 限流某个接口的时间窗请求数
  5. 平滑限流某个接口的请求数
  6. Guava RateLimiter
Guava实现限流（令牌桶Token Bucket）

Google开源工具包Guava提供了限流工具类RateLimiter，该类基于令牌桶算法实现流量限制

依赖包
  • 版本选择：请根据你的项目需求选择合适的Guava版本。最新版本可以在Guava的Maven中央仓库页面上找到。
  • 兼容性：确保所选版本与项目中使用的Java版本兼容
<dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>31.1-jre</version> <!-- 请根据需要选择合适的版本 -->
</dependency>
RateLimiter 常用方法

acquire：获取令牌

  • acquire() ：获取一个令牌, 该方法会阻塞直到获取到这一个令牌, 返回值为获取到这个令牌花费的时间
  • acquire(int permits) ：获取指定数量的令牌, 该方法也会阻塞, 返回值为获取到这 N 个令牌花费的时间

tryAcquire：当前能否获取到令牌

  • tryAcquire() ：判断当前时候能获取到令牌, 如果不能获取立即返回 false
  • tryAcquire(int permits) ：判断当前时候指定数量的令牌, 如果不能获取立即返回 false
  • tryAcquire(long timeout, TimeUnit unit) ：判断能否在指定时间内获取到令牌, 如果不能获取立即返回 false
  • tryAcquire(int permits, long timeout, TimeUnit unit) ：判断能否在指定时间内获取到指定数量的令牌, 如果不能获取立即返回 false
具体使用
示例1：直接使用RateLimiter

创建限流配置

import com.google.common.util.concurrent.RateLimiter;
import org.springframework.stereotype.Component;@Component
public class RateLimitService {// 每秒允许5个请求private final RateLimiter rateLimiter = RateLimiter.create(5.0);public boolean tryAcquire() {return rateLimiter.tryAcquire();}
}

给接口加上限流逻辑
在Controller中，使用RateLimitService来限制接口的访问。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;@RestController
public class MyController {@Autowiredprivate RateLimitService rateLimitService;@GetMapping("/api/resource")public ResponseEntity<String> getResource() {if (!rateLimitService.tryAcquire()) {return ResponseEntity.status(429).body("Too Many Requests");}// 处理请求return ResponseEntity.ok("Resource accessed successfully");}
}

我们在实际开发中并不能直接这样用

  • 每个接口都需要手动给其加上tryAcquire()，业务代码和限流代码混在一起，而且明显违背了DRY原则，代码冗余，重复劳动。
  • 因此需要使用下面的方式去获取：自定义注解 + AOP
示例2：自定义注解（RateLimiter） + AOP

上述方式使用RateLimiter的方式不够优雅，尽管我们可以把RateLimiter的逻辑包在service里面，controller直接调用即可，但是如果我们换成：自定义注解+切面 的方式实现的话，会优雅的多
自定义注解：如何自定义注解？

import java.lang.annotation.*;/*** 自定义注解可以不包含属性，成为一个标识注解*/
@Inherited
@Documented
@Target({ElementType.METHOD, ElementType.FIELD, ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface RateLimitAspect {/*** 资源的key,唯一* 作用：不同的接口，不同的流量控制*/String key() default "";/*** 最多的访问限制次数*/double permitsPerSecond () ;/*** 获取令牌最大等待时间*/long timeout();/*** 获取令牌最大等待时间,单位(例:分钟/秒/毫秒) 默认:毫秒*/TimeUnit timeunit() default TimeUnit.MILLISECONDS;/*** 得不到令牌的提示语*/String msg() default "系统繁忙,请稍后再试.";
}

自定义切面类

import com.google.common.util.concurrent.RateLimiter;
import net.sf.json.JSONObject;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/55470.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

html和css实现页面

html和css实现页面

任务4 html文件 任务5 htm文件 css文件 任务6 html文件 css文件 任务7 html文件 css文件
阅读更多...
Java【多线程】synchronized关键字

Java【多线程】synchronized关键字

目录 synchronized的特性 1.互斥 2.可重入 如何自己实现一个可重入锁&#xff1f; 关于死锁 死锁的第三种情况 N个线程M把锁 构成死锁的四个必要条件 java标准库中的线程安全类 线程不安全 线程安全 synchronized关键字-监视器锁monitor locker synchronized的特性 …
阅读更多...
Tailscale自建中转服务器derper搭建笔记（基于docker）

Tailscale自建中转服务器derper搭建笔记（基于docker）

自己搭建derper服务器&#xff0c;让Tailscale中转更流畅。 Tailscale是很好的远程组网工具&#xff0c;在两台机器P2P打洞成功的情况下可以实现网络直连&#xff0c;但如果打洞失败就会进行数据中转&#xff0c;我们的数据要跑到国外再跑回来&#xff0c;这样速度就很慢了。 …
阅读更多...
STGCN解读（论文+代码）

STGCN解读（论文+代码）

一、引言 引言部分不是论文的重点&#xff0c;主要讲述了交通预测的重要性以及一些传统方法的不足之处。进而推出了自己的模型——STGCN。 二、交通预测与图卷积 第二部分讲述了交通预测中路图和图卷积的概念。 首先理解道路图&#xff0c;交通预测被定义为典型的时间序列预测…
阅读更多...
Axure重要元件一——动态面板

Axure重要元件一——动态面板

亲爱的小伙伴&#xff0c;在您浏览之前&#xff0c;烦请关注一下&#xff0c;在此深表感谢&#xff01; 本节课&#xff1a;动态面板 课程内容&#xff1a;认识动态面板、动态面板基本操作 应用场景&#xff1a;特定窗口、重要交互、长页面、容器等 一、认识动态面板 动态…
阅读更多...
DeBiFormer：带有可变形代理双层路由注意力的视觉Transformer

DeBiFormer：带有可变形代理双层路由注意力的视觉Transformer

https://arxiv.org/pdf/2410.08582v1 摘要 带有各种注意力模块的视觉Transformer在视觉任务上已表现出卓越的性能。虽然使用稀疏自适应注意力&#xff08;如在DAT中&#xff09;在图像分类任务中取得了显著成果&#xff0c;但在对语义分割任务进行微调时&#xff0c;由可变形…
阅读更多...
软件测试面试题600多条及答案

软件测试面试题600多条及答案

这些问题都是软件测试领域常见的面试问题&#xff0c;以下是一些可能的答案&#xff1a; 什么是软件测试&#xff1f; 软件测试是一系列活动&#xff0c;旨在评估软件产品的质量和性能&#xff0c;以确保它符合规定的需求和标准。它包括执行程序或系统以验证其满足规定需求的过…
阅读更多...
“探索Adobe Photoshop 2024：订阅方案、成本效益分析及在线替代品“

“探索Adobe Photoshop 2024：订阅方案、成本效益分析及在线替代品“

设计师们对Adobe Photoshop这款业界领先的图像编辑软件肯定不会陌生。如果你正考虑加入Photoshop的用户行列&#xff0c;可能会对其价格感到好奇。Photoshop的价值在于其强大的功能&#xff0c;而它的价格也反映了这一点。下面&#xff0c;我们就来详细了解一下Adobe Photoshop…
阅读更多...
数据结构(8.2_1)——插入排序

数据结构(8.2_1)——插入排序

插入排序 算法思想&#xff1a;每次将一个待排序的记录按其关键字大小插入到前面已排序好的子序列中&#xff0c;直到全部记录插入完成。 代码实现 #include <stdio.h>void InsertSort(int A[], int n) {int i, j.temp;for (i 1; i < n; i) {//将各元素插入已排好…
阅读更多...
Axure重要元件二——内联框架

Axure重要元件二——内联框架

亲爱的小伙伴&#xff0c;在您浏览之前&#xff0c;烦请关注一下&#xff0c;在此深表感谢&#xff01; 课程主题&#xff1a;内联框架 课程内容&#xff1a;认识内联框架、基本嵌入 应用场景&#xff1a;表单、图片、文字嵌入式场景、交互应用 一、认识内联框架 内联框架的…
阅读更多...
如何安全擦除 iPhone 上的所有数据，避免隐私泄露？

如何安全擦除 iPhone 上的所有数据，避免隐私泄露？

在当今的数字时代&#xff0c;隐私安全尤为重要。特别是在转让或出售 iPhone 之前&#xff0c;擦除设备上的所有内容是每位用户都应注意的关键步骤。尽管苹果自带了删除数据的功能&#xff0c;但有时这并不足以保证数据完全无法恢复。本文将结合 iPhone 自带的"抹掉所有内…
阅读更多...
软考（中级-软件设计师）计算机系统篇（1018）

软考（中级-软件设计师）计算机系统篇（1018）

十、存储系统 10.1 层次结构主存–辅存&#xff1a;实现虚拟存储系统&#xff0c;解决了主存容量不够的问题。 Cache–主存&#xff1a;解决了主存与CPU速度不匹配的问题。 10.2 分类 1、按位置分类&#xff1a;可分为内存和外存。 内存&#xff08;主存&#xff09;&#…
阅读更多...
【从零开发Mybatis】引入XNode和XPathParser

【从零开发Mybatis】引入XNode和XPathParser

引言 在上文&#xff0c;我们发现直接使用 DOM库去解析XML 配置文件&#xff0c;非常复杂&#xff0c;也很不方便&#xff0c;需要编写大量的重复代码来处理 XML 文件的读取和解析&#xff0c;代码可读性以及可维护性相当差&#xff0c;使用起来非常不灵活。 因此&#xff0c…
阅读更多...
o1快慢思考的风又吹到了Agent！

o1快慢思考的风又吹到了Agent！

智能体&#xff08;Agent&#xff09;通过自然对话与用户互动有两个任务&#xff1a;交谈和规划/推理。对话回应必须基于所有可用信息&#xff0c;行动必须有助于实现目标。与用户交谈和进行多步推理和规划之间的二分法&#xff0c;类似卡尼曼引入的人类快速思考和慢速思考系统…
阅读更多...
库卡ForceTorqueControl（二）

库卡ForceTorqueControl（二）

1. 基准坐标系RCS 基准坐标系 RCS 是力 / 力矩控制的参考系。基准坐标系的原点始终是当前的TCP。 1.1 BASE 的 RCS 姿态 基准坐标系的姿态与当前基础坐标系&#xff08;基座坐标系&#xff09;的姿态一致。它不取决于刀具的姿态。基准坐标系的原点是当前的 TCP。 示例&#xff…
阅读更多...
【数据库设计】概念结构设计

【数据库设计】概念结构设计

引入——整体解释 上次我们讲完了关系模型&#xff0c;这次我们来讲新的章节&#xff1a;数据库设计 该怎样有效地管理和存储现实中的数据&#xff1f;答案是设计一个优秀的数据库。现实中的数据转化成关系表中的数据需要经过四个主要的设计步骤。 现实世界需求分析——>…
阅读更多...
java常用工具包

java常用工具包

Java标准库&#xff08;Java Standard Library&#xff09; 比喻&#xff1a;就像你厨房里的基础调料&#xff0c;没有它们&#xff0c;你很难做出美味的菜肴。Java标准库包含了进行基本编程所需的所有核心类和方法&#xff0c;如字符串处理、集合框架、输入输出操作等。 关键…
阅读更多...
C++ 内存布局 - Part6: 虚继承

C++ 内存布局 - Part6: 虚继承

1. 关于虚继承 虚继承可以在菱形继承体系中&#xff0c;防止派生类中有多份重复祖基类内容。如下图所示&#xff0c;如果是常规继承&#xff0c;Class Final中会有两份Class Base的内容。通过虚继承&#xff0c;即Derived1 虚继承自Base, Derived2 也虚继承自Base, 那么Final中…
阅读更多...
003_ipc概述及信号

003_ipc概述及信号

【背景】 程序运行起来后&#xff0c;每个模块都有自己的进程&#xff0c;那么不同的模块如何进行通讯或者数据交换呢&#xff1f; 上面这张图说明了linux的ipc是继承最初的Unix 的IPC逻辑的&#xff0c;那么具体关系和概述讲解&#xff0c;请参考此链接的原文&#xff1a;htt…
阅读更多...
mac 桌面版docker no space left on device

mac 桌面版docker no space left on device

报错信息 docker pull镜像时报&#xff1a; failed to register layer: Error processing tar file(exit status 1): write /home/admin/oceanbase_bak/bin/observer: no space left on device 解决 增加 docker 虚拟磁盘大小。 调整完点击重启即可。
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023