[Java 项目亮点] 三层限流设计

思路来源:bilibili 河北王校长


文章目录

    • 面试官可能会问
      • 你能详细介绍一下Nginx的http_limit_req_module模块吗?
      • 你能解释一下如何在Nginx中配置http_limit_req_module模块吗?
      • 你知道如何调整Nginx的http_limit_req_module模块以适应不同的业务需求吗?
      • 什么情况下需要使用burst参数来允许突发的请求数量?
      • 请详细说说 gateway 层面的限流
        • 项目 demo
        • 回答
      • 在网关层面实现限流机制有哪些好处?
      • 为什么用了 `nginx` 还要用 `spring cloud gateway` 呢

image.png

在我们的项目中,我们采用了三层限流设计,以应对高并发场景,同时确保系统的可用性、稳定性,并防止恶意的流量攻击。
首先,第一层限流是在Nginx层面,称为IP限流。我们使用Nginx的http_limit_req_module模块,根据用户IP进行限流。这是第一道防线,主要对抗恶意IP的DDoS攻击,防止大量的非法请求进入到我们系统的深层。
第二层为gateway 对用户层级进行限流。我们根据用户的唯一标识,如user_id,控制每个用户在单位时间内能发送的请求数量。这可以确保公平性,防止单一用户占用过多资源,影响其他用户的使用体验。
第三层为微服务限流。在每个微服务中,我们使用如Google的Guava RateLimiter等技术进行限流。这可以防止某个服务的过载,从而影响整个系统的稳定性。每个服务独立设定限流阈值,根据其自身的处理能力和业务需求调整。
整体来说,这个三层限流的设计,从网络层面到服务层面,层层筛选,有效地把需要处理的请求“漏洞”下来,既保护了系统资源,也保证了高请求量条件下的用户体验和服务的高可用性。

面试官可能会问

你能详细介绍一下Nginx的http_limit_req_module模块吗?

Nginx中的 http_limit_req_module 模块,可以用于限制处理请求的速率,在许多场合非常有用,特别是当您打算保护系统免受任何可能的DDoS攻击时。
这个模块的工作原理是定义一个叫做"速率"的值,这个值是对单位时间内请求的数量进行限制的。比如,你可以设置每分钟只处理100个请求。当某个客户端的请求速率超过这个限制时,Nginx将会把这个请求放入一个队列中,等待处理。如果队列中的请求太多,或者等待的时间太长,那么这个请求就会被丢弃。 在配置文件中,你需要使用limit_req_zone指令来定义这个限制。在这个指令中,你需要指定用于限制速率的关键字,通常情况下,我们会使用客户端的IP地址。然后,你需要设定速率值。 然后,你需要在服务器块或者位置块中,使用limit_req指令来应用这个限制。你也可以通过设置 limit_req 的参数来调整队列的大小或者等待的时间。 通过精心的配置,这个模块可以显著地帮助你提高系统的稳定性和安全性。

你能解释一下如何在Nginx中配置http_limit_req_module模块吗?

使用Nginx的 http_limit_req_module 模块进行限流,需要进行以下步骤配置:
首先,在http块中定义限制速率的区域。这通常使用limit_req_zone指令完成。例如,如果要对IP进行限制,并让每个IP每秒只能有10个请求,可以这样配置:

http {limit_req_zone $binary_remote_addr zone=perip:10m rate=10r/s;...
}

这里$binary_remote_addr是客户端IP,zone=perip:10m定义了一个名为 perip 的存储区,大小为 10M,用于存储每个IP的状态,rate=10r/s则表示限制速率为每秒10个请求。
然后,在需要应用这个限制的server块或location块中,使用limit_req指令来应用这个限制。例如:

server {location /api/ {limit_req zone=perip burst=5;...}
}

这里zone=perip表示应用我们之前定义的perip区域,burst=5表示允许在短时间内超过定义的速率,最多累积5个请求等待处理。
以上便是Nginx的http_limit_req_module模块的基础配置。

你知道如何调整Nginx的http_limit_req_module模块以适应不同的业务需求吗?

Nginxhttp_limit_req_module 模块通过一些配置参数提供了一些调整限流策略的灵活性,以适应不同的业务需求。

  1. rate: 这个参数定义了请求的速率限制,例如rate=10r/s表示每秒钟只允许10个请求。根据业务的需求和服务器的运行能力,你可以灵活调整这个数值。
  2. burst: 这个参数可以允许请求在短时间内超过速率限制,对应的数值即允许突发的请求数量。这个参数可以帮助你在不影响用户体验的前提下进行限流。
  3. nodelay: 通常与burst参数一起使用。如果没有设置nodelay,那么在突发流量到来时,超出rate但在burst范围内的请求会被等待处理,而不是立即处理。如果设置了nodelay,那么超出rate但在burst范围内的请求会立即被处理。

举个例子,假设你的业务主要面向个人用户,且大部分时间请求量稳定,但在某些高峰期会有大量请求,这时候你可能需要设定一个适中的rate,并允许一定量的burst,以提供良好的用户体验。

什么情况下需要使用burst参数来允许突发的请求数量?

在某些情况下,可能会出现短时间内请求突然增多的情况,比如说在某个活动开始的前几秒钟,或者在一个新的服务刚刚上线时。这种突然增多的请求如果超出了之前设置的rate并且没有设置 burst,会被直接丢弃,这可能会导致用户体验下降或者服务可用性降低。 在这种情况下,如果预见到了这样的突然增多的请求,就可以设置 burst 参数来允许一定的突发流量。burst 参数设置的是允许突发请求的数量。这样在短时间内的大量请求就可以被缓冲下来,进入等待队列,而不是被直接丢弃。
例如,如果设置了limit_req zone=mylimit burst=20;,那么在超出rate限制的情况下,还可以允许有20个请求进入等待队列。这样就可以在保证服务稳定性的同时,也不会因为直接丢弃大量请求而影响了用户体验。 所以,当你预见到会有短时间内的突发流量,并且希望这些请求能够得到处理,而不是被直接丢弃,就应该使用 burst 参数来允许一定数量的突发请求。

请详细说说 gateway 层面的限流

项目 demo

如果你是在Spring Cloud Gateway中进行限流的话,你可以使用Spring提供的RequestRateLimiter网关过滤器来实现。
首先,你需要在配置文件中定义你的限流规则。限流规则可以基于不同的key来定义,比如说user_id。以下是一个针对user_id进行限流的配置示例:

spring:cloud:gateway:routes:- id: user_routeuri: http://mybackend.compredicates:- Path=/api/**filters:- name: RequestRateLimiterargs:redis-rate-limiter.replenishRate: 10redis-rate-limiter.burstCapacity: 20key-resolver: "#{@userIdResolver}"

在这个例子中,replenishRate定义了每秒可以处理的请求数量,burstCapacity定义了可以接受的突发请求数。key-resolver用于定义如何从请求中获取user_id。
然后,你需要实现一个KeyResolver接口,该接口实现了如何提取user_id。以下的Java代码演示了如何从请求中获取user_id:

import org.springframework.cloud.gateway.filter.ratelimit.KeyResolver;
import org.springframework.web.server.ServerWebExchange;
import reactor.core.publisher.Mono;@Service
public class UserIdKeyResolver implements KeyResolver {@Overridepublic Mono<String> resolve(ServerWebExchange exchange) {return Mono.just(exchange.getRequest().getQueryParams().getFirst("user_id"));}
}

在这个例子中,user_id从请求的query param中获取。如果user_id在header或者在cookie中,你可能需要修改这部分代码。
这样,Spring Cloud Gateway就会为每个user_id进行限流了。

回答

在我的系统中,我特意设计了一个名为API网关的组件,这就像是系统的入口,所有请求必须通过这个"大门"。为了保证系统在高流量环境下依然稳定运行,我设置了"限流"机制。 在实现限流时,我的做法是首先在网关的配置文件里定义限流规则。我设定了每个用户每秒能发送的请求数量,以及在短时间内允许的最大请求数量。 然后,我需要一种办法来识别每个用户,这就是我提到的"user_id"。通过请求中的一些特定信息,比如查询参数、头信息等,我就可以获取到这个"user_id"。 有了这个设计,我就可以有效地对系统中每个用户的请求进行控制,确保没有任何用户会对系统构成威胁。再者,通过在网关层面实现这个限流机制,我能够为所有应用程序提供统一的限流服务,极大地简化了工作流程和管理。

在网关层面实现限流机制有哪些好处?

实现网关层面的限流机制有很多好处。比如:

  1. 统一管理:通过在网关层级实现限流,我能够在一个集中的地方来管理所有服务的流量控制,而无需在每个服务中单独配置。
  2. 防止系统过载:限流可以防止任何一个服务因为过大的流量而崩溃,这样可以增加系统的稳定性。
  3. 公平性:限流能够确保所有的用户都得到合理的请求量,防止某些用户占用大量的资源。
  4. 服务保护:如果有服务出现问题或者异常,限流机制可以防止这个服务的问题扩散到整个系统,起到了一定的隔离效果。
  5. 方便的应对突发流量:如果我有预期到的高流量请求,我可以快速地在网关层面做出调整来应对。

所以,实现网关层面的限流对于保证系统的稳定性和公平性,以及方便的系统管理都有着重要的作用。

为什么用了 nginx 还要用 spring cloud gateway

当然, 面试官问的问题非常好。在我的项目中,尽管我可以使用Nginx进行负载均衡、反向代理和限流等操作,但我仍选择了Spring Cloud Gateway作为我的微服务的API网关,有以下几个原因。
首先,我的项目主要基于Spring Boot和Spring Cloud进行开发,Spring Cloud Gateway能够无缝地与这些工具集成,能够节省我处理额外兼容性问题的时间。
其次,Spring Cloud Gateway 支持非阻塞的方式处理请求,这是Nginx无法做到的。
再者,Spring Cloud Gateway支持动态地通过编程定义路由规则,而不像Nginx那样需要进行静态配置,这意味着我可以更加灵活地处理复杂的路由逻辑。
最后,Spring Cloud Gateway集成了Spring Cloud的服务发现功能,以及与Spring Cloud集群配合的所有断路、降级、限流机制,强化了我的微服务架构的健壮性。
所以,虽然 Nginx 已经非常强大,但在我的架构中,Spring Cloud Gateway 更加适应我项目的需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/699334.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【服务器数据恢复】通过reed-solomon算法恢复raid6数据的案例

服务器数据恢复环境&#xff1a; 一台网站服务器中有一组由6块磁盘组建的RAID6磁盘阵列&#xff0c;操作系统层面运行MySQL数据库和存放一些其他类型文件。 服务器故障&#xff1a; 该服务器在工作过程中&#xff0c;raid6磁盘阵列中有两块磁盘先后离线&#xff0c;不知道是管理…

Linux--自定义shell

shell shell就是操作系统提供给用户与操作系统进行交互的命令行界面。它可以理解为一个用户与操作系统之间的接口&#xff0c;用户可以通过输入命令来执行各种操作&#xff0c;如文件管理、进程控制、软件安装等。Shell还可以通过脚本编程实现自动化任务。 常见的Unix系统中使…

创新性3D数据合成模型,微软推出EgoGen

随着AR、VR等设备的广泛应用,第一人称的应用开始增多。但在研发方面面临不同的挑战,例如&#xff0c;图像模糊、视觉混乱、遮挡更严重等&#xff0c;给视觉模型的训练带来重大挑战。 一方面,人工标注真实第一视角数据集&#xff0c;来培训深度学习模型的成本和难度都很高。另一…

Java 泛型

优质博文&#xff1a;IT-BLOG-CN 一、为什么要有泛型 【1】解决元素存储的安全性问题。 【2】解决获取数据元素时&#xff0c;需要类型强转的问题。 【3】可以统一数据类型&#xff0c;便于操作。 【4】将运行时的异常提前到了编译时&#xff0c;提高了效率。 【5】实现代码的…

Day20_网络编程(软件结构,网络编程三要素,UDP网络编程,TCP网络编程)

文章目录 Day20 网络编程学习目标1 软件结构2 网络编程三要素2.1 IP地址和域名1、IP地址2、域名3、InetAddress类 2.2 端口号2.3 网络通信协议1、OSI参考模型和TCP/IP参考模型2、UDP协议3、TCP协议 2.4 Socket编程 3 UDP网络编程3.1 DatagramSocket和DatagramPacket1、Datagram…

小世界网络:直径、分形、同配性

1.小世界网络特点 —— 网络直径接近于网络中节点数量的自然对数 2.小世界分形网络 —— 移除弱链接的小世界网络 3.同配性分析 —— Pearson相关系数、邻居相关度 在宏观层面上&#xff0c;关注平均度、度分布和聚类等全局结构特征的影响。更高的平均度被认为会导致更…

Zookeeper简介及选举机制

1.概述 Zookeeper是一个开源的&#xff0c;分布式的&#xff0c;为分布式框架&#xff08;如下图中的Hadoop和Hive&#xff09;提供协调服务的Apache项目。 工作机制&#xff1a;基于观察者设计模式的分布式服务管理框架&#xff0c;负责存储和管理数据&#xff0c;接受观察者…

[算法沉淀记录] 排序算法 —— 归并排序

排序算法 —— 归并排序 算法介绍 归并排序是一种分治算法&#xff0c;由约翰冯诺伊曼在1945年发明。它的工作原理是将未排序的列表划分为n个子列表&#xff0c;每个子列表包含一个元素(包含一个元素的列表被认为是有序的)&#xff0c;然后重复合并子列表以生成新的有序子列表…

ClickHouse 指南(三)最佳实践 -- 稀疏主索引

在ClickHouse主索引的实用介绍 ClickHouse release 24.1, 2024-01-30 1、简介 在本指南中&#xff0c;我们将深入研究ClickHouse索引。我们将详细说明和讨论: ClickHouse中的索引与传统的关系数据库管理系统有何不同ClickHouse是如何构建和使用表的稀疏主索引的什么是在Clic…

JavaScript原型继承与面向对象编程思想

原型继承与面向对象编程思想 在JavaScript中&#xff0c;原型(prototype)、构造函数(constructor)和实例对象(instance)是面向对象编程中的重要概念&#xff0c;并且它们之间存在着紧密的关系。 原型(prototype)&#xff1a;原型是JavaScript中对象之间关联的一种机制。每个Ja…

js使用import到本js文件中的函数时报错 Error [ERR_MODULE_NOT_FOUND]: Cannot find module

node:internal/process/esm_loader:97internalBinding(errors).triggerUncaughtException(^Error [ERR_MODULE_NOT_FOUND]: Cannot find module D:\桌面\Pagesizedetection\lib\screensize imported from D:\桌面\Pagesizedetection\index.js Did you mean to import ../lib/sc…

网页数据的存储--存储为文本文件(TXT、JSON、CSV)

用解析器解析出数据后&#xff0c;接下来就是存储数据了。数据的存储有多种多样&#xff0c;其中最简单的一种是将数据直接保存为文本文件&#xff0c;如TXT、JSON、CSV等。这里就介绍将数据直接保存为文本文件。 目录 一、Python存储数据的方法 1、 文件读取 2、 文件写入…

【Logback】Logback 日志框架的架构

目录 1、Logger&#xff08;记录器&#xff09; &#xff08;1&#xff09;有效级别和级别继承 &#xff08;2&#xff09;日志打印和日志筛选 &#xff08;3&#xff09;记录器命名 2、Appenders&#xff08;追加器&#xff09; 3、Layouts&#xff08;布局&#xff09;…

npm install 失败,需要node 切换到 对应版本号

npm install 失败 原本node 的版本号是16.9&#xff0c;就会报以上错误 node版本问题了&#xff0c;我切到这个版本&#xff0c;报同样的错。降一下node&#xff08;14.18&#xff09;版本就好了 具体的方法&#xff1a;&#xff08;需要在项目根目录下切换&#xff09; 1. …

泰山派学习笔记(二)一步一步编译SDK文件

上一节&#xff0c;我们安装了基于虚拟机的ubuntu系统&#xff0c;并且建立了samba服务打通了win10和ubuntu系统中的文件传输。本节课我们继续对立创官方提供的SDK文件进行编译&#xff0c;学习编译的方法。引用官方的话&#xff1a;如果只想下载别人编译好的固件并且做一些应用…

Python实战:xlsx文件的读写

Python实战&#xff1a;xlsx文件的读写 &#x1f308; 个人主页&#xff1a;高斯小哥 &#x1f525; 高质量专栏&#xff1a;Matplotlib之旅&#xff1a;零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程 &#x1f448; 希望得到您的订阅和支持~ &#…

图像压缩感知的MATLAB实现(OMP)

前面实现了 压缩感知的图像仿真&#xff08;MATLAB源代码&#xff09; 效果还不错&#xff0c;缺点是速度慢如牛。 下面我们采用OMP对其进行优化&#xff0c;提升速度。具体代码如下&#xff1a; 仿真 构建了一个MATLAB文件&#xff0c;所有代码都在一个源文件里面&#xf…

Unet 高阶分割网络实战、多类别分割、迁移学习(deeplab、resnet101等等)

1、前言 Unet 图像分割之前介绍了不少&#xff0c;具体可以参考 图像分割专栏 为了实现多类别的自适应分割&#xff0c;前段时间利用numpy的unique函数实现了一个项目。通过numpy函数将mask的灰度值提取出来&#xff0c;保存在txt文本里&#xff0c;这样txt里面就会有类似0 1…

力扣精选100道——外观数列(模拟专题)

外观数列算法题链接 &#x1f6a9;了解题意 该题的下面充分的给你说明了这个题目的意思。 3 3 2 2 2 5 1 我们根据我们正常读的顺序读 俩个3 三个2 一个5 一个1 连起来就是 2 3 3 2 1 5 1 这就是最终输出的字符串。 题目开头说了&#xff0c;我们最初是 1开始读…

板块一 Servlet编程:第五节 Cookie对象全解 来自【汤米尼克的JAVAEE全套教程专栏】

板块一 Servlet编程&#xff1a;第五节 Cookie对象全解 一、什么是CookieCookie的源码 二、Cookie的具体操作&#xff08;1&#xff09;创建Cookie&#xff08;2&#xff09;获取Cookie&#xff08;3&#xff09;设置Cookie的到期时间&#xff08;4&#xff09;设置Cookie的路径…